Os LLMs vão superar a inteligência humana?
Só se for na arte de repetir dados sem entender nada de verdade.
O que diachos é um LLM?
Modelos de linguagem “largos” (LLMs) são programas de IA projetados para compreender e gerar texto humano.
Eles são máquinas treinadas para imitar a linguagem humana analisando quantidades absurdas de dados.
São modelos gigantescos de aprendizado profundo que foram pré-treinados com essas quantidades absurdas de dados.
Eles são tipo aqueles estudantes desesperados que leram tudo o que encontraram pela frente, mas às vezes interpretam as coisas de forma… peculiar.
Ok, e como esse tal de LLM funciona?
Os LLMs usam aprendizado de máquina e se baseiam em um tipo específico de rede neural chamado transformer.
Não, eles não virar robôs gigantes que vão destruir a Terra…
A arquitetura transformer usa codificadores e decodificadores com recursos de autoatenção.
Esse nome pomposo esconde o básico…
Eles engolem gigantescos volumes de texto da internet — às vezes milhões de gigas — e tentam aprender como combinar palavras e frases para soar “inteligentes”.
Eles analisam sequências de texto, entendem as relações entre palavras e frases e aprendem a “ler nas entrelinhas”.
O diferencial dos transformadores é que, ao contrário das redes neurais antigas (como as RNNs) que processavam texto de forma sequencial (lento e tedioso), eles processam tudo de uma vez em paralelo.
Isso significa que dá para usar GPUs para treiná-los bem mais rápido.
Graças a essa arquitetura avançada, os transformadores podem crescer até tamanhos monstruosos com centenas de bilhões de parâmetros.
Eles devoram quantidades imensas de dados — seja de fontes conhecidas, como a Wikipedia (57 milhões de páginas), ou de fontes mais obscuras como o Common Crawl (50 bilhões de páginas da web).
Mas atenção: a qualidade desses modelos depende da qualidade dos dados usados.
Então, se o treinamento for feito com textos de baixa qualidade, eles só vão reproduzir bobagens, mas de forma convincente.
E o Deep Learning entra onde nessa história?
LLMs usam aprendizado profundo…
Eles analisam as probabilidades em vez de entender o que realmente estão lendo.
Por exemplo, eles sabem que “o cachorro” geralmente é seguido por algo como “correu”, mas não fazem ideia de quem é o cachorro ou por que ele correu.
Depois disso, os LLMs passam pelo fine-tuning ou prompt-tuning que os ajusta para tarefas específicas como responder perguntas, traduzir textos ou produzir redações que até parecem boas, mas podem ser cheias de erros ou inconsistências.
Um LLM é tipo um papagaio de luxo.
Ele repete coisas com uma convicção muito boa…
Mas o LLM não entende quase nada do que está falando…
Por quê o hype em cima dos LLM?
Porque eles são muito flexíveis…
Os LLM têm “jogo de cintura”.
Com o mesmo modelo, dá para realizar tarefas completamente diferentes, como:
• Responder perguntas,
• Resumir documentos,
• Traduzir idiomas,
• Completar frases.
Apesar de estarem longe da perfeição, eles ainda têm seus momentos de “criatividade delirante”.
Esses modelos podem fazer previsões com base em poucas entradas.
Alguns números pra você ter uma ideia do tamanho dessas ‘coisas‘.
• O GPT-3 da OpenAI tem 175 bilhões de parâmetros e gera texto natural com facilidade.
• Seu primo, o ChatGPT, analisa padrões e trabalha com entradas de dados extensas.
• O Jurassic-1 da AI21 Labs tem 178 bilhões de parâmetros e um vocabulário de 250 mil palavras.
• O modelo Claude 2 da Anthropic aceita até 100 mil tokens por entrada — traduzindo: ele pode processar um livro inteiro de uma vez.
• O Command da Cohere funciona em mais de 100 idiomas.
• O Paradigm da LightOn ‘promete’ capacidades que até superam as do GPT-3.
Todos esses modelos já vêm com APIs que permitem aos desenvolvedores criar aplicações exclusivas de IA generativa.
Mas não seja inocente…
Os LLMs facilitam a nossa vida, mas os usuários têm que ter um pouco de senso crítico.
Não dá para você acreditar em tudo que essas IAs dizem, não é mesmo?
Até os “gênios” precisam de supervisão.
Os LLMs são como bibliotecas ambulantes de bilhões de livros, mas nem sempre lembram a página certa.
Eles adoram criar histórias quando ninguém está olhando…
As grandes ‘promessas’ dos LLMs
Um dos usos mais conhecidos é a IA generativa: dado um comando ou pergunta, eles produzem textos como resposta.
Exemplos populares incluem redações, poemas e outras formas textuais geradas por ferramentas como o ChatGPT.
Qualquer conjunto de dados volumoso e complexo serve para treinar esses modelos.
E isso inclui linguagens de programação.
Alguns LLMs são úteis para os programadores, criando funções sob demanda ou completando trechos de código fornecidos como ponto de partida.
Esses modelos também serve para:
• Análise de sentimento
• Pesquisa genética (como DNA)
• Atendimento ao cliente
• Chatbots
• Ferramentas de busca online
Exemplos reais incluem o ChatGPT (OpenAI), Bard (Google), Llama (Meta) e Bing Chat (Microsoft).
O GitHub Copilot é uma versão mais focada em código.
Veja agora as principais promessas dos LLM.
1. Copywriting (Criação de texto publicitário)
Não é só o GPT-3 e o ChatGPT que dominam essa parte.
Modelos como Claude, Llama 2 e Jurassic também criam textos originais.
O AI21 Wordspice, por exemplo, sugere melhorias estilísticas e de tom em textos já existentes.
Serve para escritores com bloqueio criativo…
Ou para quem quer terceirizar o trabalho de convencer pessoas a clicarem em anúncios.
2. Resposta baseada em conhecimento
Chamada de Knowledge-Intensive Natural Language Processing (KI-NLP).
Essa técnica permite que LLMs respondam perguntas específicas usando informações de arquivos digitais.
O AI21 Studio Playground, por exemplo, consegue responder perguntas de conhecimento geral como se fosse seu professor favorito.
Ou aquele colega que sabe tudo, mas sem ser insuportável…
3. Classificação de textos
Usando agrupamento (clustering), os LLMs podem categorizar textos por temas, significados ou sentimentos.
Servem para medir o humor dos clientes, identificar relações entre textos e facilitar pesquisas em documentos.
Eles são ótimos em dizer se um cliente está “pistola” ou “apaixonado” pela sua marca.
4. Geração de código
Sim, LLMs também podem ser programadores.
Eles podem transformar linguagem natural em código.
O Amazon Q Developer, por exemplo, trabalha com Python, JavaScript e Ruby.
Eles também criam consultas SQL, comandos shell e até protótipos de sites.
Uma mão na roda para o desenvolvedor preguiçoso ou com prazos apertados.
5. Geração de texto
Além de codificar, os LLMs também são escritores ‘criativos’.
Eles podem completar frases, criar documentações técnicas ou até mesmo escrever histórias infantis, como faz o Alexa Create.
Basta pedir, e eles entregam.
Só não espere uma obra-prima literária…
Os LLMs são tipo um canivete suíço para lidar com linguagem, texto e até código.
Eles escrevem, classificam, programam e respondem perguntas como se fossem especialistas.
Mas lembre-se: mesmo com toda essa versatilidade, eles ainda precisam de supervisão.
Até o melhor assistente pode cometer gafes…
Ok, mas e as limitações dos LLMs?
A “mágica” dos LLMs é a sua capacidade de lidar com perguntas imprevisíveis.
Enquanto um programa tradicional segue comandos rígidos — como botões específicos ou sintaxes precisas —, os LLMs conseguem entender e responder à linguagem natural.
Um programa comum ficaria perdido diante de algo como “Quais são as quatro maiores cantoras de funk da história?”, mas um LLM entregaria uma lista razoável e ainda defenderia suas escolhas.
Masssss, os LLMs são tão confiáveis quanto os dados que consomem.
Se alimentados com informações falsas, produzirão respostas falsas.
E pior: frequentemente “alucinam”.
Inventam informações quando não têm uma resposta adequada…
Quer um exemplo?
Em 2022, o Fast Company pediu ao ChatGPT informações sobre o último trimestre financeiro da Tesla.
O modelo entregou um artigo coeso, mas com vários dados inventados.
Do ponto de vista da segurança, os LLMs são tão vulneráveis quanto qualquer outra aplicação.
Podem ser manipulados com entradas maliciosas para gerar respostas inadequadas ou até perigosas.
Outro problema é o uso irresponsável de dados sigilosos: usuários desavisados quase sempre carregam informações confidenciais nos modelos, acreditando que estão protegidos.
Os LLMs não foram feitos para ser cofres seguros.
E podem regurgitar essas informações para outros usuários…
Os LLMs são relevantes, mas não fazem milagres.
Eles têm criatividade e versatilidade, mas também geram erros, invenções e lapsos éticos.
Confiar cegamente neles é tipo deixar a sua privacidade com aquele seu colega fofoqueiro…
Indo mais a fundo no funcionamento dos LLMs…
A “mágica” dos LLMs começa na forma como eles representam as palavras.
No passado, os modelos de aprendizado de máquina usavam tabelas numéricas simples para cada palavra.
Mas essas tabelas eram analfabetas quando se tratava de compreender relações ou similaridades entre palavras.
Resultado?
Palavras como “gato” e “felino” não tinham nenhuma conexão para esses modelos.
Essa limitação foi superada com o uso de vetores multidimensionais, também conhecidos como embeddings (incorporações de palavras).
Nesse sistema, palavras com significados ou contextos semelhantes ficam próximas no espaço vetorial, enquanto palavras sem relação ficam distantes.
Pense em um mapa 3D onde “amor” está próximo de “carinho”, mas bem longe de “ódio”.
Com essas incorporações, os transformadores trabalham em duas etapas:
1. Codificação.
Transformam textos em representações numéricas, entendendo o contexto e as relações entre palavras.
2. Decodificação.
Usam esse entendimento para produzir um texto que parece ter saído diretamente de um escritor humano — às vezes até melhor…
Machine learning e deep learning no LLM
Em suma, os LLMs são montados com base no aprendizado de máquina, uma subcategoria da IA.
Isso significa alimentar um programa com vastas quantidades de dados para que ele aprenda a identificar padrões sem depender de supervisão humana.
Os LLMs utilizam um tipo específico de aprendizado de máquina chamado deep learning (aprendizado profundo).
Esse método permite que modelos “treinem a si mesmos” para reconhecer diferenças e padrões, embora ajustes humanos sejam quase sempre necessários.
Nem mesmo as máquinas escapam da nossa supervisão.
O aprendizado profundo se baseia em probabilidades para “aprender”.
Por exemplo, na frase “The quick brown fox jumped over the lazy dog”, as letras “e” e “o” aparecem quatro vezes cada.
Um modelo poderia deduzir (corretamente) que esses caracteres são altamente prováveis em textos em inglês.
Contudo, um modelo não conclui nada apenas com uma frase.
Mas, ao analisar trilhões delas, ele aprende o suficiente para prever o fim de uma sentença incompleta ou até criar novas frases.
E onde entram as redes neurais?
Por trás do aprendizado profundo estão as redes neurais.
Assim como o cérebro humano é composto de neurônios que se conectam e trocam sinais, uma rede neural artificial é composta por nós conectados.
Essas redes têm “camadas”: uma de entrada, uma de saída e várias intermediárias.
A informação só flui entre as camadas se os “resultados” delas ultrapassarem um certo limite.
As redes neurais funcionam como um clube exclusivo: só passa quem estiver na lista.
E os modelos transformadores?
A cereja do bolo para os LLMs é o uso de modelos transformadores, um tipo especial de rede neural.
Esses modelos servem para compreender os contextos e interpretar a linguagem humana, que depende muito de nuances.
Para isso, usam uma técnica matemática chamada self-attention que detecta as relações entre os elementos em uma sequência.
É assim que eles entendem como o final de uma frase se conecta ao começo, ou como frases dentro de um parágrafo se relacionam.
Com isso, os LLMs conseguem interpretar a linguagem humana mesmo quando ela é vaga, mal estruturada ou apresentada de formas inéditas.
Em algum nível, eles “entendem” semântica, associando palavras e conceitos com base no que viram bilhões de vezes.
É uma “compreensão” que depende menos de genialidade e mais de força bruta.
Os desenvolvedores podem criar seus próprios LLMs sem torrar rios de dinheiro…
Para criar aplicativos de LLM, os desenvolvedores precisam de acesso a grandes conjuntos de dados e de um lugar para armazená-los.
O problema?
Infraestrutura de armazenamento, seja na nuvem ou local, custa caro.
Além disso, os dados costumam estar espalhados em múltiplos locais.
E mover tudo para um ponto central pode gerar taxas absurdas de transferência.
A boa notícia é que empresas como a Cloudflare oferecem soluções que facilitam esse trabalho.
O Vectorize, por exemplo, é um banco de dados vetorial distribuído globalmente.
Ele permite consultar dados armazenados em sistemas sem taxas de saída (no-egress-fee).
Quando combinado com o Cloudflare Workers AI, os devs podem começar a experimentar com seus próprios LLMs sem hipotecar a casa…
LLMs são modelos “treinados” por dados massivos, aprendem rápido, têm respostas inteligentes.
Mas não conseguem fazer nada sem seus brinquedos caros (infraestrutura de armazenamento).
Se quiser criar o seu, prepare o bolso ou procure ajuda de empresas que já dominam esse game.
Como é que você “treina” um LLM?
O treinamento de LLMs é tipo criar um Frankenstein digital, mas com mais matemática e menos relâmpagos.
Esses modelos são enormes e com redes neurais de bilhões de parâmetros, como pesos, vieses e incorporações de palavras.
Pense neles como os inputs secretos para fazer o modelo “pensar”.
O tamanho dessas redes neurais é determinado por uma fórmula…
Combinar o tamanho do modelo, a quantidade de parâmetros e os dados de treinamento.
E falando nisso, os dados de treinamento são bem grandes também.
Estamos falando de textões, enciclopédias digitais e praticamente metade da internet.
E como é que funciona esse raio de treinamento?
O modelo recebe textos, tenta prever o próximo pedaço de informação (tokens) e ajusta seus parâmetros até conseguir acertar com consistência.
É tipo um aluno teimoso que só aprende errando, mas que eventualmente vira um gênio.
E tudo isso acontece usando técnicas de autoaprendizagem.
Os LLMs gostam de fazer o trabalho duro sozinhos — com supervisão humana, claro, porque erros acontecem.
Depois de treinado, o modelo pode ser ajustado para tarefas específicas com poucos dados adicionais, num processo chamado fine-tuning.
É aqui que ele deixa de ser um generalista e vira especialista.
Os tipos de aprendizado dos LLM
1. Zero-shot learning
Sem treinamento adicional, o modelo tenta responder perguntas variadas só com base no que já sabe.
Funciona, mas nem sempre.
2. Few-shot learning
Mostre alguns exemplos, e o modelo melhora significativamente.
É tipo dar dicas para alguém antes de um teste.
3. Fine-tuning
O modelo é treinado com dados específicos para uma tarefa.
Aqui ele vai ajustando seus parâmetros como se fosse um “alfaiate” digital.
E o futuro dos LLM?
Os LLMs já impressionam; amanhã, podem nos substituir em tarefas que achávamos “humanas demais”.
Vamos às promessas e previsões:
1. Capacidades aumentadas
Os LLMs ainda cometem gafes, mas as novas versões prometem maior precisão, menos preconceitos e menos informações inventadas.
Com sorte, teremos assistentes que não confundem Shakespeare com Faustão.
2. Treinamento audiovisual
Até agora, o foco foi texto, mas o futuro inclui vídeo e áudio.
Imagine um modelo que entende tanto o que você diz quanto como você diz?
Ótimo para carros autônomos, péssimo para quem gosta de dar desculpas vagas.
3. Transformação do local de trabalho
Tarefas chatas e repetitivas estão com os dias contados.
Chatbots, redação automatizada e até suporte administrativo vão virar rotina.
Seu chefe vai adorar; você, nem tanto.
4. IA conversacional aprimorada
Assistentes como Alexa, Siri e Google Assistant vão ganhar mais poderes, interpretando comandos complexos e entendendo melhor o contexto.
Talvez, finalmente, a Alexa pare de tocar “Despacito” quando você pede “relaxamento”.
Treinar e usar LLMs é como criar um exército de assistentes digitais.
Eles aprendem rápido, trabalham incansavelmente e prometem mudar nosso futuro.
Eles são incríveis, mas ainda fazem besteira de vez em quando.
Ninguém é perfeito — nem as máquinas.
Pedro Londe
Palestrante e autor do livro “O que diabos é Gig Economy?: Como ter várias fontes de renda e aproveitar ao máximo todas as suas habilidades”
