Explicação animada com narração · 24 cenas · 13 min 16 s
Um Transformer não aprende com regras escritas por alguém. Ele aprende com uma única tarefa, repetida sobre trilhões de tokens de texto: prever o próximo token. Esta animação mostra esse ciclo — do texto aos tokens, da atenção multi-cabeça à previsão, do erro ao ajuste dos pesos — e responde à pergunta que mais importa: por que um objetivo tão simples dá origem a modelos que entendem, constroem uma imagem do mundo e planejam à frente, como um jogador de xadrez que faz um lance por vez com uma estratégia na cabeça.
Em resumo
- Um Transformer é treinado em uma única tarefa: prever o próximo token de um texto.
- O texto é dividido em tokens; cada token vira um vetor (embedding), e a atenção — com muitas cabeças em paralelo, cada uma seguindo uma relação diferente — decide quais partes do contexto importam para cada token.
- No treinamento, a previsão é comparada com o token verdadeiro; o erro (loss) é propagado para trás (backpropagation) e cada peso é ajustado um pouco, sobre trilhões de tokens.
- Prever bem obriga a entender: para adivinhar a última palavra de um romance policial é preciso ter acompanhado a trama. Por isso emergem representações internas do mundo — até de um tabuleiro de Othello que o modelo nunca viu, lido por dentro e editável.
- O modelo escreve um token por vez, mas planeja à frente: escolhe a rima antes de escrever o verso, e passa por “Texas” antes de responder “Austin”. Escrever os passos (uma cadeia de raciocínio) dá ainda mais espaço para pensar.
- Como um jogador de xadrez: um lance por vez, com uma visão do tabuleiro e uma estratégia. Até onde isso vai ainda é uma pergunta em aberto — os modelos continuam errando com confiança.
As 24 cenas, uma a uma
Cada cena mostra o momento em que começa na animação; clique em “Ver cena” para pular para ela. O texto longo de cada cena é exatamente o que a narração diz — serve de transcrição. Os números que a animação mostra (probabilidades, erro, pesos, jogadas) são ilustrativos, não medições de um modelo real.
-
Prólogo ·
Tudo começa com texto
Milhões de frases dão ao modelo uma tarefa simples: adivinhar o que vem a seguir.
Um modelo de linguagem é treinado para uma única tarefa: ler um trecho de texto e adivinhar o que vem a seguir. Não há regras escritas à mão nem um objetivo escondido. Parece quase trivial, como o corretor automático do celular. A pergunta que esta animação responde é como um jogo tão simples dá origem a um sistema capaz de explicar, planejar e raciocinar. A resposta curta: para jogar bem esse jogo, o modelo precisa construir uma imagem do mundo por trás das palavras, e aprender a pensar à frente.
Ver cena -
01 · Dados ·
Uma frase de cada vez
O modelo não recebe regras. Recebe exemplos de linguagem do jeito que ela é usada.
O material de treinamento é texto real: livros, artigos, código, conversas. Cada frase é, ao mesmo tempo, pergunta e resposta. As primeiras palavras são o contexto, e a palavra seguinte é o que o modelo precisa acertar. Ninguém explica gramática, física ou xadrez para ele. O que ele vier a saber sobre isso, precisa descobrir pelo jeito como as pessoas escrevem sobre isso.
Ver cena -
02 · Tokenização ·
Texto vira peças
Palavras e fragmentos são convertidos em tokens — pequenas unidades numeradas.
Antes de qualquer cálculo, o texto é cortado em tokens: palavras inteiras, pedaços de palavras ou sinais de pontuação, cada um com um número em um vocabulário fixo de dezenas de milhares de entradas. Palavras frequentes costumam ser um único token; as raras se dividem em vários. A partir daqui, o modelo só vê sequências de números. Os números na tela são ilustrativos.
Ver cena -
03 · Embeddings ·
Cada token ganha posição
Um número se transforma em um ponto num espaço com milhares de dimensões.
Cada token vira um vetor: uma lista de centenas ou milhares de números, um ponto em um espaço com outras tantas dimensões. Com o treinamento, tokens usados de jeito parecido ficam perto uns dos outros, e as direções desse espaço passam a significar coisas, como singular e plural, ou passado e presente. A posição de cada token na frase também é codificada, para que a ordem das palavras conte.
Ver cena -
04 · Atenção ·
Cada palavra olha para as outras
A atenção mede quais partes do contexto são importantes para compreender cada token.
A atenção é o coração do Transformer. Cada token faz uma pergunta, a chamada query. Cada token anterior oferece uma chave, e onde a pergunta e a chave combinam, a informação desse token passa. Em “O gato dorme ao sol”, é assim que “sol” busca informação em “dorme” e em “gato”. Para onde olhar não é uma regra fixa: é aprendido, e muda com o contexto.
Ver cena -
05 · Atenção multi-cabeça ·
Muitos olhares ao mesmo tempo
Cada cabeça aprende a seguir uma relação diferente: quem faz o quê, onde, o que veio logo antes.
E a atenção não acontece uma vez só. Cada camada roda muitas cabeças de atenção em paralelo, dezenas nos modelos grandes, cada uma com suas próprias perguntas, chaves e valores. Uma cabeça aprende a ligar o verbo ao sujeito; outra liga uma palavra ao lugar onde a ação acontece; outra simplesmente olha para a palavra anterior; outra acompanha o assunto. No fim, os resultados se juntam. É como olhar para uma posição de xadrez com vários pares de olhos ao mesmo tempo: o material, as ameaças, a estrutura, a segurança do rei. Ninguém distribui esses papéis. Eles aparecem porque ajudam a prever.
Ver cena -
06 · Camadas ·
A ideia é refinada
Camada após camada, relações simples se tornam padrões cada vez mais abstratos.
Um Transformer empilha dezenas desses blocos: atenção, seguida de uma pequena rede que trabalha cada token separadamente. Cada bloco lê o que os anteriores deixaram e escreve informação nova por cima, em uma corrente que atravessa o modelo inteiro. As primeiras camadas captam padrões próximos, como a gramática. As mais profundas constroem significados, relações e, como vamos ver, planos.
Ver cena -
07 · Previsão ·
Qual será o próximo token?
No fim, o modelo atribui uma probabilidade a cada continuação possível.
No topo da pilha, o modelo transforma a representação final em uma pontuação para cada token do vocabulário, e uma função chamada softmax transforma essas pontuações em probabilidades que somam cem por cento. “Sol” fica com sessenta e dois por cento, mas “lado”, “fim” e “som” também são possíveis. O modelo não devolve uma palavra. Ele devolve uma paisagem inteira de possibilidades.
Ver cena -
08 · Realidade ·
A resposta certa já era conhecida
Durante o treinamento, comparamos a previsão com o token que realmente vinha a seguir.
No treinamento, o texto já existe, então o próximo token verdadeiro é conhecido. Ninguém precisa rotular nada: o próprio texto é o gabarito. Isso se chama aprendizado autossupervisionado, e é por isso que esses modelos conseguem aprender com quase tudo o que a humanidade já escreveu.
Ver cena -
09 · Loss ·
Medir o erro
Um número resume a distância entre a previsão do modelo e a continuação correta.
A distância entre a previsão e a verdade vira um único número, a loss, normalmente a entropia cruzada. Se o modelo deu muita probabilidade ao token certo, a loss é pequena. Se errou com confiança, a loss é grande. Tudo o que o modelo vier a aprender nasce da tentativa de diminuir esse número.
Ver cena -
10 · Backpropagation ·
O erro viaja para trás
O sistema calcula quanto cada conexão contribuiu para aquele erro.
A retropropagação, ou backpropagation, manda o erro de volta pela rede, da última camada para a primeira, e calcula, para cada um de bilhões de pesos, em que direção, e quanto, uma pequena mudança teria reduzido o erro. É a regra da cadeia do cálculo, aplicada em uma escala enorme.
Ver cena -
11 · Pesos ·
Milhões de ajustes minúsculos
Cada peso muda um pouco, deixando a próxima previsão ligeiramente melhor.
Depois, um otimizador, como o Adam, empurra cada peso em uma quantidade minúscula, na direção que reduz o erro. Nenhum passo, sozinho, ensina algo que se possa apontar. O conhecimento se acumula como se forma o leito de um rio: de incontáveis pequenas correções, todas empurrando para o mesmo lado.
Ver cena -
12 · Escala ·
Repetir. E repetir.
Esse ciclo acontece com enormes quantidades de texto, muitas vezes e em paralelo.
Prever, medir, ajustar. O ciclo se repete sobre trilhões de tokens, em milhares de processadores trabalhando em paralelo durante meses. As chamadas leis de escala mostram que o erro cai de forma previsível quando crescem os dados, o tamanho do modelo e a computação. E, com a escala, continuam aparecendo capacidades para as quais ninguém treinou diretamente.
Ver cena -
13 · Aprendizado ·
O erro começa a cair
Sem memorizar uma lista de regras, o modelo aprende regularidades profundas.
A loss cai rápido no começo e depois cada vez mais devagar. Os padrões fáceis, como a ortografia, a gramática e as expressões prontas, são aprendidos cedo. O que sobra é mais difícil: fatos, lógica, as intenções das pessoas, o jeito como as situações se desenrolam. É nessas últimas frações de erro que mora o entendimento.
Ver cena -
14 · Por que é difícil ·
Para prever, é preciso entender
Para adivinhar a última palavra de um romance policial, é preciso ter acompanhado a trama inteira.
É por isso que prever o próximo token não é um truque superficial. Imagine um romance policial que termina assim: “e o assassino era…”. Para prever essa única palavra, não basta saber quais nomes são comuns. É preciso acompanhar os personagens, as pistas, os álibis e os motivos ao longo de centenas de páginas. É um exemplo que Ilya Sutskever, um dos fundadores da OpenAI, gosta de usar. O mesmo vale para uma demonstração, um programa ou um argumento jurídico. Quanto melhor a previsão, mais do mundo por trás do texto o modelo precisa captar. A previsão é o teste; o entendimento é o que é preciso para passar nele.
Ver cena -
15 · Interior ·
Nasce um mapa invisível
Conceitos, relações, estilos e estruturas se organizam em representações internas.
Dentro da rede, conceitos e relações se organizam em representações internas: direções e regiões do espaço de vetores que correspondem a ideias como “animal”, “movimento” ou “luz”. Os pesquisadores conseguem encontrá-las, e até ligá-las e desligá-las para mudar o que o modelo diz. Ninguém as programou. Elas apareceram porque ajudam a prever.
Ver cena -
16 · Modelo de mundo ·
Prever exige compreender estrutura
Para continuar bem uma frase, o modelo precisa capturar algo sobre como o mundo funciona.
Algumas dessas representações parecem um modelo do mundo. Pesquisadores descobriram que os modelos de linguagem codificam a latitude e a longitude dos lugares, e a época em que viveram figuras históricas, como linhas retas dentro do seu espaço de vetores, aprendidas só a partir de texto. Para continuar bem frases sobre causas, tempos e distâncias, vale a pena representar causas, tempos e distâncias.
Ver cena -
17 · Um tabuleiro por dentro ·
Um tabuleiro que ninguém mostrou
Treinado só com listas de jogadas, o modelo constrói a própria imagem do tabuleiro.
A prova mais clara vem dos jogos. Pesquisadores treinaram um Transformer só com listas de jogadas de Othello, como “d3, c5, f6”: sem imagens do tabuleiro, sem regras. Depois olharam lá dentro. O estado do tabuleiro inteiro, qual peça estava em qual casa, podia ser lido direto nas ativações. E quando editaram esse tabuleiro interno, as próximas jogadas do modelo mudaram para se ajustar à posição editada. Ele não tinha decorado sequências. Tinha construído o tabuleiro. Um modelo treinado do mesmo jeito com partidas de xadrez faz o mesmo, e até estima a força dos jogadores.
Ver cena -
18 · Planejar ·
Uma palavra por vez, com um plano
Antes de escrever o verso, o modelo já escolheu a palavra com que vai rimar.
Escrever um token por vez não quer dizer pensar um token por vez. Quando um modelo escreve dois versos que rimam, os pesquisadores descobriram que ele escolhe a palavra da rima antes de começar o segundo verso, e depois constrói o verso para chegar lá. Mude essa escolha interna, e o verso inteiro muda. Quando perguntam a capital do estado onde fica Dallas, ele primeiro representa internamente “Texas”, e só depois diz “Austin”. Como um jogador de xadrez, ele faz um lance por vez, com um plano já na cabeça.
Ver cena -
19 · Novo contexto ·
Agora, sem a resposta
No uso real, o modelo vê apenas o contexto e calcula o próximo token.
No uso, a chamada inferência, não há mais resposta certa para comparar nem pesos para ajustar. O modelo recebe um contexto novo, calcula a distribuição do próximo token, escolhe um, acrescenta ao texto e repete. Cada palavra de uma resposta é uma nova previsão, feita com tudo o que já foi escrito à vista.
Ver cena -
20 · Raciocínio ·
Pensar em voz alta
Cada token que escreve vira contexto: escrever os passos dá espaço para raciocinar.
Falta uma peça. Uma passagem pela rede tem uma quantidade fixa de cálculo. Mas cada token que o modelo escreve volta a entrar como contexto. Por isso, quando ele escreve os passos intermediários, uma cadeia de raciocínio, ganha um rascunho e mais cálculo, como um jogador de xadrez que calcula variantes antes de tocar em uma peça. Os modelos de raciocínio atuais são treinados, com aprendizado por reforço, para pensar assim por mais tempo antes de responder, e por isso resolvem problemas muito mais difíceis.
Ver cena -
21 · Xadrez ·
Uma posição é mais do que peças
O modelo representa ameaças, espaço, segurança do rei e planos possíveis ao mesmo tempo.
Voltemos ao xadrez. Um jogador forte não vê trinta e duas peças. Ele vê ameaças, casas fracas, um rei exposto, um plano. Modelos de linguagem treinados só para prever a próxima jogada na notação do xadrez desenvolvem representações internas do mesmo tipo: onde está cada peça, e até uma estimativa da força dos jogadores. E um Transformer treinado para prever boas jogadas, sem nenhuma busca, chegou ao nível de grande mestre no blitz.
Ver cena -
22 · Emergência ·
A jogada emerge do estado
“Cavalo para e5” não vem de uma regra isolada, mas de uma representação rica da posição.
Por isso, “cavalo para e5” não sai de uma regra do tipo “se acontecer isto, jogue aquilo”. Sai de uma imagem da posição inteira, construída camada por camada, e daquilo a que essa posição pode levar. É a mesma maquinaria que escolhe a próxima palavra de uma frase: um lance por vez, cada lance informado por uma visão do tabuleiro inteiro.
Ver cena -
Epílogo ·
Aprender é ajustar previsões
Da próxima palavra à próxima jogada: o conhecimento emerge de incontáveis pequenas correções.
Contexto, representação, previsão. Tudo o que um Transformer sabe vem de incontáveis pequenas correções nesse ciclo. Prever o próximo token é o objetivo, não o limite: para prever bem, o modelo precisa representar o mundo por trás das palavras e planejar para onde elas vão. Até onde isso vai ainda é uma pergunta em aberto. Esses modelos ainda erram com confiança, e a imagem que eles têm do mundo pode ter buracos. Mas a próxima palavra é só o lance que se vê. A estratégia está por baixo.
Ver cena
Perguntas frequentes
O que é um Transformer?
É uma arquitetura de rede neural apresentada em 2017 no artigo “Attention Is All You Need” (Vaswani et al.). Ela processa sequências com mecanismos de atenção em vez de recorrência, o que permite treinar em paralelo com enormes quantidades de dados. É a base dos grandes modelos de linguagem atuais.
O que é um token?
É a unidade em que o texto é dividido antes de entrar no modelo: uma palavra, um pedaço de palavra ou um sinal de pontuação. Cada token corresponde a um número em um vocabulário fixo. Palavras frequentes costumam ser um único token; palavras raras se dividem em vários.
O que faz o mecanismo de atenção?
Para cada token, ele compara a sua pergunta (query) com as chaves (keys) dos tokens anteriores e combina a informação deles (values) de acordo com essa semelhança. É assim que uma palavra como “ele” encontra o nome a que se refere. Em um modelo que gera texto, cada token só olha para os tokens anteriores.
O que é a atenção multi-cabeça?
Em cada camada, a atenção roda várias vezes em paralelo — dezenas de “cabeças” nos modelos grandes —, cada uma com suas próprias perguntas, chaves e valores. Cada cabeça aprende a seguir uma relação diferente: o sujeito de um verbo, a palavra anterior, aquilo a que um pronome se refere, o assunto. Os resultados de todas são depois combinados. Ninguém atribui os papéis: elas se especializam durante o treinamento, porque isso ajuda a prever.
O que são a loss e a backpropagation?
A loss é o número que mede o erro de uma previsão — geralmente a entropia cruzada, que aumenta quando o modelo dá pouca probabilidade ao token certo. A backpropagation calcula quanto cada peso contribuiu para esse erro, e o otimizador ajusta os pesos no sentido que o reduz.
Como prever a próxima palavra pode dar raciocínio?
Porque prever bem é difícil: para adivinhar o nome do assassino na última página de um romance policial, é preciso ter acompanhado a trama inteira. Para diminuir o erro, o modelo precisa representar o que está por trás do texto. Há evidência experimental disso: um Transformer treinado só com jogadas de Othello forma uma imagem interna do tabuleiro, que pode ser lida e editada por dentro; e em modelos de linguagem vê-se o modelo escolher a rima antes de escrever o verso e passar por “Texas” antes de responder “Austin”. Como um jogador de xadrez, ele joga um lance por vez, mas cada lance sai de uma visão do tabuleiro e de um plano.
Então esses modelos entendem como nós?
Não do mesmo jeito, e até onde vai esse entendimento é uma pergunta em aberto. As representações internas podem ser parciais ou incoerentes, e os modelos continuam errando com confiança e inventando fatos plausíveis. O que a evidência mostra é que prever o próximo token não é só estatística de superfície: obriga o modelo a construir estrutura.
Qual é a diferença entre treinamento e uso (inferência)?
No treinamento, o modelo vê a resposta certa, mede o erro e ajusta os pesos. No uso, os pesos ficam fixos: o modelo apenas calcula o próximo token a partir do contexto, acrescenta esse token e repete. Quando escreve os passos intermediários antes da resposta (uma cadeia de raciocínio), cada passo volta a entrar como contexto e dá mais espaço para pensar.
Para saber mais
Os artigos na origem de cada ideia da animação:
- Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS 2017.
- Sennrich, R., Haddow, B. & Birch, A. (2016). Neural Machine Translation of Rare Words with Subword Units. ACL 2016.
- Clark, K., Khandelwal, U., Levy, O. & Manning, C. D. (2019). What Does BERT Look At? An Analysis of BERT’s Attention. BlackboxNLP 2019.
- Voita, E. et al. (2019). Analyzing Multi-Head Self-Attention: Specialized Heads Do the Heavy Lifting, the Rest Can Be Pruned. ACL 2019.
- Rumelhart, D. E., Hinton, G. E. & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature 323, 533–536.
- Kingma, D. P. & Ba, J. (2015). Adam: A Method for Stochastic Optimization. ICLR 2015.
- Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv.
- Gurnee, W. & Tegmark, M. (2024). Language Models Represent Space and Time. ICLR 2024.
- Li, K. et al. (2023). Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task. ICLR 2023.
- Nanda, N., Lee, A. & Wattenberg, M. (2023). Emergent Linear Representations in World Models of Self-Supervised Sequence Models. BlackboxNLP 2023.
- Karvonen, A. (2024). Emergent World Models and Latent Variable Estimation in Chess-Playing Language Models. arXiv.
- Lindsey, J. et al. (2025). On the Biology of a Large Language Model. Transformer Circuits.
- Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. NeurIPS 2022.
- DeepSeek-AI (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv.
- Ruoss, A. et al. (2024). Grandmaster-Level Chess Without Search. arXiv.