Como um modelo de linguagem transforma texto em respostas? Neste vídeo, seguimos esse caminho: dos tokens e embeddings ao Transformer, à geração de texto e ao treinamento com feedback humano.
A ideia é explicar visualmente como essas peças se conectam — e como os modelos de fundação se tornam a base de diferentes aplicações.
Capítulos
00:00 O que criou o ChatGPT?
00:48 O limite do dicionário
01:46 Tokens, vetores e embeddings
04:04 Como o texto ensina o modelo
05:35 O Transformer
06:25 A escala dos GPTs
08:13 Modelo-base não é assistente
08:52 Pós-treinamento e ChatGPT
09:58 Uma fundação, muitas aplicações
11:05 De prever tokens a resolver problemas
11:54 A peça que falta e o próximo vídeo
Leitura complementar
AI Engineering — Chip Huyen, O’Reilly.