LLMs por dentro

Notas de estudo sobre como modelos de linguagem funcionam por dentro: tokens e custo, attention, sampling,KV cache, embeddings, RAG, fine-tuning e as falhas que importam em produção.

O conteúdo vem de um vault pessoal do Obsidian e é regerado a partir dele. A fonte da verdade é o vault, não este site.

Por onde começar

Fundamentos

• Token
• Embedding
• Transformer
• Self-Attention
• Janela de Contexto
• Perplexidade

Geração e sampling

• Logits
• Temperatura
• Top-k Sampling
• Top-p Sampling
• Prefill
• KV Cache

Engenharia

• RAG
• Chunking
• Busca Semântica
• Similaridade de Cosseno
• Fine-tuning
• LoRA

Limites e riscos

• Alucinação
• Lost in the Middle
• Prompt Injection
• Modelo Base
• Teacher Forcing
• Positional Encoding

Praticar

• Banco de questões — 76 questões com nível de dificuldade e tema de origem.
• Guias — os temas em prosa, do enquadramento à mecânica.
• Labs — código executável sobre tokens, embeddings, atenção e sampling.
• Pesquisas — o que cada paper realmente mudou, e o que é só otimização de constante.
• Papers — Attention Is All You Need, Chinchilla, GQA, InstructGPT, LoRA, Mamba e RoPE.
• Mapa dos conceitos — as perguntas que as fichas respondem, em ordem.

Nota de método

Estas são anotações de estudo, não documentação de referência. Onde a nota contradiz o paper ou a documentação, o paper ganha. Os labs foram executados localmente, mas os números hardware-dependem — leia a conclusão de cada um.