Mapa — Funcionamento de LLMs

O pipeline completo

flowchart TD
    A["Texto do usuário"] --> B["Tokenizador<br/>BPE / Unigram"]
    B --> C["IDs + posições"]
    C --> D["Embeddings<br/>ID -> vetor denso"]
    D --> E["N blocos Transformer"]
    E --> E1["Self-Attention causal<br/>softmax(QK^T/sqrt(d_k))V"]
    E --> E2["MLP / SwiGLU"]
    E1 --> F["Residual + RMSNorm"]
    E2 --> F
    F -->|"repite N vezes"| E
    F --> G["Projeção final<br/>-> logits sobre V tokens"]
    G --> H["Temperatura"]
    H --> I["Top-k / Top-p / min-p"]
    I --> J["Penalidades"]
    J --> K["Softmax"]
    K --> L{"Amostrar token"}
    L --> M["EOS ou max_tokens?"]
    M -->|nao| C
    M -->|sim| N["Detokenizador"]
    N --> A

Áreas temáticas

mindmap
  root((Funcionamento<br/>de LLMs))
    Representacao
      Token
      Subpalavra / BPE
      Embedding
      Cosseno
      Positional Encoding / RoPE
    Arquitetura
      Transformer
      Self-Attention
      Multi-head
      Mascara causal
      RMSNorm
      SwiGLU
      MLP
    Inferencia
      Prefill
      Decode
      KV Cache
      TTFT vs tokens/s
      Quantizacao
      Speculative decoding
    Amostragem
      Logits
      Temperatura
      Top-k
      Top-p
      Min-p
      Greedy vs beam
      Penalidades
    Engenharia
      Janela de contexto
      Prompt engineering
      Lost in the middle
      Prompt injection
      RAG
      Alucinacao
      Avaliacao

Relações que valem memorizar

graph LR
    T["Tokenização"] -->|"mais tokens = mais caro<br/>e mais lento"| J["Janela de Contexto"]
    J -->|"cabe tudo aqui"| R["RAG"]
    J --> L["Lost in the Middle"]
    E["Embeddings"] --> R
    E -->|"cosseno"| B["Busca Semântica"]
    B -->|"candidatos"| RR["Reranking"]
    RR --> R
    R --> A["Alucinação"]
    K["KV Cache"] -->|"memória no decode"| P["Prefill vs Decode"]
    LG["Logits"] --> TEM["Temperatura"]
    TEM --> TP["Top-p"]
    TP -->|"amostra"| OUT["Saída não determinística"]
    NF["Não-associatividade FP"] -->|"batch muda tudo"| OUT

As perguntas que este site tenta responder

#	Pergunta	Onde está
1	Como o texto vira tokens, e por isso custa dinheiro?	Tokens: o significado dos números
2	Como o significado vira geometria?	Embeddings e vetorização
3	Como cada token “lê” o contexto inteiro?	Arquitetura Transformers e Attention
4	Por que a mesma pergunta dá respostas diferentes?	Temperatura e previsibilidade
5	Como um token vira o próximo token?	Nota Técnica - Geração token a token
6	Por que a ordem no prompt importa?	Engenharia de prompt e contexto

Conceitos-chave (20 neste mapa)

Representação — Token · Embedding · Similaridade de Cosseno · Positional Encoding Arquitetura — Transformer · Self-Attention Inferência — KV Cache · Prefill · Janela de Contexto Decodificação — Logits · Temperatura · Top-p Sampling · Top-k Sampling · Perplexidade Engenharia — Alucinação · RAG · Busca Semântica · Modelo Base · Lost in the Middle · Prompt Injection

Labs disponíveis

flowchart LR
    L1["Lab 01<br/>tokens e custo"] --> L2["Lab 02<br/>embeddings"]
    L2 --> L3["Lab 03<br/>atenção"]
    L3 --> L4["Lab 04<br/>sampling"]
    L4 --> Q["Banco de questões"]