Human-in-the-loop
Definição em uma frase: colocar pessoas no circuito do sistema para revisar, aprovar ou corrigir as saídas onde o custo de errar é alto.
Onde entra: gate de criticidade
O humano não revisa tudo — é o gate que decide o que merece revisão. O critério de roteamento é custo do erro, não conveniência:
flowchart LR S[Saída do modelo] --> G{Custo do erro} G -->|baixo| AUT[Resposta automática] G -->|alto| HUM[Revisão humana] HUM --> AUT2[Publicada + monitorada]
Sem gate, o humano vira gargalo: ou segura o sistema inteiro (e vira fila), ou aprova tudo (e vira rubber-stamping). O gate é o que mantém o controle com atrito proporcional ao risco.
Três modos de uso
| Modo | Como funciona | Quando usar | Custo |
|---|---|---|---|
| Aprovação antes | bloqueia até o humano aprovar | ação irreversível, alto valor | latência do ciclo |
| Aprovação depois | publica e o humano monitora/corrige | risco médio, reversão barata | retrabalho |
| Amostragem | revisa X% e usa como medição | verificação contínua em volume | estatístico |
O que fazer quando vira gargalo
| Sinal | Resposta |
|---|---|
| fila cresce | reduzir o volume que chega nele (automatizar o resto) |
| aprovação leva horas | trocar aprovação por amostragem, ou ranquear por criticidade |
| todo mundo aprova | suspect de rubber-stamping: medir concordância com gabarito |
| revisão em cima de erro de máquina | validação automática antes do humano |
Ordem que evita desperdício: validação automática → auto-correção → humano. O humano é o último recurso, porque é o mais caro de todos.
O humano também erra
- Rubber-stamping: aprova por hábito depois da décima requisição igual.
- Viés de confirmação: aprova o que parece com o que ele produz.
- Inconsistência: duas pessoas, dois critérios.
Mitigações: checklist de critérios explícitos, revisão cega (sem ver a resposta do modelo antes de formular a própria), gabarito de referência, e métrica de concordância com o gabarito.
Autoavaliação
- P: Por que “revisão humana de 100% das saídas” não é uma estratégia de segurança? R: vira gargalo e induz rubber-stamping; o humano deixa de revisar de fato, e o custo escala linear com o volume sem melhorar a qualidade.
- P: Quando amostragem substitui aprovação individual? R: quando o risco é baixo o bastante para que a taxa de erro observável oriente a decisão, e a ação é reversível.