Framework de decisão estratégica

Meta: sair com um framework utilizável, aplicável a qualquer caso de uso em minutos.

Resumo em 3 frases

  1. Um framework de decisão para IA deve ser respondível em uma folha e aplicável antes de escrever qualquer linha de prompt.
  2. As perguntas são nesta ordem: o problema é de IA? há dados? o erro é tolerável? qual alavanca de valor? qual o menor experimento?
  3. A saída não é sim ou não — é experimento, custo-teto, métrica de sucesso e critério de abandono.

O framework em 8 perguntas

#PerguntaSe a resposta for não
1O problema é de IA, ou é de processo/dado/decisão?Pare. Resolva o que é.
2Existe volume alto e tarefa recorrente?Automação simples resolve.
3Temos dados (exemplos do bom e do ruim)?Gere o dado primeiro.
4O erro é tolerável ou detectável?Use IA só como sugestão.
5Qual alavanca: custo, receita, velocidade ou qualidade?Não há caso de uso.
6Qual o menor experimento que testa a hipótese?Não comece por projeto.
7Como medir o antes e o depois?Não há como provar ganho.
8O que acontece se errar? Custo-teto?Defina o teto antes.

A pergunta 7 é a que mais reprova projetos, e é a que mais tarde custa caro: sem linha de base medida antes, não existe ganho para provar.

A matriz de pontuação

Dê nota de 1 a 5 para cada dimensão. Serve para comparar casos, não para aprovar sozinho.

Dimensão1 (desfavorável)5 (favorável)
Volumealguns por mêsmilhares por dia
Recorrênciacada caso é únicoidêntico toda semana
Estruturação do dadobagunçado, sem padrãojá vem estruturado
Tolerância a erroerro caro ou invisívelerro barato e detectável
Valor por unidadeganho de segundosganho de horas
Latência exigidaprecisa ser instantâneopode esperar segundos
Risco regulatórioalto, com trilha obrigatóriabaixo
Facilidade de avaliaçãosem como medirmétrica já existe

Leitura do resultado: a pontuação não aprova nada. Ela serve para comparar dois casos e dizer qual testar primeiro — e para enxergar qual dimensão está segurando o projeto.

A saída do framework

Um framework de decisão deve terminar em quatro números escritos, não em uma opinião:

Hipótese:  Se <mudança>, então <métrica> vai de <antes> para <depois>.
Experimento: <o menor teste possível>, prazo <N> dias.
Custo-teto: <valor> / <horas>. Se passar, PARAR.
Critério de abandono: <condição observável> até <data>.

O critério de abandono é a parte que quase sempre falta. Sem ele, o projeto nunca morre — e projeto que nunca morre consome a organização.

Ver Antipatrones de adocao de IA para o antipadrão exato do piloto eterno.

Aplicação

O framework está aplicado ao seu caso, escrito na Projeto: avaliação de caso de uso de IA.

Perguntas para validar

  1. Em qual das 8 perguntas a maioria dos projetos reprova?
  2. Por que a pergunta 7 (medir) é mais difícil que as outras?
  3. O que aconteceria se o critério de abandono fosse definido só depois do resultado?

Ver também