Leonardo Peron4 min de leitura
Todo agente de IA em produção erra. Isso não é defeito de implementação nem sinal de modelo mal escolhido — é a natureza da ferramenta, e o desenho precisa partir daí em vez de torcer para que não aconteça.
A pergunta que decide se o projeto entrega ou vira retrabalho não é "como aumentar o acerto". É o que acontece com o caso que ele não deveria ter resolvido sozinho.
Errar é diferente de não saber
Existem duas falhas com consequências muito diferentes, e a maioria dos desenhos trata as duas igual.
Não saber é o caso em que o agente não tem informação suficiente: o documento está ilegível, o campo não existe, a solicitação é ambígua. É uma falha honesta e fácil de tratar, desde que o agente tenha permissão de dizer que não sabe.
Errar com confiança é o caso em que ele produz uma resposta plausível e errada. É a falha cara, porque não levanta suspeita: o número tem o formato certo, o texto está bem escrito, o campo está preenchido. Ninguém confere o que parece certo.
O primeiro trabalho de desenho é permitir que o agente escolha a primeira falha em vez da segunda. Isso não sai sozinho — precisa estar na instrução, precisa haver uma saída explícita de "não sei", e o processo depois precisa aceitar essa saída sem punir.
A passagem precisa ser um lugar, não uma exceção
Quando o agente não resolve, o caso vai para uma pessoa. Essa frase esconde o projeto inteiro, porque "vai para uma pessoa" costuma significar, na prática, um e-mail para uma caixa compartilhada — que é onde as coisas somem.
Uma passagem que funciona tem quatro propriedades:
É uma fila com dono. Não uma caixa de entrada. Fila tem quantidade observável, tempo de espera e alguém responsável.
Chega com contexto, não só com o caso. O que o agente entendeu, o que tentou, onde travou. Sem isso a pessoa recomeça do zero e a automação economizou nada naquele caso — piorou, porque atrasou.
A decisão da pessoa volta para o sistema. Não termina num e-mail respondido. O caso é concluído no mesmo lugar onde os automáticos são concluídos, senão o histórico fica com dois formatos e nenhum relatório fecha.
Tem prazo. Caso que espera indefinidamente é caso perdido. Se ninguém pegar em X horas, alguém precisa ser avisado.
O limiar é uma decisão de negócio
Quase todo agente consegue produzir alguma medida de quão seguro está da resposta. A tentação é ajustar esse limiar até "ficar bom", olhando a taxa de acerto.
É a conta errada. O limiar decide como distribuir dois tipos de erro, e eles não custam o mesmo:
- Limiar alto: mais casos vão para a pessoa. Custa tempo humano, e o ganho da automação encolhe.
- Limiar baixo: mais casos passam direto. Custa erro em produção, e o preço depende inteiramente do processo.
Num roteamento de atendimento, errar é barato — o caso é redirecionado em minutos. Num lançamento contábil, errar é caro e demora a aparecer. O mesmo modelo, com a mesma qualidade, merece limiares opostos nesses dois casos.
Quem decide isso é quem responde pelo processo, não quem implementa. E a decisão precisa ser revisitada: o volume muda, o tipo de caso muda, e um limiar calibrado em janeiro pode estar errado em julho.
Amostragem no que passou direto
Aqui está o ponto que separa desenho maduro de desenho ingênuo.
Conferir o que o agente mandou para a fila humana é natural — alguém vai olhar de qualquer forma. O que quase ninguém faz é conferir uma amostra do que ele resolveu sozinho.
É exatamente ali que mora o erro caro: o caso que passou com confiança alta e saiu errado. Se ninguém amostra, esse erro só aparece quando um cliente reclama ou uma auditoria encontra — meses depois, com volume acumulado.
Não precisa ser muito. Alguns casos por dia, escolhidos ao acaso, conferidos por quem conhece o processo. O custo é pequeno e é a única forma de saber que a taxa de acerto real continua parecida com a medida no começo.
O que medir depois que entra
Três números contam quase toda a história, e nenhum deles é "acurácia":
- Proporção que o agente resolve sozinho. É o ganho real. Se cair sem explicação, algo mudou na entrada.
- Tempo de espera na fila humana. É onde o gargalo aparece. Automação que empurra mais casos do que a fila absorve não acelerou nada.
- Erros encontrados na amostragem. É o único número que mede qualidade de verdade, porque olha o que passou sem revisão.
O teste que confirma
Antes de considerar o agente pronto, pegue vinte casos que ele resolveu sozinho com confiança alta e entregue a alguém da operação, sem dizer quais são.
Peça para essa pessoa marcar os que ela teria feito diferente.
Se aparecerem um ou dois, o limiar está razoável e a amostragem periódica cobre o resto. Se aparecerem cinco, o limiar está baixo demais para esse processo — e o ajuste é de uma linha, desde que alguém tenha olhado.