Resposta rápida: Avaliar a saída de um agente exige critério escrito antes de ligar, amostra aleatória e estratificada, e uma escala curta de três níveis: aceitável, aceitável com ajuste e inaceitável. As cinco dimensões que cobrem quase todos os casos são correção factual, completude, aderência ao formato, aderência à política e utilidade para o próximo passo do processo. O indicador que sustenta decisão é a taxa de aproveitamento sem edição combinada com o tempo médio de ajuste. Quem avalia é a pessoa que faz o trabalho, com rotação, e nunca o dono do projeto.
Numa reunião de acompanhamento no meio do ano, eu fiz a pergunta que costumo fazer e que quase sempre produz silêncio: como vocês sabem que a saída do agente está boa? A resposta veio do gerente da área, e foi honesta: o time diz que está ajudando.
Aquele agente rodava havia quatro meses, processava algumas centenas de casos por semana e tinha um orçamento aprovado para expansão. A decisão de escalar estava apoiada em uma frase.
Isso não é descuido de gente desatenta. Avaliar saída de IA é trabalho novo, ninguém aprendeu a fazer, e as ferramentas entregam painéis de uso que parecem medição. O painel mostra volume, tempo de resposta e satisfação, três números que sobem mesmo quando a qualidade cai.
Por que impressão não sustenta decisão
Impressão tem três problemas conhecidos e todos aparecem rápido em produção.
O primeiro é o viés do recente. A percepção do time acompanha os últimos casos, então uma semana boa apaga um mês irregular e um caso ruim contamina a avaliação de tudo. O segundo é o viés de quem defende o projeto. Quem investiu tempo e reputação no agente enxerga a saída com generosidade, sem má-fé. O terceiro é o mais grave: erro que não dá trabalho passa invisível. Quando o agente entrega algo plausível e errado, e ninguém confere, a percepção de qualidade fica alta justamente onde o risco está.
Por isso eu insisto em separar duas perguntas que as empresas misturam. A primeira é se o time gosta da ferramenta, que se responde com conversa. A segunda é se a saída está boa, que só se responde com amostra e critério.
As cinco dimensões da régua
O critério de aceitação precisa estar escrito antes de o agente entrar em produção, e cabe em uma página. Cinco dimensões cobrem quase tudo que eu já precisei avaliar.
Correção factual. O que está afirmado é verdade, os números batem com a fonte, as referências existem. É a dimensão mais importante e a mais cara de conferir, porque exige alguém que conheça o assunto.
Completude. A saída inclui tudo que o próximo passo exige. Resposta correta e incompleta gera retrabalho igual à resposta errada, com a diferença de que ela passa mais fácil pela revisão.
Aderência ao formato. Estrutura, campos obrigatórios, extensão, onde o resultado precisa ser gravado. Formato é a dimensão mais fácil de automatizar na verificação, e vale automatizar primeiro por isso.
Aderência à política. O que a empresa proibiu não apareceu: promessa comercial, dado sensível, opinião fora de escopo, termo vetado pelo jurídico. Nas operações voltadas ao cliente, essa dimensão anda junto com o desenho de tom de voz que descrevi em tom de voz da marca em agente de IA.
Utilidade para o próximo passo. A pessoa que recebe consegue seguir sem refazer o raciocínio. É a dimensão que mais separa agente que ajuda de agente que apenas produz.
Para cada dimensão, escreva o que conta como falha, com exemplo. Sem exemplo, dois avaliadores classificam o mesmo caso de forma diferente e o indicador perde sentido.
Como montar a amostra
Amostra mal montada produz número bonito e inútil. Quatro regras resolvem.
Tamanho. Entre 30 e 50 casos por ciclo de avaliação, por agente, é o que eu vejo sustentar decisão em operações de médio porte. Abaixo de 20 casos, a variação natural engole o sinal. Acima de 60, o custo de revisão desestimula a rotina e ela morre no segundo mês.
Aleatoriedade. A amostra precisa ser sorteada, e não escolhida. Quando o time seleciona os casos, ele seleciona os que lembra, o que puxa para os extremos.
Estratificação. Separe por tipo de caso, porque a qualidade varia por tipo e a média esconde isso. Um agente com 90% de aproveitamento geral pode ter 40% no tipo de caso que representa o maior risco financeiro.
Frequência. Semanal nas primeiras oito semanas, mensal depois de estabilizar, e volta a semanal sempre que algo muda: versão de modelo, fonte de dado, prompt, escopo, integração.
Leia também
Três níveis, não cinco
A escala que funciona na prática tem três níveis: aceitável sem ajuste, aceitável com ajuste, inaceitável. Escalas de cinco ou sete níveis parecem mais precisas e produzem discussão sobre a diferença entre 3 e 4, que ninguém resolve e que atrasa a rotina.
Cada nível carrega uma consequência clara. Aceitável sem ajuste entra no fluxo. Aceitável com ajuste entra depois de edição, e o tempo dessa edição é registrado. Inaceitável vira caso de análise, com uma linha explicando qual das cinco dimensões falhou.
Essa última linha é o ativo mais valioso do processo. Depois de seis semanas, a lista de justificativas mostra o padrão do erro, e padrão de erro é o que permite corrigir o desenho em vez de corrigir caso a caso.
Quem avalia
A escolha do avaliador decide a confiabilidade do número. Três regras que eu aplico sempre.
Avalia quem faz o trabalho, porque só essa pessoa reconhece erro sutil no contexto real. Não avalia quem é dono do projeto, porque a pessoa que responde pelo sucesso do agente não pode ser a mesma que atesta a qualidade dele. E existe rotação, porque um único avaliador desenvolve tolerância ao longo das semanas, um efeito que aparece com clareza quando você compara o mesmo caso avaliado por pessoas diferentes.
Em processos com risco regulatório ou decisão financeira, eu recomendo avaliação dupla independente numa fatia da amostra, com comparação dos resultados. Quando os dois avaliadores discordam em mais de 20% dos casos, o problema está no critério, e não nos avaliadores.
Uma observação sobre custo: avaliar 40 casos leva de duas a quatro horas por semana, incluindo o registro. Operações que tratam essa hora como desperdício acabam pagando bem mais caro em retrabalho e incidente, e o cálculo aparece no primeiro trimestre.
O indicador que vale
Entre todos os números possíveis, dois sustentam decisão.
O primeiro é a taxa de aproveitamento sem edição: percentual da amostra classificado como aceitável sem ajuste. É o número que responde se o agente está produzindo trabalho pronto ou rascunho.
O segundo é o tempo médio de ajuste nos casos aceitáveis com ajuste. Esse número é o que revela se a economia é real. Um agente com 60% de aproveitamento e ajuste médio de dois minutos entrega valor. Um agente com 85% de aproveitamento e ajuste médio de quinze minutos nos 15% restantes pode estar consumindo mais tempo do que devolve, porque revisar produção alheia é mais lento que produzir.
Os dois números juntos permitem a conta que interessa ao CFO: tempo total gasto no processo antes e depois, incluindo revisão. Sobre como levar essa conta para o board sem inflar resultado, escrevi em como medir produtividade da IA e em a métrica de IA que o board deveria pedir.
O que não medir sozinho
Três indicadores aparecem em todo painel de fornecedor e enganam quando lidos isolados.
Volume processado sobe com adoção, e não com qualidade. Tempo de resposta melhora com infraestrutura, e não com acerto. Satisfação declarada mede a experiência da interação, e um agente educado que erra pode ter satisfação alta, especialmente quando o erro só aparece semanas depois.
Nenhum dos três é inútil. Todos os três precisam estar ao lado da taxa de aproveitamento, e nunca no lugar dela.
Leia também
Como detectar degradação antes do incidente
A qualidade de um agente muda sem ninguém mexer nele, por três motivos que eu vejo com frequência.
O provedor atualiza o modelo, e o comportamento muda em casos de borda. A fonte de dado muda, com um campo novo, um relatório reformatado, um sistema atualizado. E o processo muda na prática antes de mudar no papel, então o agente continua correto para uma realidade que já passou.
A defesa é barata: um conjunto fixo de vinte casos de referência, com a saída esperada registrada, rodado uma vez por mês e sempre depois de qualquer mudança anunciada pelo fornecedor. Quando a saída desses vinte casos muda, você descobre em uma hora o que de outra forma descobriria num incidente. Esse conjunto entra bem no ritual que descrevi em a revisão trimestral de agentes, e o registro de tudo isso é o que sustenta a trilha de auditoria de IA quando alguém de fora pede evidência.
O que fazer quando dois avaliadores discordam
Discordância entre avaliadores parece problema e é informação. Quando duas pessoas competentes classificam o mesmo caso de forma diferente, uma de três coisas está acontecendo, e cada uma tem correção própria.
O critério está ambíguo. É a causa mais comum, e ela aparece quando a definição de falha foi escrita sem exemplo. A correção é acrescentar o caso da discordância como exemplo no documento de critério, com a classificação acordada. Depois de um mês desse hábito, o critério fica calibrado e a discordância cai naturalmente.
As duas pessoas têm padrões de exigência diferentes por contexto de trabalho. Quem atende cliente enterprise costuma ser mais rigoroso do que quem atende varejo, e os dois estão certos dentro do próprio contexto. A correção é separar o critério por segmento em vez de forçar uma régua única.
O caso é genuinamente de fronteira. Existem saídas que ficam no limite, e a decisão sobre elas é uma escolha de risco que pertence ao dono do processo. A correção é escalar, decidir uma vez e registrar a decisão como precedente.
O indicador que eu acompanho nessa frente é simples: percentual de discordância na fatia com avaliação dupla. Acima de 20%, o problema está no critério, e continuar medindo antes de corrigir produz número sem significado.
O que dá para automatizar na verificação
Nem toda checagem precisa de pessoa, e automatizar as verificações mecânicas libera o avaliador humano para as dimensões que exigem julgamento.
Formato é o caso mais fácil. Campos obrigatórios presentes, extensão dentro do limite, estrutura correta, referência no lugar certo. Uma regra simples resolve, e o que falha na regra nem chega ao humano.
Política também é bastante automatizável. Lista de termos proibidos, padrões que não podem aparecer, presença de dado que deveria ter sido mascarado. Alerta automático nessas condições reduz o risco mais grave sem custo recorrente de atenção.
Correção factual é onde a automação ajuda parcialmente. Quando existe fonte estruturada, dá para conferir número contra a base de origem, e isso pega uma parte relevante dos erros. O resto continua exigindo alguém que conheça o assunto.
Utilidade para o próximo passo não se automatiza. É a dimensão que depende de quem recebe o trabalho, e é justamente por isso que a amostra humana continua sendo obrigatória, mesmo em operações maduras com muita verificação automática.
Leia também
O caso de um agente que parecia excelente
Vale contar um caso, com os detalhes ajustados. Uma operação de análise tinha um agente com nota alta de satisfação interna, volume crescente e nenhuma reclamação. Quando montamos a primeira avaliação estruturada, o resultado geral veio bom: 78% de aproveitamento sem edição.
A estratificação mudou a conversa. Naquele processo existiam quatro tipos de caso, e o quarto tipo, que representava 9% do volume e a maior parte do valor financeiro, tinha aproveitamento de 41%. A média escondia o pior desempenho exatamente onde o erro custava mais, e ninguém tinha percebido porque o volume era baixo e a revisão era feita por impressão.
A correção foi tirar aquele tipo do escopo do agente e mantê-lo integralmente humano, com o agente preparando apenas a coleta de informação. O aproveitamento geral subiu, o risco caiu e o time passou a confiar mais na ferramenta, não menos.
Guardo esse caso porque ele resume três coisas: média engana, estratificação revela, e reduzir escopo às vezes aumenta o valor entregue.
Como apresentar isso para a diretoria
Um cuidado de comunicação que evita ruído. Quando você leva a primeira avaliação estruturada para a diretoria, o número vai parecer pior do que a percepção anterior, porque a percepção anterior era otimista por construção.
O jeito de apresentar que funciona: mostrar o número, mostrar o que ele substituiu, que era impressão, e mostrar a decisão que ele permite tomar. Diretoria reage mal a número ruim sem decisão associada, e reage bem a número honesto com caminho proposto.
Vale antecipar também a pergunta sobre comparação com o desempenho humano. A régua justa é o processo anterior, e nunca a perfeição. Quando o time faz a mesma tarefa com 8% de retrabalho e o agente faz com 12%, a conversa é sobre custo e volume, e não sobre falha da tecnologia.
O painel mínimo por agente
Quatro números por mês, por agente, numa linha de planilha. Taxa de aproveitamento sem edição. Tempo médio de ajuste. Número de casos inaceitáveis, com a dimensão que falhou. Número de transbordos para pessoa, quando existir atendimento.
Esse painel cabe numa tela, permite comparar agentes entre si e permite ver tendência. Nas empresas que passaram de cinco agentes em produção, ele virou a base da conversa mensal de operação, e substituiu com vantagem os relatórios que o fornecedor manda.
Quando um agente aparece três meses seguidos com aproveitamento em queda e tempo de ajuste em alta, existe uma decisão a tomar, que pode ser redesenho, redução de escopo ou desligamento. O critério para essa última decisão está em quando desativar um agente de IA.
Da avaliação para a melhoria
Avaliação que não muda o desenho é burocracia. O ciclo fecha quando a lista de justificativas dos casos inaceitáveis vira regra nova.
O padrão que eu recomendo é mensal e leva uma hora. Pegue as três justificativas mais frequentes do mês. Para cada uma, decida entre três caminhos: mudar a instrução do agente, mudar o processo humano ao redor dele, ou tirar aquele tipo de caso do escopo do agente. Registre a decisão com data.
A terceira opção é a mais subestimada. Existem tipos de caso em que o agente vai continuar errando porque falta informação estruturada, e insistir neles queima confiança do time. Reduzir escopo de forma consciente costuma aumentar o valor total entregue.
Leia também
Avaliar quem escreve é diferente de avaliar quem decide
Uma régua única para todos os agentes parece organizada e produz avaliação rasa. Um agente que redige texto erra de um jeito, e o erro costuma ser visível: tom fora do lugar, informação faltando, tamanho errado. Um agente que classifica, prioriza ou aprova erra de outro jeito, silencioso, e o erro só aparece na consequência, às vezes semanas depois.
Para o que escreve, a avaliação por amostra funciona bem, porque o avaliador enxerga o problema lendo. Para o que decide, amostra pode enganar, já que a decisão isolada parece defensável e o problema está no padrão: uma inclinação sistemática que só aparece quando se olha a distribuição de cem decisões, não a qualidade de cinco.
Então para agente de decisão eu incluo sempre duas verificações a mais. A distribuição das saídas comparada com o histórico de decisões humanas, procurando desvio que ninguém pediu. E um lote de casos difíceis mantido fixo, com o resultado esperado definido antes, que é reaplicado a cada mudança relevante. Sem isso, a empresa está avaliando a aparência da decisão em vez do efeito dela.
Quando a régua reprova um agente que a área adora
Esse momento chega em toda implantação madura e é político, não técnico. A régua aponta problema, e a área que usa o agente todos os dias discorda, porque para ela ele resolve a vida e a nota parece injusta.
Antes de brigar, verifique uma coisa: a régua está medindo o que importa naquele contexto? Um agente de apoio interno, cuja saída é sempre revisada por quem pediu, pode conviver com uma taxa de erro que seria inaceitável em um agente que fala com cliente. Aplicar o mesmo rigor aos dois casos é o erro do avaliador, e a área tem razão em reclamar.
Se a régua estiver correta e o risco for real, a conversa muda de assunto. Deixa de ser sobre a nota e passa a ser sobre o que acontece quando aquele erro chegar em quem não pode absorvê-lo. Eu levo um caso concreto para a mesa, com o custo estimado, e pergunto quem assina a decisão de manter como está. Quase sempre a discussão termina ali, com um ajuste de escopo em vez de uma disputa sobre metodologia.
O que eu pergunto quando chego numa operação
Duas perguntas, e a resposta delas me diz o nível de maturidade da operação em cinco minutos. A primeira: me mostra o critério escrito de aceitação deste agente. A segunda: me mostra a planilha da última amostra avaliada, com as justificativas.
Quando as duas coisas existem, a conversa sobre escalar é rápida e segura, porque a decisão tem base. Quando não existem, minha recomendação é sempre a mesma: antes de expandir o agente para outra área, gaste três semanas medindo o que ele já faz. É o investimento com melhor retorno em todo programa de IA que eu já acompanhei, e o único que impede a empresa de escalar um problema junto com a solução.