Como avaliar uma IA na sua própria tarefa: critérios, exemplos e testes repetidos

Passo a passo

1. Escolha casos reais da sua tarefa

   Comece com 20 a 40 casos, não com centenas. O conjunto deve representar o que você faz, e não "inteligência geral". Remova dados pessoais desnecessários antes de usar.

   Uma divisão prática:

   • 6 a 10 casos rotineiros: tarefas frequentes e pouco ambíguas.
   • 6 a 10 casos difíceis: documentos longos, instruções conflitantes, várias etapas ou código.
   • 4 a 8 casos de risco: temas jurídicos, financeiros, médicos, privacidade ou segurança.
   • 4 a 8 casos de formato: JSON válido, tabela, e-mail, planilha, código executável.

   Essa divisão é uma sugestão de método, não uma regra oficial. Inclua pelo menos cinco casos com resposta verificável e pelo menos três em que o modelo deveria dizer "não sei" ou pedir esclarecimento.

2. Escreva a rubrica antes de ver qualquer resposta

   Defina uma escala de 0 a 4 para cada critério. Exemplo para correção: 0 = incorreto; 2 = parcialmente correto; 4 = correto e verificável.

   Critérios úteis: correção factual, completude, aderência às instruções, qualidade do raciocínio, robustez (se a qualidade se mantém quando você reformula o pedido), citações verificáveis, segurança e privacidade, formato técnico e utilidade (quanto você ainda precisa corrigir).

3. Monte uma planilha de registro

   Para cada caso, anote no mínimo:

   Campo	O que registrar
   ID	Nome estável, como contrato-07
   Prompt	Texto exato enviado
   Contexto	Arquivos, links, idioma e instruções
   Modelo e versão	Nome exibido pela ferramenta ou API
   Data e hora	Com o fuso horário
   Plano ou endpoint	Aplicativo pago, API etc.
   Parâmetros	Temperatura, limite de saída, modo de raciocínio, ferramentas
   Resposta completa	Sem editar
   Tempo	Até o primeiro token e até a resposta final
   Tokens e custo	Entrada, saída e cache; custo em US$
   Nota e falha	Pontuação por critério; erro, recusa, alucinação (resposta inventada com confiança), JSON inválido ou timeout

4. Rode os mesmos casos em dois ou mais modelos

   Use exatamente o mesmo prompt, os mesmos arquivos, idioma, ferramentas e limite de saída em cada modelo. Compare modelos da mesma classe quando possível: rápido com rápido, raciocínio com raciocínio, multimodal com multimodal.

   Exemplos de modelos atuais, verificado em nov/2026: GPT-6 Astra (OpenAI) e Claude Opus 5.5 ou Claude Sonnet 5 (Anthropic). Você também pode incluir Gemini e outros aplicativos, como DeepSeek, Perplexity ou Grok, registrando o nome exato do modelo que a ferramenta mostrar.

5. Repita cada caso pelo menos três vezes

   Os modelos não respondem sempre igual. Uma única execução não basta.

   • Rode cada caso três vezes por modelo, se o custo permitir.
   • Em casos críticos, use cinco ou mais repetições.
   • Registre cada saída separadamente.
   • Relate a média e também a pior execução.

   Se a ferramenta não deixa controlar temperatura ou seed, repita mais vezes. Nunca compare a média de três execuções de um modelo com uma única execução de outro.

6. Avalie às cegas

   Para tarefas objetivas, prefira testes automáticos: validade do JSON, execução do código, comparação com a resposta conhecida.

   Para tarefas abertas, remova o nome do modelo antes de dar nota. Um outro modelo pode ajudar a pontuar, mas não deve ser a única autoridade: ele pode favorecer respostas longas, um estilo específico ou o próprio fornecedor. Revise uma amostra à mão e compare com a nota automática.

7. Calcule taxa de sucesso, custo e tempo

   Além da média das notas, calcule:

   • Taxa de sucesso: execuções que cumprem todos os requisitos críticos ÷ total de execuções.
   • Custo por sucesso: custo total ÷ execuções que cumpriram os requisitos críticos. Isso evita que um modelo barato pareça melhor quando falha com frequência.
   • Tempo: faça pelo menos cinco medições por caso, em horário e rede parecidos, e informe mediana e percentis (p50 e p95).

8. Repita quando algo mudar

   Refaça o teste quando mudar o modelo, o preço, o prompt ou o aplicativo. Guarde prompts, arquivos, rubrica e scripts para poder repetir. Use os preços da data do teste, não preços copiados de um artigo antigo.

Como avaliar uma IA se rankings públicos já existem?

Rankings públicos, como LMArena e Artificial Analysis, ajudam a ter uma visão geral. Mas eles medem tarefas que não são as suas. Nenhum modelo é o melhor para tudo: o que conta é o resultado no seu tipo de trabalho.

Se você usar um ranking, registre a data da consulta, o nome exato do modelo e se a medição veio de comparação humana, benchmark automatizado, API ou aplicativo.

Devo testar no aplicativo ou na API?

Os dois servem, para coisas diferentes.

• Aplicativo: mostra a experiência do dia a dia. Mas o plano mensal fixo dificulta saber o custo de cada resposta, e o app pode incluir fila, busca, ferramentas, moderação ou roteamento.
• API: permite registrar tokens, repetir o prompt exatamente e calcular custo por caso.

Marque sempre de onde veio cada resultado. Modos diferentes também contam como condições diferentes: a OpenAI informa um modo "Ultrafast" com menor latência para GPT-6 Astra e GPT-6.1 Sol em contas elegíveis, então "normal" e "Ultrafast" devem ser registrados separados (verificado em nov/2026).

Quanto custa cada teste em dólares?

Na API, o preço é cobrado por 1 milhão de tokens, separando entrada, entrada em cache e saída.

Os preços de API por milhão de tokens mudam com frequência: veja a comparação de preços de API.

Exemplo hipotético, não uma cotação: uma execução com 10 mil tokens de entrada e 2 mil de saída custaria US$ 0,20 no GPT-6 Astra e US$ 0,08 no Claude Opus 5.5. Esses valores não incluem ferramentas, armazenamento, busca, arquivos, impostos, descontos ou planos mensais.

No aplicativo, a OpenAI informa que o GPT-6 Pro está nos planos ChatGPT Pro de US$ 100 e US$ 200, além de Business e Enterprise. Para Gemini, não encontramos uma página oficial de preços de 2026 que permita citar valores atuais; confira no site do Google na data do seu teste.

Por que a região dos dados importa?

A Anthropic publicou uma tabela de preços, com vigência de 28 de setembro de 2026, que separa inferência global e inferência exclusiva nos EUA. A opção exclusiva nos EUA aparece com tarifa maior.

Se a sua empresa ou o tipo de dado exige processamento nos EUA, registre essa opção como uma condição diferente: ela pode mudar o preço e o tempo de resposta. Privacidade primeiro: saiba o que você entrega a cada ferramenta antes de enviar documentos reais.

Erros comuns

• Testar uma vez só e concluir qual modelo é melhor.
• Misturar resultados do aplicativo com resultados da API sem marcar a diferença.
• Usar só perguntas de benchmarks públicos, que podem estar nos dados de treinamento dos modelos.
• Ajustar o prompt para favorecer um modelo.
• Escrever "ChatGPT", "Claude" ou "Gemini" sem a versão exata: cada um tem vários modelos e modos.
• Tratar o roteamento automático do aplicativo como medição de um único modelo.
• Olhar só a média e ignorar a taxa de falha e a pior execução.
• Confiar só em outro modelo como juiz, sem revisão humana.