Avaliar uma resposta de IA com critérios verificáveis

Quando usar

Use antes de publicar, enviar ou tomar decisão com uma resposta gerada por IA. A avaliação deve verificar requisitos e afirmações contra materiais autorizados; fluência, confiança no tom e quantidade de detalhes não são prova de correção.

Entradas necessárias

Forneça pedido original, resposta completa, fontes disponíveis, destinatário, uso pretendido, critérios, formato, limites e consequência de erro. Inclua cálculo, citação ou dado que precise de verificação independente.

Prompt

Atue como revisor crítico de uma saída de IA. Avalie a resposta contra o pedido, as fontes e o uso pretendido. Separe erro demonstrado, afirmação sem suporte, requisito ausente e preferência editorial. Não recompense segurança no tom nem complete a verificação com conhecimento não fornecido.

Entradas:

• pedido original e contexto efetivamente enviado à IA;
• resposta integral, sem correções posteriores ocultas;
• fontes autorizadas, versões, datas e trechos relevantes;
• público, decisão ou ação que usará a resposta;
• requisitos obrigatórios, critérios de aceite e formato;
• cálculos, números, nomes, citações e links a conferir;
• risco de erro, revisão especializada necessária e modo rápido ou completo.

Diagnóstico inicial:

1. Reconstrua o que foi pedido e distinga requisito explícito, expectativa implícita e preferência.
2. Verifique se as fontes cobrem o assunto e se estão atuais; ausência de fonte limita o veredito.
3. Divida a resposta em afirmações verificáveis, recomendações, inferências e elementos apenas estilísticos.
4. Destaque qualquer ação irreversível, decisão profissional, dado sensível ou conteúdo destinado ao público.
5. Defina o nível de evidência necessário para aceitar cada parte conforme a consequência de erro.

Modo rápido: avalie até dez afirmações ou requisitos. Entregue veredito provisório — aceitar, aceitar com correções, revisar com especialista ou rejeitar —, três problemas prioritários e a menor correção segura. Use “não verificável com o material” quando faltar fonte.

Modo completo: faça no máximo cinco perguntas de alto impacto antes de executar. Priorize uso pretendido, requisitos, fontes oficiais, risco e critério de aceite. Aguarde respostas; se a fonte essencial estiver ausente, faça auditoria de verificabilidade sem declarar a resposta correta.

Processo:

1. Monte matriz requisito→trecho da resposta→status→evidência. Use atende, atende parcialmente, não atende ou não verificável.
2. Extraia afirmações atômicas e relacione cada uma ao trecho exato da fonte. Não aceite referência genérica a um documento inteiro.
3. Refaça cálculos a partir dos valores informados, mostrando fórmula, unidade, arredondamento e denominador. Se faltar valor, não estime.
4. Procure contradição interna, troca de termo, data incompatível, citação inexistente, link não comprovado e extrapolação além da fonte.
5. Avalie completude, formato, clareza e adequação ao público separadamente da factualidade.
6. Classifique risco por consequência e detectabilidade, sem inventar probabilidade. Exija revisão humana mais forte quando um erro for difícil de perceber ou corrigir.
7. Proponha correções somente quando sustentadas; caso contrário, escreva a pergunta ou busca necessária. Preserve trechos corretos para evitar reescrita desnecessária.
8. Decida se a saída pode ser usada, em qual limite, por quem deve ser revista e qual condição bloqueia o uso.

Formato de saída: A. Escopo da revisão, fontes disponíveis e limite do veredito. B. Matriz de requisitos e cobertura da resposta. C. Tabela de afirmações, evidência, status e risco. D. Cálculos, contradições, omissões e problemas de formato. E. Correções sustentadas e perguntas de verificação pendentes. F. Veredito de uso, revisor responsável e condição de liberação.

Proteções: não invente fato, fonte, número, cálculo, citação, link, prova, urgência, autoridade, exclusividade ou depoimento. Não use memória do modelo como comprovação. Não trate ausência de erro encontrado como garantia de correção. Não aprove orientação médica, jurídica, contábil, financeira, trabalhista ou de segurança sem revisão competente. Não exponha dados do material durante a crítica.

Autorrevisão: para cada marcação de erro, aponte requisito ou fonte que ela viola; para cada aprovação, aponte a evidência correspondente. Procure julgamento baseado apenas em estilo e verifique novamente cálculos e citações. Corrija uma única vez e apresente somente a auditoria final, mantendo “não verificável” onde necessário.

Próxima ação: indique a verificação de maior risco que deve ocorrer antes do uso ou, se tudo estiver sustentado, quem confirma a versão final e onde registrar as fontes utilizadas.

Exemplo de entrada

Resposta fictícia sobre condições de entrega com um pedido original, política datada, tabela de prazos e cálculo de valor; a saída mistura informação correta com uma exceção não documentada.

Como revisar

Oculte a identidade de quem produziu a resposta. O veredito continua igual com base nos requisitos e fontes? Se mudar, a revisão estava julgando autoridade, não evidência.