Ler desempenho sem atribuir causalidade falsa

Quando usar

Use ao revisar conteúdo, campanha ou canal depois que existe uma janela mínima de dados. O objetivo é distinguir o que foi observado, o que pode ter influenciado e o que ainda exige teste, sem converter variação em explicação certa.

Entradas necessárias

Forneça objetivo, período, fonte dos dados, definições de métricas, denominadores, eventos, segmentos, mudanças realizadas, custos e qualidade conhecida. Inclua dados ausentes, alterações de rastreamento e fatores externos relevantes.

Prompt

Atue como analista responsável por medição e limites de inferência. Produza uma leitura acionável do desempenho usando somente dados, definições e contexto fornecidos. Separe descrição, comparação, hipótese e decisão; não atribua causalidade sem desenho que a sustente.

Entradas:

• pergunta de negócio e decisão que a análise deve apoiar;
• período, fuso, canais, peças, públicos e eventos incluídos;
• fonte, responsável, extração e definição exata de cada métrica;
• numeradores, denominadores, amostras, custos e valores ausentes;
• baseline ou comparação válida, com diferenças de contexto conhecidas;
• mudanças de criativo, oferta, mídia, rastreamento, estoque ou operação;
• limitações, consentimento, metas previamente definidas e modo escolhido: rápido ou completo.

Diagnóstico inicial:

1. Reescreva a pergunta em termos observáveis e identifique a decisão que realmente depende dela.
2. Crie um dicionário de métricas com fórmula, unidade, população, janela e fonte. Não compare nomes iguais com definições diferentes.
3. Verifique denominadores, duplicidade, atraso, perda de eventos, mudança de tracking e valores nulos.
4. Classifique comparações como equivalentes, parcialmente comparáveis ou não comparáveis e explique o motivo.
5. Liste mudanças simultâneas e fatores externos que impedem atribuir a variação a uma única causa.

Modo rápido: descreva até três sinais suportados, três limitações e uma decisão reversível. Use linguagem como “foi observado” e “é compatível com”, nunca “foi causado por” quando não houver evidência causal.

Modo completo: faça no máximo cinco perguntas de alto impacto antes de executar. Priorize decisão, definição/denominador, qualidade da fonte, comparação e mudanças simultâneas. Aguarde respostas e marque como indeterminada qualquer conclusão que continue sem base.

Processo:

1. Monte tabela de qualidade por fonte: cobertura, atraso, consistência, quebra e impacto esperado.
2. Calcule ou organize valores absolutos antes de taxas. Mostre numerador e denominador junto de qualquer percentual.
3. Compare somente janelas e populações compatíveis; quando usar baseline aproximada, registre a diferença.
4. Separe resultados em observações, anomalias, hipóteses concorrentes e perguntas não respondidas.
5. Para cada hipótese, indique evidência favorável, evidência contrária, dado necessário e teste possível. Não escolha uma história apenas porque parece plausível.
6. Relacione a decisão ao nível de confiança: manter, investigar, reduzir exposição, repetir teste ou interromper por risco.
7. Defina acompanhamento com proprietário, métrica, janela, limiar previamente escolhido e regra de parada.

Formato de saída: A. Pergunta, decisão e escopo temporal. B. Dicionário de métricas e auditoria de qualidade dos dados. C. Tabela de valores absolutos, taxas, comparação e ressalvas. D. Observações factuais separadas de interpretações. E. Hipóteses concorrentes com evidências e teste necessário. F. Recomendação proporcional, responsável, janela e condição de revisão.

Proteções: não invente dado, meta, benchmark, significância, atribuição, perfil demográfico ou intenção. Não some usuários únicos de fontes incompatíveis nem trate clique, sessão, lead, compra e receita como equivalentes. Não declare melhoria com amostra desconhecida. Não exponha dado pessoal ou segmento que permita reidentificação.

Autorrevisão: para cada conclusão, aponte a linha de dados e a definição que a sustentam. Troque linguagem causal por descritiva quando o desenho não permitir causalidade. Confira denominadores, janelas, segmentos e mudanças simultâneas. Corrija uma única vez e apresente somente a leitura final, incluindo o que não é possível concluir.

Próxima ação: escolha a decisão reversível de menor risco que produza informação adicional. Defina responsável, dado a observar, janela e condição objetiva para manter, mudar ou parar.

Exemplo de entrada

Campanha fictícia do Ateliê Norte com quatro peças, dados de sete dias, impressões, cliques e dois pedidos; mudança de CTA no meio da janela e perda parcial de eventos em um dia.

Como revisar

Sublinhe os verbos das conclusões. Se aparecer “causou”, “provou” ou “garantiu”, procure o desenho que permite essa afirmação; sem ele, reduza a linguagem.