O quadro de comparação múltipla do NIST explica porque selecionar o melhor resultado depois de muitos testes pode fazer a chance parecer uma descoberta.

O que a fonte estabelece

NIST descreve o método de Bonferroni para controlar uma família de comparações, alocando probabilidade de erro no conjunto especificado. NIST/SEMATECH — Método de comparação múltipla de Bonferroni

Para um conjunto explicitamente ilustrativo de vinte testes nulos independentes, cada um com uma probabilidade de 5% falso positivo, a chance de pelo menos um falso positivo é 1 menos 0,95 para a potência 20, aproximadamente 64,2%.

O que a distinção muda?

Um anunciante pode fazer um teste de retrocesso parecer impressionante mostrando apenas a melhor combinação de indicador, prazo de validade e intervalo de datas.

Um teste com informações futuras vazadas permanece defeituoso mesmo após uma correção da taxa de erro.

Perguntas para a próxima revisão.

Registre todas as regras e critérios de seleção antes de avaliar uma última espera, preserve testes sem sucesso no registro de pesquisa, descreva um resultado histórico selecionado como tal e evite tratar um nível de significância nominal como uma probabilidade de que uma estratégia comercial faça dinheiro.