El marco de comparación múltiple de NIST explica por qué seleccionar el mejor resultado después de muchas pruebas puede hacer que el riesgo parezca un descubrimiento.

Lo que establece la fuente

NIST describe el método de Bonferroni para controlar una familia de comparaciones al asignar probabilidad de error en el conjunto especificado. El punto clave es que la recolección de pruebas importa, en lugar de sólo el resultado finalmente resaltado. NIST/SEMATECH — método de comparación múltiple de Bonferroni

Para un conjunto explícitamente ilustrativo de veinte pruebas nulas independientes, cada una con una probabilidad de un 5% falso positivo, la probabilidad de al menos un falso positivo es 1 menos 0.95 al 20 potencia, aproximadamente 64.2%. La independencia es parte de este ejemplo; las pruebas correlativas requieren su propio análisis.

Qué cambios la distinción

Un anunciante puede hacer que una prueba de respaldo parezca impresionante al mostrar sólo la mejor combinación de indicador, expiración y rango de fecha. Los ensayos omitidos son parte del proceso de investigación. Sin ellos, el lector no puede decir si el resultado fue especificado por adelantado o seleccionado porque parecía más fuerte.

El ajuste de prueba múltiple tampoco puede reparar cada debilidad. Una prueba con información futura filtrada sigue siendo defectuosa incluso después de una corrección de la tasa de error. El proceso de selección y el cronograma de información requieren cheques separados.

Preguntas para el próximo examen

Recordar todas las reglas de candidato y criterios de selección antes de evaluar un cierre final. Preserve pruebas no exitosas en el registro de investigación. Describe un resultado histórico seleccionado como tal, y evita tratar un nivel de significación nominal como una probabilidad de que una estrategia comercial haga dinero.