El valor p es probablemente el concepto estadístico más utilizado y peor entendido en toda la psicología. Generaciones de investigadores han aprendido a buscar ese número mágico por debajo de 0.05 como señal de que su hipótesis es correcta, de que su efecto es real, de que su artículo merece ser publicado. Y sin embargo, esa interpretación es incorrecta en casi todos los sentidos posibles. El valor p no te dice la probabilidad de que tu hipótesis sea cierta, no te dice si tu efecto tiene importancia práctica, y su uso mecánico como criterio de publicación ha generado una crisis de replicabilidad que la psicología todavía está intentando resolver.
Para entender el problema, conviene recordar qué es realmente un valor p. Es la probabilidad de obtener un resultado al menos tan extremo como el observado, asumiendo que la hipótesis nula es cierta. Nada más. No es la probabilidad de que la hipótesis nula sea cierta dado tu resultado (ese sería un enunciado bayesiano, y requeriría una probabilidad a priori que el marco frecuentista no proporciona). Tampoco es la probabilidad de que tu resultado sea un falso positivo, aunque esta confusión es extraordinariamente frecuente incluso entre investigadores experimentados. Gigerenzer y otros han documentado repetidamente cómo profesores de estadística, revisores de revistas y autores de manuales cometen estos errores de interpretación de forma sistemática.
Cómo el p < 0.05 distorsiona la investigación
El problema no es solo conceptual. El uso del valor p como umbral binario para la toma de decisiones tiene consecuencias prácticas muy concretas en la calidad de la investigación. La más evidente es el sesgo de publicación: los estudios con p < 0.05 se publican, los que no alcanzan ese umbral no. Esto crea una literatura científica sesgada donde los efectos parecen más grandes y más consistentes de lo que realmente son. Pero hay consecuencias más sutiles y quizás más dañinas.
Cuando tu carrera depende de obtener resultados significativos, los incentivos para manipular los datos (conscientemente o no) son enormes. El p-hacking, que incluye prácticas como probar múltiples análisis y reportar solo el que sale significativo, eliminar selectivamente participantes, añadir covariables hasta que el resultado cambie, o redefinir la variable dependiente a posteriori, es extraordinariamente común. Simmons, Nelson y Simonsohn demostraron en 2011 que con grados de libertad del investigador perfectamente legítimos en apariencia se podía demostrar casi cualquier cosa, incluyendo que escuchar una canción de los Beatles te rejuvenece. El artículo era una sátira, pero las prácticas que describía eran (y siguen siendo) reales.
Otra distorsión sutil es lo que se conoce como la dictadura del asterisco. Un resultado con p = 0.049 se considera significativo y se celebra, mientras que uno con p = 0.051 se interpreta como una ausencia de efecto. Esta diferencia de 0.002 en el valor p, que en la práctica es irrelevante, puede determinar si un artículo se publica o no, si una tesis se defiende con éxito, si una línea de investigación continúa o se abandona. Es un sistema absurdo que premia la aleatoriedad y penaliza la honestidad.
Alternativas y complementos al valor p
La buena noticia es que hay alternativas disponibles, y la comunidad estadística las está promoviendo cada vez con más fuerza. Los intervalos de confianza, aunque no están libres de problemas interpretativos, ofrecen más información que un simple sí o no. Un intervalo de confianza del 95% para una diferencia de medias te dice el rango de valores compatibles con tus datos, lo que permite evaluar tanto la significación estadística como la relevancia práctica del efecto. Si el intervalo va de 0.01 a 0.03 puntos en una escala de 100, sabes que el efecto, aunque estadísticamente significativo, es trivial en la práctica.
Los tamaños del efecto son otro complemento fundamental. Reportar la d de Cohen, la eta cuadrado, la r de correlación o cualquier otra medida apropiada del tamaño del efecto debería ser obligatorio en cualquier artículo de psicología (y de hecho las normas APA lo exigen desde hace años, aunque el cumplimiento es desigual). El tamaño del efecto te dice cuánto cambian las cosas, no solo si cambian.
La estadística bayesiana representa una alternativa más radical. En lugar de calcular la probabilidad de los datos bajo la hipótesis nula, el enfoque bayesiano permite cuantificar directamente la evidencia a favor o en contra de las hipótesis de interés. El factor de Bayes, por ejemplo, te dice cuántas veces son más probables tus datos bajo la hipótesis alternativa que bajo la nula (o viceversa). Esto responde a la pregunta que la mayoría de investigadores creen estar respondiendo cuando miran un valor p, pero que en realidad no están respondiendo en absoluto.
Hacia una cultura estadística más madura
El debate sobre el valor p no es nuevo, pero ha ganado una urgencia renovada tras la crisis de replicabilidad. En 2016, la American Statistical Association publicó por primera vez en su historia un comunicado oficial sobre un concepto estadístico, con seis principios sobre la interpretación correcta del valor p. En 2019, un editorial en The American Statistician firmado por más de 800 estadísticos pedía abandonar el concepto de significación estadística. Estos son movimientos institucionales importantes que reflejan un cambio cultural en marcha.
En la práctica, mi recomendación no es que dejes de usar valores p, sino que los uses como una herramienta más dentro de un arsenal más amplio. Reporta intervalos de confianza, reporta tamaños del efecto, considera análisis bayesianos cuando sean apropiados, y sobre todo, no tomes decisiones binarias basándote exclusivamente en si un número es mayor o menor que 0.05. La estadística no debería ser un ritual mecánico, sino una herramienta para pensar con rigor sobre la incertidumbre inherente a los datos. Y eso requiere juicio, no solo software.