En 2014, Uri Simonsohn, Leif Nelson y Joseph Simmons publicaron un artículo que cambió la forma en que la comunidad científica piensa sobre la validez de los hallazgos publicados. Su propuesta, el análisis de p-curve, parte de una pregunta aparentemente simple pero devastadoramente incisiva: si los efectos reportados en la literatura son reales, la distribución de los valores p significativos debería tener una forma predecible. Si no la tiene, algo está mal.
La lógica de la p-curve
La p-curve es la distribución de los valores p estadísticamente significativos (p < .05) reportados en un conjunto de estudios. Para entender su lógica, hay que recordar un principio fundamental de la estadística (y entender los problemas con el valor p): cuando un efecto verdadero existe, la probabilidad de obtener un valor p muy pequeño (por ejemplo, p < .01) es mayor que la probabilidad de obtener un valor p apenas por debajo del umbral de significación (por ejemplo, .04 < p < .05). Esto se debe a que, cuanto más fuerte es el efecto real, más probable es que la prueba estadística produzca evidencia contundente contra la hipótesis nula.
De esto se derivan tres escenarios fundamentales. Si los efectos estudiados son reales, la p-curve debería tener forma de sesgo positivo (right-skewed): la barra más alta debería estar en el intervalo de valores p más bajos (.00-.01), y las barras deberían decrecer progresivamente hacia .05. Si los efectos no son reales y los valores p significativos son producto del azar, la p-curve debería ser plana, porque bajo la hipótesis nula todos los valores p son igualmente probables. Y si los investigadores han utilizado prácticas de p-hacking (manipular análisis hasta obtener p < .05), la p-curve debería tener un sesgo negativo (left-skewed), con una acumulación de valores p justo por debajo de .05.
Diferencia con el metaanálisis clásico
Es importante entender que la p-curve y el metaanálisis clásico responden a preguntas diferentes. El metaanálisis estima el tamaño del efecto combinado y su intervalo de confianza, es decir, intenta cuantificar cuánto de grande es el efecto. La p-curve, en cambio, no estima el tamaño del efecto: evalúa si los estudios que reportan resultados significativos contienen valor evidencial, es decir, si la distribución de los valores p significativos es consistente con la existencia de un efecto real o con la ausencia de efecto (o con p-hacking).
Esta distinción tiene implicaciones prácticas cruciales. Un metaanálisis puede producir un efecto combinado significativo y razonablemente grande, pero si la p-curve de los estudios incluidos es plana o tiene sesgo negativo, hay motivos serios para dudar de que ese efecto sea genuino. La p-curve funciona como un detector de p-hacking y reporte selectivo a nivel del conjunto de estudios, algo que el metaanálisis clásico no está diseñado para detectar.
Los tres tests de la p-curve
El análisis formal de la p-curve involucra tres pruebas estadísticas complementarias. La primera es el test de sesgo positivo (right-skew test), que evalúa si la p-curve tiene más valores p bajos de los que se esperarían por azar. Si este test es significativo, concluimos que los estudios contienen valor evidencial: hay algo real detrás de los resultados. La segunda prueba es el test de planitud (flatness test), que evalúa si la p-curve es consistente con la ausencia total de efecto. Si este test es significativo, concluimos que los estudios carecen de valor evidencial, lo que es consistente con una literatura basada en falsos positivos.
La tercera dimensión del análisis utiliza un enfoque basado en pp-valores (p-values of p-values). Para cada estudio significativo, se calcula la probabilidad de obtener un valor p tan extremo o más (dado un efecto verdadero estimado a partir de los datos). Estos pp-valores se combinan mediante el método de Stouffer para producir una prueba global. Este enfoque tiene la ventaja de ser más robusto que la simple inspección visual de los bins de la distribución, y permite cuantificar la fuerza de la evidencia de manera continua.
Requisitos y supuestos
La p-curve tiene requisitos específicos que limitan su aplicabilidad. Primero, solo utiliza valores p estadísticamente significativos (p < .05), lo que significa que descarta toda la información contenida en los estudios con resultados no significativos. Esto implica que se necesita un número razonable de estudios significativos para que el análisis tenga potencia: con menos de cinco o seis valores p, los resultados son poco informativos. Segundo, cada estudio debe contribuir con un solo valor p, que debe corresponder a la prueba de la hipótesis principal, no a una prueba secundaria o exploratoria. La selección del valor p correcto de cada estudio requiere juicio por parte del investigador y debe documentarse de forma transparente.
Además, la p-curve asume que los estudios incluidos son independientes y que cada uno prueba la misma hipótesis general (aunque no necesariamente idéntica). Si los estudios prueban hipótesis sustancialmente diferentes, la interpretación de la p-curve se complica porque la distribución esperada de los valores p depende de la potencia estadística, que a su vez depende del tamaño del efecto verdadero. Si los efectos verdaderos varían mucho entre estudios, la forma de la p-curve puede ser difícil de predecir incluso cuando todos los efectos son reales.
P-hacking y prácticas cuestionables de investigación
El contexto que hace a la p-curve especialmente relevante es la crisis de replicabilidad en psicología y otras ciencias sociales. El p-hacking, el término coloquial para un conjunto de prácticas cuestionables de investigación que incluyen la eliminación selectiva de datos, la exploración de múltiples variables dependientes, la adición de covariables post hoc y la decisión de parar de recoger datos cuando se alcanza significación, produce una distribución particular de valores p: una acumulación justo debajo de .05, es decir, una p-curve con sesgo negativo. Cuando un cuerpo de literatura muestra esta firma, la interpretación es que los resultados significativos no reflejan efectos reales sino la explotación de los grados de libertad del investigador.
La p-curve no identifica qué estudios individuales son producto de p-hacking. Funciona a nivel del conjunto: evalúa si la colección de resultados significativos, en conjunto, es más consistente con la existencia de efectos reales o con su ausencia. Es una herramienta epidemiológica de la ciencia, no un detector forense de fraude individual.
Uso práctico
Para realizar un análisis de p-curve, la forma más accesible es utilizar la aplicación web p-curve.com, desarrollada por los propios autores. La aplicación solicita una lista de resultados estadísticos en un formato estandarizado (por ejemplo, t(45) = 2.31 o F(1, 78) = 5.42) y produce automáticamente la distribución, los tests formales y un gráfico interpretable. Para análisis más personalizados, el paquete dmetar en R incluye funciones para calcular p-curves, y el paquete pcurve proporciona implementaciones adicionales. En cualquier caso, el análisis de p-curve debería considerarse un complemento, no un sustituto, del metaanálisis clásico, el funnel plot y las pruebas formales de sesgo de publicación como el test de Egger. Juntos, estos métodos ofrecen una evaluación multifacética de la credibilidad de un cuerpo de evidencia que es muy superior a cualquiera de ellos por separado.