Qué es un valor p, dicho de una vez y sin mentir

Puedes llevar tres análisis publicados y quedarte en blanco si alguien te para en mitad de una frase y te pregunta qué mide exactamente ese número que acabas de escribir. No es un fallo tuyo: la definición correcta suena tan rara la primera vez que la cabeza la sustituye por una versión más cómoda, y la sustitución sobrevive al grado, al máster y muchas veces a la tesis entera. El problema es que las versiones cómodas llevan a conclusiones distintas, y las cuatro se cuelan en las discusiones que luego lee un revisor. Aquí va la definición buena, pieza por pieza, y después los cuatro errores con lo que dice de verdad tu resultado en cada caso.

La definición, entera y sin adornos

El valor p es la probabilidad de obtener un estadístico al menos tan extremo como el observado, si la hipótesis nula fuera exactamente cierta y el resto del modelo estadístico fuera correcto. Esa frase tiene tres piezas y las tres cargan peso; la mayoría de los malentendidos consiste en tirar una de ellas por el camino. «Si la hipótesis nula fuera exactamente cierta». La p se calcula dentro de un supuesto que normalmente no te crees: que el efecto vale cero, cero exacto, y que todo lo que ves en tus datos es ruido de muestreo. Ese mundo hipotético es el punto de partida del cálculo, no su conclusión. Preguntarle a la p si la nula es cierta es preguntarle por lo que ella ya ha dado por supuesto para poder existir.

«Al menos tan extremo». No es la probabilidad de tu resultado concreto —en una variable continua esa probabilidad es cero—, sino la de tu resultado y la de todos los que quedan más lejos del cero que el tuyo. De ahí que la p se calcule con el área de una cola (o de dos) y no con un punto.

«Y el resto del modelo fuera correcto». Es la pieza que casi todo el mundo se deja, y Greenland y colaboradores (2016) la ponen en el centro: la p mide la compatibilidad de los datos con el modelo entero, no solo con la nula. Una p pequeña dice que algo del conjunto no encaja, y ese algo puede ser la nula, pero también la independencia de las observaciones, la ausencia de sesgo de selección o el hecho de que probaste cinco análisis y reportas uno.

Un caso concreto para fijarlo. Un ensayo compara una intervención con lista de espera, 400 personas por grupo, y sale d = 0.18, t(798) = 2.55, p = .011. Traducción literal: si la intervención no hiciera absolutamente nada y el estudio estuviera limpio, solo el 1.1% de las repeticiones darían una separación entre grupos tan grande como esta o mayor. Eso es todo. Ese número no dice cuánto ayuda la intervención, ni con qué probabilidad la nula es falsa, ni si el resultado se repetirá.

Por qué la definición correcta no se queda en la cabeza

Porque el cerebro invierte condicionales sin avisar. Casi todos los remeros olímpicos son altos; casi nadie alto rema en unos Juegos. Son dos probabilidades muy distintas construidas con las mismas dos palabras, y en cuanto la frase se vuelve técnica dejamos de notar cuál de las dos estamos diciendo.

La p contesta «cómo de raros serían estos datos si no hubiera efecto». Lo que un investigador quiere saber es «qué probabilidad hay de que no haya efecto, vistos estos datos». Cohen (1994) dedicó un artículo entero a este punto: el contraste de hipótesis no da lo que buscamos, da lo otro, y lo que buscamos requiere información que el contraste no incluye. La cabeza archiva la respuesta en el cajón de la pregunta que sí importaba.

Hay un hecho que ayuda a asentar la definición: si la nula es cierta y el estadístico es continuo, el valor p se reparte uniforme entre 0 y 1. Sacar p = .04 en un mundo sin efecto no es un milagro, ocurre el 4% de las veces por construcción, y obtener p < .05 ocurre exactamente el 5% de las veces. Un valor p bajo no es un suceso imposible bajo la nula: es un suceso poco frecuente, con la frecuencia que marca el propio número.

Error 1: «la p es la probabilidad de que la hipótesis nula sea cierta»

Es el más repetido y el que da pie a los otros tres. p = .03 se lee como «hay un 3% de que no haya efecto», y a partir de ahí todo lo demás encaja solo. Para llegar a esa cifra harían falta dos cosas que el contraste no tiene: una probabilidad previa de que la nula sea cierta y el teorema de Bayes para actualizarla con tus datos. Sin previa no hay P(H₀ | datos), y la p no la contiene por ningún sitio.

Cuando la cuenta se hace bien, además, el número no se parece al que la gente cree estar leyendo. Sellke, Bayarri y Berger (2001) calcularon la cota más favorable posible a la hipótesis alternativa dentro de una familia amplia de previas, y sale que, con p = .05, el factor de Bayes a favor de la alternativa no puede pasar de 2.5 aproximadamente; si entras con las dos hipótesis a 50 y 50, la probabilidad posterior de la nula se queda alrededor de .29. No un 5%: cerca de una de cada tres. Con p = .01 esa misma cota deja la nula en torno a .11.

Son cotas bajo supuestos concretos y se mueven si cambias la previa, así que no las uses como si fueran una conversión oficial. Lo que no se mueve es la dirección: la p exagera la evidencia contra la nula respecto a lo que casi todo el mundo entiende al leerla. Un resultado con p = .05 no es una prueba fuerte de nada; es un indicio que pide replicación.

Error 2: «1 − p es la probabilidad de que mi hipótesis sea cierta»

El mismo error visto desde el otro lado, y el que más aparece en discusiones y defensas: «p = .03, luego tengo un 97% de confianza en mi hipótesis». Suena razonable porque la resta es fácil, y falla por dos motivos que no tienen nada que ver entre sí.

El primero es aritmético. El complemento de una probabilidad sobre los datos sigue siendo una probabilidad sobre los datos: 1 − p es la probabilidad de observar un resultado menos extremo que el tuyo en un mundo sin efecto. Es una cantidad perfectamente definida y perfectamente inútil, y desde luego no habla de tu hipótesis.

El segundo es lógico. La hipótesis alternativa no es tu teoría. H₁ dice «el efecto no vale exactamente cero», y dentro de esa frase caben d = 0.01 y d = 3.00, el efecto en la dirección que esperabas y el mecanismo que ni se te ha ocurrido, incluido el sesgo que metió tu procedimiento de muestreo. Descartar el cero no elige entre las infinitas explicaciones compatibles con que no sea cero, y tu hipótesis sustantiva es solo una de ellas.

La misma inversión contamina los intervalos de confianza: ese 95% es una propiedad del procedimiento a largo plazo, no la probabilidad de que el parámetro esté dentro de tu intervalo concreto. Si esa distinción te resulta borrosa, la desarrollo entera en cómo se interpreta un intervalo de confianza.

Error 3: «una p pequeña significa un efecto grande»

La p mezcla dos cosas que luego no se pueden separar. En el contraste más común, dos grupos independientes de n personas cada uno, el estadístico es t = d · √(n/2): un factor es el fenómeno que estudias y el otro es cuánta gente conseguiste reclutar. La p sale del producto, así que un mismo valor puede venir de un efecto minúsculo medido en cientos de personas o de un efecto enorme medido en una docena.

Pequeño y significativo. El ensayo de antes, d = 0.18 con 400 por grupo: t(798) = 2.55, p = .011, IC 95% de d [0.04, 0.32]. Cruza el umbral con holgura y el intervalo entero se queda por debajo de lo que la convención de Cohen (1988) llama un efecto medio (d = 0.50).

Grande y no significativo. Un piloto con 12 por grupo y d = 0.80: t(22) = 1.96, p = .063, IC 95% [-0.03, 1.63]. El efecto es más de cuatro veces mayor que el del ensayo anterior y la p es casi seis veces peor. Nada de eso es una paradoja: es la raíz de n haciendo su trabajo.

El caso extremo lo dan las muestras enormes. Con r = .06 y N = 2500 sale t(2498) = 3.00, p = .003, y esa relación «muy significativa» explica el 0.36% de la varianza. Los asteriscos empeoran la lectura, porque *** se ve como «muy grande» y solo dice «muy poco compatible con el cero». Si lo que quieres saber es si tu efecto es grande, la pregunta se responde con el tamaño del efecto y su interpretación, no con la p.

Error 4: «una p grande demuestra que no hay efecto»

Este es el más caro porque parece el más prudente. «p = .29, luego no hay diferencia entre grupos» es una afirmación positiva sacada de la ausencia de prueba, y el contraste no está construido para darla: la nula nunca se acepta, solo deja de rechazarse.

Míralo con números. Un estudio con 25 por grupo observa d = 0.30: t(48) = 1.06, p = .294, IC 95% de d [-0.26, 0.86]. Ese intervalo es compatible con un efecto pequeño en contra, con el cero y con un efecto grande a favor. El estudio no ha aprendido casi nada sobre la magnitud, y escribir «no hay efecto» es reportar una conclusión que los datos no sostienen en ninguna dirección.

Para afirmar ausencia hace falta un diseño hecho para eso: fijar antes el umbral por debajo del cual el efecto te da igual y contrastar contra ese umbral. Con 200 por grupo y d = 0.05 observado sale t(398) = 0.50, p = .617, IC 90% [-0.11, 0.21]; ese intervalo cabe entero dentro de unos límites de equivalencia de ±0.30, así que ahí sí puedes escribir que el efecto, si existe, es menor que tu umbral de relevancia. Misma p grande, conclusión radicalmente distinta, y lo que cambia es el diseño. El procedimiento completo está en la prueba de equivalencia TOST.

Mientras no hagas eso, la frase honesta no es «no hay efecto» sino «este estudio no permite distinguir entre la ausencia de efecto y un efecto de hasta d = 0.86». Es menos vendible y es lo que hay.

Qué escribir cuando toca escribir la p

Valor exacto, con dos o tres decimales, p = .011 y no p < .05, con la única excepción práctica de p < .001 cuando el número se va por debajo. Nunca p = .000: no es cero, es que tu programa redondea. Las reglas completas de formato, ceros y cursivas están en cómo reportar valores p en APA 7.

Nunca sola. La frase mínima que aguanta una revisión lleva el estadístico, sus grados de libertad, la p exacta, el tamaño del efecto y el intervalo de confianza de ese tamaño del efecto. Con esos cinco elementos el lector puede reconstruir tu conclusión aunque no comparta tu umbral; con la p sola no puede hacer nada más que creerte.

Fuera «marginalmente significativo» y «tendencia hacia la significación» con una p de .06. Si tratas .05 como frontera, .06 cae fuera y punto; si tratas la p como evidencia continua, entonces .049 tampoco es una puerta que se abre de golpe. Lo que no puedes es cambiar de lógica según cuál te convenga en cada párrafo.

Y cuida el verbo. «Los datos son poco compatibles con la ausencia de efecto» dice exactamente lo que ha pasado; «se demuestra que la intervención funciona» no. En el método, declara qué alfa usas y por qué: el .05 es una convención heredada de Fisher, no una constante de la naturaleza, y ya hay propuestas serias de bajarlo a .005 para hallazgos nuevos (Benjamin y colaboradores, 2018) y de justificarlo caso por caso (Lakens y colaboradores, 2018).

Preguntas frecuentes

¿El valor p es la probabilidad de que mi resultado sea por azar?

No, aunque sea la formulación más repetida. La p ya supone que todo es azar —eso es la hipótesis nula— y calcula cómo de raros serían tus datos dentro de ese supuesto. Lo que no calcula, ni puede, es la probabilidad de que ese mundo sea el real: eso es P(H₀ | datos) y requiere una probabilidad previa que el contraste no incluye.

¿Qué significa exactamente p = .05?

Que si el efecto fuera exactamente cero y el modelo fuera correcto, el 5% de las repeticiones de tu estudio darían un resultado tan alejado del cero como el tuyo o más. No significa un 95% de confianza en tu hipótesis ni un 5% de probabilidad de que la nula sea cierta: con la cota más favorable a la alternativa (Sellke, Bayarri y Berger, 2001) y previas de 50 y 50, la probabilidad posterior de la nula con p = .05 se queda alrededor de .29.

Si me sale p = .001, ¿el efecto es más importante que si me sale p = .04?

No necesariamente, porque la p depende del efecto y del tamaño de muestra a la vez (t = d · √(n/2) con dos grupos de n personas cada uno). Un d = 0.18 con 400 por grupo da p = .011 y un d = 0.80 con 12 por grupo da p = .063: el segundo efecto es mucho mayor y tiene la p peor. Las magnitudes se comparan con tamaños del efecto y sus intervalos, nunca con valores p.

¿Un p de .01 quiere decir que hay un 99% de probabilidad de replicar el resultado?

No. La probabilidad de que una réplica salga significativa depende del efecto real y de la potencia del estudio de réplica, no del valor p del original. Un primer estudio con p = .01 y muestra pequeña puede tener bastante menos del 50% de probabilidad de volver a cruzar el umbral, sobre todo si la estimación inicial venía inflada por el propio filtro de significación.

¿Puedo escribir «marginalmente significativo» si me sale p = .06?

Mejor no, y cada vez más revistas lo devuelven marcado. Estás usando la frontera del .05 cuando te conviene y la lógica continua cuando no. Lo que sí puedes escribir es el valor exacto con su tamaño del efecto y su intervalo, y discutir la magnitud y la precisión de tu estimación sin fingir que has cruzado un umbral que no has cruzado.

¿Por qué se usa .05 y no otro número?

Por convención histórica. Fisher lo propuso como un criterio cómodo, no como una constante, y el propio comunicado de la American Statistical Association (Wasserstein y Lazar, 2016) recuerda que las decisiones científicas no deberían apoyarse solo en si una p cruza un umbral. Hay campos que trabajan con .005 para hallazgos nuevos y otros que usan .10 en fases exploratorias; lo que se espera hoy es que justifiques el tuyo en el método.

Quédate con la frase entera, que es lo único que hay que memorizar: la p es la probabilidad de ver datos al menos tan extremos como los tuyos en un mundo donde el efecto es exactamente cero. Todo lo que suene a «probabilidad de que mi hipótesis sea cierta» está leyendo esa condicional al revés. Cuando dudes de una frase que has escrito, léela en voz alta empezando por «si el efecto fuera exactamente cero...»; si al hacerlo la frase deja de tener sentido, es que no decía lo que creías que decía.