Tu valor p no cuadra con tus grados de libertad

Un valor p no es un dato independiente: se deduce del estadístico y de sus grados de libertad. Si no cuadra, o hay una errata de transcripción o el análisis no es el que dice el texto.

Por qué un valor p se puede recomputar

El valor p es el área que queda en la cola de una distribución a partir de tu estadístico. Con la t y sus grados de libertad, la distribución queda completamente determinada, y el área también. No hay margen de interpretación: o el número es ése, o no lo es.

Eso convierte cada línea de resultados en una ecuación con tres incógnitas de las que se publican las tres: el estadístico, los grados de libertad y el valor p. Si los tres no encajan, sobra información para saber que algo va mal, aunque no se sepa cuál de los tres está mal.

Es la idea del programa statcheck, que se usa desde hace años para auditar la literatura de psicología a gran escala. Lo que hace esta página es lo mismo, con una línea y en tu navegador.

Qué significa que no cuadre

Casi siempre, una errata. Un dígito transpuesto al copiar de la salida del programa, un signo perdido, unos grados de libertad del modelo anterior. Encontrar un desajuste no acusa a nadie de nada, y conviene decirlo así si vas a escribírselo a un autor.

A veces, un análisis distinto del que se cuenta. Unos grados de libertad que no cuadran con la N suelen significar que hubo casos perdidos que no se declararon, o que la prueba fue de una cola y el texto dice dos.

Y de vez en cuando, un redondeo mal entendido. Si el texto dice p = .03 y el cálculo da .0251, cuadra: quien publicó redondeó. Por eso la comprobación de arriba tolera el redondeo en vez de exigir una coincidencia exacta.

Los tres casos que más aparecen

La p = .000. No existe: un valor p es un área y no puede ser cero. Es lo que escribe SPSS cuando redondea a tres decimales, y lo correcto es p < .001. Lo tienes desarrollado en cómo reportar valores p en APA 7.

El chi-cuadrado sin su N. Es la única prueba que lleva el tamaño muestral dentro del paréntesis, y sin él no se puede interpretar: χ²(1, N = 200) = 8.45. Ver cómo reportar un chi-cuadrado.

Los grados de libertad decimales de una ANOVA de medidas repetidas. No son un error: salen de la corrección de Greenhouse-Geisser. Ver la esfericidad de Mauchly.

Preguntas frecuentes

¿Se puede saber cuál de los tres números está mal?

No, y conviene no fingir que sí. La comprobación dice que los tres no encajan entre sí, pero cualquiera de ellos puede ser el equivocado. Lo honesto, si vas a escribir al autor, es señalar la inconsistencia y no atribuir el error.

¿Un desajuste significa que hay fraude?

Casi nunca. Los estudios que han auditado la literatura a gran escala encuentran inconsistencias en una proporción alta de artículos, y la explicación mayoritaria son erratas de transcripción. El fraude deja otras huellas y no se diagnostica con una línea.

¿Por qué mi p no cuadra si copié bien los números?

Las causas habituales son que la prueba fuera de una cola y el texto no lo diga, que se aplicara una corrección (Bonferroni, Greenhouse-Geisser) al valor p pero no a los grados de libertad que se publican, o que el estadístico venga de un modelo con casos perdidos que redujeron la N.

¿Los datos que meto aquí salen de mi navegador?

No. El cálculo se hace en tu navegador con la misma librería que usa el informe Profesional: no se envía nada a ningún servidor y no queda registro de lo que escribes.

¿Sirve para revisar el artículo de otra persona?

Sí, y es uno de sus usos habituales en las sesiones de journal club. Ten en cuenta que si estás revisando un manuscrito no publicado para una revista, ese texto es confidencial: puedes usar estos campos, que no envían nada, pero no deberías subir el manuscrito completo a ningún servicio.