Cómo saber si la estadística de un paper no se sostiene

Estás leyendo el artículo sobre el que quieres montar tu tesis y algo no encaja. El Método dice N = 124 y la prueba t de la página siguiente tiene 118 grados de libertad. El porcentaje de mujeres del resumen no coincide con el de la Tabla 1. Un valor p que a ojo te parecía grande sale marcado con asterisco. Y ahí te quedas, sin saber si estás viendo un error de verdad o si quien no sabe leer eres tú, porque decirlo en voz alta parece acusar a alguien de algo muy feo. Las comprobaciones que vienen abajo se hacen con el PDF abierto y la calculadora del móvil, no necesitan los datos brutos y contestan siempre a la misma pregunta: ¿este número puede ser correcto, tal y como está escrito? Que no pueda serlo es casi siempre una errata, y la parte útil de este artículo es saber cuándo se deja pasar y cuándo deja de fiarse la conclusión que cuelga de él.

El valor p que no cuadra con sus grados de libertad

Cada contraste publicado trae consigo lo necesario para reconstruirse: el estadístico, los grados de libertad y el valor p. Los tres números no son independientes. Dados dos, el tercero está determinado, así que cualquiera puede comprobar el tercero sin tocar los datos. Si lees t(58) = 2.03, p = .02, el p bilateral que le corresponde a esa t con 58 grados de libertad es .047. No es un desastre —la conclusión sigue siendo la misma—, pero el número impreso no es el que sale de ahí.

El caso que sí importa es cuando la inconsistencia cruza el umbral. t(58) = 1.75, p = .04 se lee como un resultado significativo, y el p bilateral de esa t es .085. La explicación más frecuente no es que nadie haya inventado nada: es un contraste unilateral que no se declaró en el Método, porque el unilateral da .043 y redondeado sale ese .04. Sigue siendo un problema serio de reporte, pero es un problema distinto del que estabas pensando, y la respuesta que le pides al autor también es distinta. Las reglas de cómo debería estar escrito ese valor están en cómo reportar valores p en APA 7.

Esto se puede automatizar. statcheck lee el texto de un artículo, localiza los resultados escritos en formato APA y recalcula cada p; hay paquete de R y hay versión web donde subes el PDF. Con esa herramienta, Nuijten y colaboradoras (2016) pasaron más de 250.000 valores p de ocho revistas de psicología a lo largo de casi treinta años: la mitad de los artículos con contrastes tenía al menos una inconsistencia y uno de cada ocho tenía una lo bastante grande como para cambiar la conclusión sobre la significación.

Su límite es tan importante como su resultado. statcheck solo ve lo que está escrito en formato APA canónico: t, F, r, chi cuadrado y z con sus grados de libertad, en el cuerpo del texto. No lee tablas de regresión, no entra en las figuras, no sabe nada de un modelo mixto ni de un modelo de ecuaciones estructurales. Que statcheck no encuentre nada no quiere decir que el artículo esté limpio, quiere decir que no ha mirado casi nada. Y marca como inconsistente todo lo que no cuadra al redondear, así que unos grados de libertad fraccionarios de Welch o de Greenhouse-Geisser redondeados en el texto salen señalados sin que nadie haya hecho nada mal.

La N que cambia de una tabla a otra

Los grados de libertad son un recuento disfrazado, y por eso delatan. Una t de muestras independientes tiene n₁ + n₂ − 2 grados de libertad, así que t(118) = 2.41 implica 120 personas. Una ANOVA de tres grupos con F(2, 117) implica también 120. Una correlación bivariada calculada sobre 124 personas tiene 122 grados de libertad. Si el Método declara N = 124 y el artículo no menciona un solo dato perdido, ya tienes dos tamaños muestrales distintos conviviendo en el mismo apartado de Resultados.

Casi siempre hay una explicación aburrida y perfectamente legítima. Eliminación por lista en un análisis y por pares en otro. Cuatro personas que dejaron esa escala a medias. Dos casos excluidos por un criterio que sí está escrito, pero tres páginas antes. El problema no es que la N baje: es que baje sin decirlo, porque entonces el lector no puede saber si los 120 de la t son los mismos 120 de la ANOVA ni qué pasa con las cuatro personas que faltan. Esa nota de una línea debajo de la tabla es de las cosas que más barato salen y menos se ponen, y la repaso entera en cómo comprobar tus análisis antes de enviar.

La variante que sí conviene mirar dos veces es cuando la N sube. Un análisis con más casos que la muestra declarada no se explica con datos perdidos: se explica con filas duplicadas al fusionar dos bases, con una imputación que no se declaró en el Método, o con datos de una recogida posterior que entraron en unos análisis y no en otros. Ninguna de las tres es fraude por defecto, y las tres cambian lo que ese artículo puede sostener.

Porcentajes que no caben en su denominador

Un porcentaje calculado sobre n = 47 solo puede tomar 48 valores distintos: los múltiplos de 100/47, es decir, saltos de 2.13 puntos. Un 34.0% cuadra, porque 16 de 47 es 34.04%. Un 35.0% no cuadra con nada: 16 de 47 da 34.0% y 17 de 47 da 36.2%, y entre medias no hay nada. Es aritmética de treinta segundos con la calculadora del móvil y encuentra más cosas de las que parece, sobre todo en muestras clínicas pequeñas donde cada persona pesa dos puntos porcentuales.

La variante más común no es un porcentaje imposible sino un porcentaje calculado sobre otro denominador. El resumen dice que el 68% de la muestra eran mujeres y la Tabla 1 dice 61 de 94, que es el 64.9%. Suele significar que el resumen se escribió con una versión anterior de la base, antes de excluir a los que no completaron el seguimiento, y que nadie volvió a tocarlo. Es una errata, y es la clase de errata que un lector cuidadoso interpreta como «esta gente no ha releído su propio artículo».

Cuidado con marcar como error lo que solo es redondeo. Una columna de cinco categorías puede sumar 99.9% o 100.1% sin que nada esté mal, y en una pregunta de respuesta múltiple la suma pasa de 100 por diseño. La señal es un desajuste que el redondeo no explica: una columna que suma 104%, un porcentaje que no es múltiplo de 100/n con ninguna n plausible, o dos porcentajes de la misma fila que exigen denominadores incompatibles.

Medias y desviaciones que la escala no permite

Si la puntuación de cada persona es un número entero —un solo ítem, o la suma de varios ítems con respuesta entera— y la media se calcula sobre n personas, esa media tiene que ser un múltiplo de 1/n. Con n = 28, las medias posibles alrededor de 3.44 son 3.43 (96/28) y 3.46 (97/28). El 3.44 no existe: no hay ninguna combinación de respuestas enteras de 28 personas que dé esa media. La comprobación se llama prueba GRIM, la formalizaron Brown y Heathers (2017), y funciona mientras la muestra sea pequeña: por encima de unos cien casos la rejilla de valores posibles se hace más fina que el redondeo a dos decimales y deja de discriminar nada.

La desviación típica tiene su propio techo, y ese sí sirve con muestras grandes. Una variable acotada entre 1 y 5 con media 4.50 no puede tener una DT mayor que la raíz de (4.50 − 1) × (5 − 4.50), es decir 1.32; con la corrección de n − 1 y 60 participantes el techo sube a 1.33. Lo marca la distribución más extrema que la escala admite, todo el mundo respondiendo 1 o 5 y nadie en medio: con una n concreta no siempre se alcanza exacto, pero nada puede pasarse de ahí. Una tabla que declare M = 4.50 y DT = 1.55 en una escala de 1 a 5 está describiendo algo que no puede haber ocurrido, y ese cálculo cabe en una línea de hoja de cálculo.

Cuando media, DT, n y rango son compatibles pero por los pelos, se puede ir un paso más allá con SPRITE, que reconstruye qué muestras enteras darían exactamente esos valores. A veces la única distribución compatible es absurda para lo que el artículo dice haber medido: una media de bienestar cómoda con la mitad de la gente clavada en el mínimo. Esa es herramienta de segunda vuelta y en manos de alguien que sepa qué está mirando, porque una distribución rara es rara y no imposible.

GRIM se rompe con facilidad y hay que saber cuándo. No sirve si la puntuación de cada persona no es un entero: ítems ponderados, puntuaciones estandarizadas, escalas con opciones a medio punto, o una puntuación que ya es el promedio de varios ítems, donde la rejilla pasa a ser 1 dividido entre n por el número de ítems y se vuelve demasiado fina para detectar nada. Tampoco sirve si la n de esa variable no es la N del estudio, que es justo lo que pasa cuando hay datos perdidos. Antes de dar por buena una incompatibilidad, comprueba cómo se construyó la puntuación: eso está en ítems inversos y puntuaciones totales, y es donde se cae la mitad de los hallazgos de un principiante.

Los últimos dígitos, y por qué esta señal es la más floja

En un conjunto grande de números medidos, el último dígito decimal debería repartirse más o menos por igual entre el 0 y el 9. Cuando una persona inventa números a mano no lo consigue: sobran los ceros y los cincos, faltan los dígitos repetidos seguidos y aparecen secuencias que a un humano le parecen aleatorias y a un contador no. Aplicado a una tabla entera de medias y desviaciones, el desequilibrio se ve.

La versión con más recorrido de esta idea en investigación clínica es el método de Carlisle, que en vez de dígitos mira la tabla de características basales de un ensayo aleatorizado. Si la asignación fue aleatoria de verdad, los valores p que comparan a los grupos al inicio tienen que repartirse uniformemente entre 0 y 1. Demasiados p cerca de 1 —grupos sospechosamente parecidos entre sí— es tan improbable como demasiados p pequeños. Carlisle (2017) aplicó el procedimiento a 5.087 ensayos publicados en revistas de anestesia y de medicina general y señaló un grupo reducido cuyas distribuciones basales eran muy difíciles de explicar por azar.

La pongo la última porque es la que peor se porta con datos reales. Un instrumento que redondea a 0.5, una escala con seis valores posibles, una muestra de treinta números, un cálculo hecho en dos pasos con redondeo intermedio: todo eso produce dígitos finales no uniformes sin que nadie haya tocado nada. Las cuatro comprobaciones anteriores dicen «este número no puede ser el que dicen que es». Esta dice «este conjunto de números me sorprende», y sorprenderse no es una prueba de nada. Si es lo único que tienes, no tienes nada.

Casi siempre es una errata, y hace falta decirlo en voz alta

Las proporciones lo dejan claro. Si la mitad de los artículos de psicología con contrastes tiene al menos un valor p que no cuadra con sus grados de libertad, nadie sostiene en serio que la mitad de la psicología esté fabricada. Lo que hay es una cadena: la salida del software, la hoja de cálculo intermedia, la tabla del manuscrito, un revisor que obliga a rehacer un análisis, la tabla actualizada a medias porque se cambiaron cuatro celdas y se olvidó la quinta. Cada salto de esa cadena pierde un decimal, y ninguno de esos saltos tiene mala intención.

Una inconsistencia es una afirmación mucho más pequeña de lo que parece: dice que esos números, juntos, no son compatibles. No dice cuál de los dos está mal. No dice por qué. No dice si el resultado sustantivo cambia. Confundir «no cuadra» con «está inventado» es exactamente el mismo salto lógico que le criticamos a un revisor cuando confunde p > .05 con «no hay efecto», y en la lista de errores comunes al interpretar resultados vive en la misma familia.

La distancia entre las dos frases no es de matices. Una es un correo de dos líneas al autor de correspondencia; la otra es una acusación con consecuencias laborales sobre alguien que probablemente arrastró mal una celda a las once de la noche. Y el coste también es tuyo: si publicas la acusación y resulta ser una errata, acabas de quemarte con la única persona que podía darte los datos, y con todos los que estaban mirando.

Qué haces cuando encuentras una

Primero descarta que el error sea tuyo, que es donde se cae la mayoría de los hallazgos de la primera vez. Vuelve al Método y comprueba si el contraste era unilateral, si el análisis usa una submuestra, si hay eliminación por pares, si esos grados de libertad vienen de una corrección de Welch o de Greenhouse-Geisser, si la escala tiene opciones a medio punto, si esa tabla es de la muestra completa o de los que completaron el seguimiento. Léelo dos veces antes de escribir a nadie.

Si la inconsistencia sobrevive a esa lectura, escribe al autor de correspondencia sin un solo adjetivo. «Estoy usando su Tabla 2 para un metaanálisis y no consigo reconstruir el valor p de la tercera fila desde la t y los grados de libertad; ¿podría estar leyéndolo mal?» Esa frase consigue respuesta. La que empieza por «he detectado un error» no, y encima te deja sin margen si el error era tuyo. Si no contestan en un par de semanas y el número afecta a lo que vas a hacer con el artículo, el siguiente escalón es el editor de la revista, y PubPeer si quieres que quede en público.

Cuando el artículo te importa porque vas a usar sus cifras —justificar un tamaño muestral, meterlo en un metaanálisis, comparar tu efecto con el suyo—, no copies el número: reconstrúyelo. Pega la frase publicada en la calculadora de tamaño del efecto desde texto y mira si el estadístico, los grados de libertad y el p se sostienen entre sí antes de meterlo en tu hoja de extracción. Un dato que no reconstruye contamina tu metaanálisis, no el suyo.

Y hay una comprobación con mucha más rentabilidad que todas las anteriores, que no es sobre el artículo de otro. Es sobre el tuyo, antes de enviarlo. Un revisor metodológico que recalcula tu p desde tus grados de libertad y se encuentra un .04 que era .085 no te pide una corrección menor: devuelve el manuscrito y se pregunta en voz alta qué más no has mirado. La diferencia entre las dos situaciones son veinte minutos de aritmética hechos en el momento adecuado.

Preguntas frecuentes

¿Cómo sé si los datos de un artículo están inventados?

Desde fuera no lo sabes, y esa es la respuesta honesta: sin los datos brutos nadie puede afirmarlo. Lo que sí puedes saber es si los números publicados son compatibles entre sí, que es otra cosa y es comprobable. Recalcula cada valor p desde su estadístico y sus grados de libertad, cruza las N que implican los gl de cada tabla, divide cada porcentaje por su denominador y compara cada media y cada desviación típica con lo que la escala permite. Si algo no cuadra, has demostrado que ese número no puede ser correcto tal y como está escrito; no has demostrado por qué.

¿Qué es statcheck y cómo se usa?

Es un programa que lee el texto de un artículo, localiza los contrastes escritos en formato APA y recalcula el valor p a partir del estadístico y los grados de libertad. Existe como paquete de R y como aplicación web donde subes el PDF y te devuelve una tabla con lo que cuadra y lo que no. Solo ve resultados con formato APA canónico —t, F, r, chi cuadrado y z con sus gl— en el cuerpo del texto, así que no mira tablas de regresión, ni figuras, ni modelos mixtos. Que no encuentre nada significa que no ha mirado casi nada, no que el artículo esté limpio.

¿Qué significa que un valor p sea inconsistente con sus grados de libertad?

Que el estadístico y los grados de libertad publicados determinan un valor p distinto del que aparece escrito. Por ejemplo, t(58) = 1.75 corresponde a p = .085 bilateral, así que un p = .04 impreso al lado no puede salir de esos dos números. Las causas habituales son una errata al copiar, un contraste unilateral que no se declaró, unos grados de libertad de una versión anterior del análisis o unos gl fraccionarios de Welch redondeados en el texto. Se llama inconsistencia grave cuando corregirla cambia el lado del umbral de .05, porque entonces afecta a lo que el artículo concluye.

¿Qué es la prueba GRIM?

Es la comprobación de que una media declarada es aritméticamente posible. Si la puntuación de cada persona es un entero —un ítem, o la suma de varios ítems con respuesta entera— y la media se calcula sobre n personas, esa media tiene que ser un múltiplo de 1/n: con n = 28, un 3.43 es posible (96/28) y un 3.44 no lo es. La formalizaron Brown y Heathers en 2017 y funciona con muestras pequeñas, porque a partir de unos cien casos la rejilla se vuelve más fina que el redondeo a dos decimales. Deja de aplicarse si la puntuación de cada persona no es un entero o si esa variable tiene menos casos que el estudio completo.

¿Puedo denunciar un artículo por errores estadísticos?

Antes de denunciar nada, escribe al autor de correspondencia con una pregunta, no con una acusación: la mayoría de las inconsistencias son erratas y se resuelven con una fe de erratas o con una respuesta que te explica lo que no habías visto. Si no contestan en un par de semanas y el número importa, el siguiente paso es el editor de la revista, que tiene un procedimiento para esto y suele seguir las guías del COPE. PubPeer permite dejar el comentario en público, con nombre o de forma anónima, y es donde acaban las cosas que la revista no atiende. Describe siempre lo que no cuadra y nunca por qué crees que no cuadra.

¿Cuántos artículos publicados tienen errores estadísticos?

En psicología hay una medida directa: Nuijten y colaboradoras recalcularon con statcheck más de 250.000 valores p de ocho revistas entre 1985 y 2013 y encontraron que la mitad de los artículos con contrastes tenía al menos una inconsistencia, y que uno de cada ocho tenía una lo bastante grande como para cambiar la conclusión sobre la significación. La cifra dice mucho menos sobre honestidad que sobre el proceso de copiar números de una salida de software a una tabla. Es también la razón por la que conviene revisar el propio manuscrito con las mismas herramientas antes de enviarlo.

Las cinco comprobaciones se aprenden en una tarde y se quedan para siempre: cambian cómo lees un artículo y, sobre todo, cómo revisas el tuyo antes de mandarlo. Si lo que te ha traído hasta aquí es un rechazo con un comentario del tipo «los estadísticos reportados no son consistentes», la traducción de esa frase y lo que se contesta están en por qué te rechazan en Q1.