Seis comprobaciones que puedes hacer a un paper sin pedir los datos

Te han mandado un manuscrito para revisar, o estás a punto de citar un artículo en el que apoyas medio marco teórico, y lo único que tienes es un PDF. Ni datos, ni sintaxis, ni salidas. La sensación habitual es que sin eso solo puedes opinar sobre el argumento y fiarte de los números. No es verdad. Un apartado de resultados es un sistema de ecuaciones que se contradice solo cuando algo está mal, y buena parte de esas contradicciones se ven con una calculadora. Estas son las seis que más rinden, en el orden en que conviene correrlas y con el procedimiento a mano de cada una.

1. Recomputa cada valor p desde su estadístico y sus grados de libertad

Un valor p no es un dato: es una función determinista del estadístico y de sus grados de libertad. Dado t(58) = 2.10 solo existe un valor p bilateral posible, y es .040. Eso convierte cada resultado completo del artículo en una comprobación cerrada: el texto trae las tres piezas, y si la tercera no se sigue de las dos primeras, alguien copió mal, redondeó mal o cambió el análisis y no cambió el número.

El procedimiento a mano cabe en una celda. En una hoja de cálculo: =T.DIST.2T(2.10, 58) para una t bilateral, =F.DIST.RT(3.84, 1, 118) para una F y =CHISQ.DIST.RT(2.86, 1) para una chi-cuadrado (en Excel en español los nombres van traducidos —DISTR.T.2C, DISTR.F.CD y DISTR.CHICUAD.CD—, el separador de argumentos es el punto y coma y el decimal, la coma). En R son 2 * pt(-abs(2.10), 58), pf(3.84, 1, 118, lower.tail = FALSE) y pchisq(2.86, 1, lower.tail = FALSE). Para una correlación conviertes primero a t con t = r · raíz(N − 2) / raíz(1 − r²): un r = .24 con N = 140 da t(138) = 2.90 y p = .004, así que ese resultado pasa.

Hay dos gravedades distintas y conviene no confundirlas. La inconsistencia sin más: «t(58) = 2.10, p = .002», donde el valor real es .040 y la conclusión no se mueve. Y el error de decisión, que es el que importa: «F(1, 118) = 3.84, p = .04» en un artículo cuyo método declara contrastes bilaterales y alfa en .05, cuando ese estadístico con esos grados de libertad da p = .052. Ahí el efecto pasa de significativo a no significativo y con él, muchas veces, la frase del resumen. Lo mismo con «chi²(1, N = 200) = 2.86, p = .04»: el valor real es .091.

Antes de escribir nada, descarta las dos explicaciones legítimas. La primera es el contraste de una cola, que en una t parte el valor por dos; si el método lo declara, no hay error, y si no lo declara y la mitad de los p encajan solo asumiéndolo, eso ya es otro hallazgo. La segunda es la corrección por comparaciones múltiples: un p ajustado por Bonferroni o por FDR no tiene por qué coincidir con el crudo. Y descarta también el redondeo: un estadístico impreso con dos decimales es en realidad un intervalo, así que un desajuste en el tercer decimal no es nada. Esta comprobación está automatizada desde hace años en statcheck, que tiene paquete de R y versión web, y cuando Nuijten y colaboradores (2016) la pasaron a casi treinta años de literatura psicológica encontraron al menos un valor p inconsistente en torno a la mitad de los artículos que informaban contrastes, y un error capaz de cambiar la conclusión en aproximadamente uno de cada ocho. Las reglas de formato que hacen posible esta auditoría están en cómo reportar valores p en APA 7; un artículo que escribe «p < .05» y esconde el estadístico no se puede comprobar, y eso también es información.

2. Cuadra los grados de libertad con la N que declara el paper

Los grados de libertad llevan dentro el tamaño muestral. No hace falta que el autor te diga cuánta gente entró en cada análisis: el paréntesis ya lo dice, y con frecuencia dice algo distinto de lo que dice el resumen.

Las equivalencias que cubren casi todo lo que vas a encontrar. Prueba t de muestras independientes. df = n₁ + n₂ − 2, así que t(118) son 120 personas. Prueba t de muestras relacionadas. df = N − 1, así que t(41) son 42 pares. ANOVA de un factor. F(k − 1, N − k), de modo que F(2, 117) son tres grupos y 120 personas. Regresión múltiple. F(k, N − k − 1), de modo que F(4, 145) son cuatro predictores y 150 casos. Correlación. df = N − 2. Chi-cuadrado. df = (filas − 1)(columnas − 1), que no depende de la N, y por eso APA obliga a meterla dentro del paréntesis: es el único sitio donde aparece.

El uso típico es una resta. El artículo dice N = 132 en el resumen y el análisis principal es F(2, 117), o sea 120. Faltan doce personas y el método no las menciona. Puede haber una razón perfecta (datos perdidos, un criterio de exclusión, un grupo que no entra en ese modelo), pero la razón tiene que estar escrita, porque doce casos que desaparecen entre el resumen y el análisis principal es exactamente la forma que tiene la exclusión selectiva.

Tres avisos para no dar falsos positivos. Los grados de libertad no enteros no son un error, son una corrección: casi siempre Greenhouse-Geisser en medidas repetidas, a veces Welch en una t con varianzas desiguales. Un F(1.62, 95.62) está perfectamente bien escrito. En modelos multinivel y mixtos los grados de libertad se aproximan (Satterthwaite, Kenward-Roger) y esta comprobación no se aplica tal cual. Y dentro de un mismo artículo es normal que distintos análisis tengan N distintas por datos perdidos; lo anómalo no es que varíen, es que varíen sin que nadie lo cuente.

3. Cuadra las N entre el resumen, el método y las tablas

La comprobación anterior compara el paréntesis con el texto. Esta compara el texto consigo mismo. Coge las tres fuentes de N que tiene todo artículo (la del resumen, la del apartado de participantes y la de la primera columna de la Tabla 1) y súmalas o réstalas hasta que se contradigan.

Un caso real de libro: el resumen anuncia N = 212; la Tabla 1 tiene dos grupos de 104 y 100, que suman 204; y el contraste principal es t(202), que también son 204. Los 212 no aparecen en ningún análisis. Ocho personas se han ido en algún punto entre el reclutamiento y los resultados, y el número que va al resumen, al que citará todo el mundo, es el mayor de los dos. No es fraude: es el resumen escrito antes de terminar las exclusiones y no revisado después. Pero si esas ocho salieron por algo relacionado con la variable dependiente, el efecto que estás leyendo es de otra muestra.

Dentro de la Tabla 1 la comprobación es todavía más barata: las categorías de cada variable tienen que sumar el total de la columna. Sexo 145 + 67 = 212, nivel educativo 38 + 96 + 74 = 208 con cuatro sin dato que nadie declara. Cuando una fila suma menos que la columna hay perdidos silenciosos; cuando suma más, hay alguien contado dos veces o una categoría no excluyente presentada como si lo fuera.

Lo que buscas al final es la cadena completa: cuántos fueron invitados, cuántos aceptaron, cuántos completaron, cuántos entraron en cada análisis. Un artículo que la trae entera se puede auditar en dos minutos y casi siempre resiste; uno que da un solo número y lo repite en todas partes está ocultando la parte interesante sin proponérselo. Cómo se declara esa cadena, y qué hay que decir del mecanismo de pérdida, está en cómo reportar datos perdidos en APA 7.

4. Divide cada porcentaje por su denominador

Un porcentaje de personas no puede ser cualquier número. Si la muestra son 212, cada persona vale 0.47 puntos porcentuales y los porcentajes posibles forman una rejilla con 212 escalones. Multiplica el porcentaje por la N y mira si sale un entero: 68.5% × 212 = 145.22, que no es nadie. Los dos valores alcanzables alrededor son 145 personas (68.4%) y 146 (68.9%). Ese 68.5% no puede venir de esa muestra.

El segundo uso es más frecuente que el primero: el denominador que se mueve. El artículo declara N = 212 y más adelante escribe «34 participantes (19.1%) cumplían criterio clínico». Sobre 212, treinta y cuatro personas son el 16.0%. El 19.1% sale de dividir entre 178, que son los que completaron. Ninguno de los dos números está mal; lo que está mal es que el lector no puede saber cuál es la base sin hacer la división, y la que se lee en el resumen suele ser la que más favorece.

La misma aritmética se aplica a las medias, y ahí tiene nombre: el test GRIM (Brown y Heathers, 2017). Si una variable solo puede tomar valores enteros en cada persona (un ítem Likert, un recuento de episodios, una suma de ítems), su media sobre N casos tiene que ser un múltiplo de 1/N. Con N = 47, una M = 3.42 es imposible: 3.42 × 47 = 160.74, y las medias alcanzables más cercanas son 3.40 y 3.43. La condición es estricta y hay que respetarla: no vale para medias de medias (la puntuación media de una escala calculada promediando ítems ya no es entera) ni si la N de esa variable concreta no es la N total.

Y una última barata: los porcentajes de una misma variable tienen que sumar 100. Que sumen 100.1 o 99.9 es redondeo y es normal. Que sumen 106 significa que las categorías se solapan y no se ha dicho, o que hay una respuesta múltiple presentada como si fuera excluyente.

5. Recalcula el tamaño del efecto desde la F o desde la t

El tamaño del efecto no es información adicional: en la mayoría de los diseños se deduce del estadístico y de los grados de libertad, así que se puede invertir. Tres fórmulas cubren casi todo. Eta cuadrado parcial. eta² parcial = (F × df₁) / (F × df₁ + df₂). Con F(2, 117) = 4.86 sale .077. d de Cohen entre grupos. d = t × raíz(1/n₁ + 1/n₂). Con t(118) = 2.10 y 60 personas por grupo sale d = 0.38. R cuadrado y la F del modelo. F = (R²/k) / ((1 − R²)/(N − k − 1)). Con R² = .18, cuatro predictores y N = 150 sale F(4, 145) = 7.96.

Lo interesante es leer el desajuste al revés. Si el artículo informa F(2, 117) = 4.86 y a continuación eta² parcial = .18, la pregunta no es si el efecto es grande: es que para que ese eta cuadrado parcial fuera .18 la F tendría que valer 12.84. Si informa t(118) = 2.10 con 60 por grupo y d = 0.62, la t tendría que ser 3.40. Uno de los dos números viene de otro análisis, de otro subconjunto o de una calculadora mal alimentada, y saber cuál de los dos es el bueno cambia la interpretación entera.

Buena parte de los desajustes que vas a encontrar aquí no son errores, son etiquetas. Eta cuadrado parcial y eta cuadrado no son lo mismo, y lo que los delata es la suma: el eta cuadrado clásico reparte la varianza total del diseño, así que los efectos de un factorial no pueden sumar más de 1, mientras que los parciales sí. Si el artículo llama eta² a tres efectos que suman 1.18, son parciales mal etiquetados, y eso hay que preguntarlo porque cambia lo que significa cada uno. Con la d en medidas repetidas pasa igual: si en t(41) = 2.31 el artículo informa d = 0.36, ese número es t/raíz(N), es decir una d_z, que se calcula sobre las diferencias y no es comparable con la d entre grupos de un metaanálisis. La inversión te dice qué fórmula usaron aunque el artículo no lo diga.

Si vas a hacer esto sobre varios artículos, tenerlo en una hoja se vuelve tedioso enseguida. La calculadora de tamaño del efecto desde texto hace justo esta inversión: le pegas la frase de resultados tal cual está en el PDF y devuelve el tamaño del efecto que se deduce de ella, que es lo que quieres comparar con el que declara el autor.

6. Comprueba que las referencias existen y son las que el texto dice

Esta comprobación tiene tres niveles y cuestan cosas muy distintas. El primero es si la referencia existe. El segundo, si los datos de la ficha —autores, año, revista, volumen, páginas— son los del trabajo real. El tercero, si el trabajo dice lo que la frase que lo cita afirma que dice.

El primer nivel es mecánico. Si la entrada trae DOI, pégalo detrás de https://doi.org/ y mira dónde aterriza; si no lo trae, copia el título exacto en search.crossref.org. Dos resultados son sospechosos: que no aparezca nada con ese título, y que el DOI resuelva a un artículo distinto del que está citado. Ese segundo caso es la huella típica de una referencia compuesta en lugar de copiada, y es lo que producen los listados generados con un chatbot: autores que existen, revista que existe, título verosímil, y un DOI que pertenece a otro trabajo. Un bloque de quince referencias se despacha en diez minutos.

El segundo nivel es donde se cuelan los errores de buena fe. Reconstruir una cita desde una ficha añade coautores que no firmaban, cambia el año de la versión online por el del número impreso o convierte un preprint en el artículo publicado, que a veces ni tiene los mismos resultados. Y añade una comprobación que casi nadie hace: que nada de lo que se cita esté retractado. La base de Retraction Watch está integrada en Crossref y se consulta gratis; una retractación citada como si nada, sobre todo si sostiene el argumento central, es un problema serio y silencioso.

El tercer nivel no se puede automatizar y es el que más deforma la literatura: la cita que se ha ido desplazando. Alguien cita un artículo para una afirmación parecida pero más fuerte, el siguiente cita al que citó, y tres saltos después una correlación moderada en una muestra universitaria se ha convertido en un hecho establecido. La única forma de comprobarlo es abrir la fuente y buscar la frase. Hazlo al menos con las tres referencias que sostienen la hipótesis principal. El procedimiento completo, aplicado a tu propia bibliografía antes de enviar, está en comprobar las referencias antes de enviar.

En qué orden correrlas y cómo se escribe lo que encuentres

El orden importa porque las primeras te dan el mapa. Empieza por la 2 y la 3, que son restas y te dicen cuánta gente hay de verdad en cada análisis; con eso ya puedes interpretar todo lo demás. Sigue con la 1, que es donde aparecen los errores de decisión. Después la 4 y la 5, que se apoyan en las N que ya has fijado. Y deja la 6 para el final, porque es la que más tiempo come. Sobre un artículo empírico de tamaño normal, las cinco primeras se hacen de una sentada con una hoja de cálculo abierta al lado.

Encontrar algo no te autoriza a concluir nada sobre las intenciones de nadie, y escribirlo como si sí es la forma más rápida de que el editor te ignore. La inconsistencia se redacta como aritmética y como pregunta, con la página y con el número que a ti te sale: «En la p. 12 se informa F(1, 118) = 3.84, p = .04. Recomputado desde el estadístico y sus grados de libertad, ese contraste da p = .052. ¿Pueden los autores verificar el valor o indicar si se aplicó alguna corrección?» Eso es imposible de discutir y facilísimo de responder, que es justo lo que quieres.

Si el artículo está publicado y el error es serio, el orden razonable es escribir primero a los autores, luego al editor si no hay respuesta, y dejar PubPeer para cuando lo anterior no ha llevado a ningún sitio. La mayoría de las inconsistencias que vas a encontrar son erratas de transcripción entre la salida del software y el manuscrito, y se arreglan con un correo.

Y el uso más rentable de las seis no es sobre el paper de otro: es sobre el tuyo, el día antes de enviarlo. Todas detectan cosas que tu ojo ya no ve después de seis meses con el manuscrito, y todas las hará un revisor cuidadoso o el escritorio del editor antes de mandarlo a revisión. La lista larga, con lo que hay que mirar además de estas seis, está en comprobar el análisis antes de enviar.

Preguntas frecuentes

¿Se puede revisar un paper sin tener los datos?

Sí, y bastante más de lo que parece. Un apartado de resultados contiene redundancias: el valor p se deduce del estadístico y de sus grados de libertad, los grados de libertad contienen la N, los porcentajes contienen su denominador y los tamaños del efecto se deducen de la F o de la t. Cada redundancia es una comprobación que solo necesita el PDF. Lo que no se puede comprobar sin datos es si los análisis se hicieron sobre las variables que se dice, ni cuántos se corrieron antes de este.

¿Cómo se recalcula un valor p a mano?

Con una celda de una hoja de cálculo. Para una t bilateral, =T.DIST.2T(2.10, 58) devuelve .040; para una F, =F.DIST.RT(3.84, 1, 118) devuelve .052; para una chi-cuadrado, =CHISQ.DIST.RT(2.86, 1) devuelve .091 (en Excel en español se llaman DISTR.T.2C, DISTR.F.CD y DISTR.CHICUAD.CD, con punto y coma entre argumentos). En R son 2 * pt(-abs(t), df), pf(F, df1, df2, lower.tail = FALSE) y pchisq(x, df, lower.tail = FALSE). Con una correlación, pasa primero a t con t = r · raíz(N − 2) / raíz(1 − r²).

¿Qué significa que los grados de libertad no cuadren con la N?

Que el análisis se corrió sobre menos gente de la que anuncia el artículo. Un F(2, 117) en un ANOVA de tres grupos son 120 casos; si el resumen dice 132, hay doce que salieron por algún sitio. Casi siempre son datos perdidos con eliminación por lista, y no es un problema salvo que no esté declarado. Ojo con los falsos positivos: los grados de libertad no enteros son la corrección de Greenhouse-Geisser o de Welch, y en modelos mixtos se aproximan y esta cuenta no aplica.

¿Cómo sé si una referencia es inventada?

Pega el DOI detrás de https://doi.org/ y mira dónde va; si no hay DOI, busca el título exacto en search.crossref.org. Las dos señales son que no exista nada con ese título y que el DOI resuelva a un artículo distinto del citado. Esa segunda combinación —autores reales, revista real, título verosímil, DOI ajeno— es la firma de una bibliografía generada con un chatbot. Comprueba también, ya que estás, que ninguna de las citadas esté retractada; la base de Retraction Watch se consulta desde Crossref.

¿Qué es el test GRIM y para qué sirve?

Es comprobar que una media es aritméticamente posible. Si una variable toma valores enteros en cada persona, su media sobre N casos tiene que ser un múltiplo de 1/N: con N = 47, una M = 3.42 es imposible, porque 3.42 × 47 = 160.74 y las medias alcanzables más cercanas son 3.40 y 3.43 (Brown y Heathers, 2017). Solo vale para variables enteras (un ítem, un recuento, una suma) y con la N de esa variable, no la del estudio.

¿Qué hago si encuentro un error en un artículo publicado?

Escribe primero a los autores con la página, el número que ellos informan y el que te sale a ti, sin adjetivos. La mayoría son erratas al copiar la salida del software al manuscrito y se resuelven ahí. Si no hay respuesta en unas semanas y el error afecta a la conclusión, va al editor de la revista. PubPeer es para después de eso, no antes, y siempre con la aritmética delante en lugar de la sospecha.

Ninguna de estas seis comprobaciones demuestra que un artículo esté mal: demuestran que dos números del mismo artículo no pueden ser ciertos a la vez, y eso basta para preguntar con precisión, que es lo que se le pide a una revisión. Si lo que encuentras al pasarlas por tu propio manuscrito es que no sabes cuál de los dos números era el bueno, o si el desajuste viene de que el análisis se corrió sobre una muestra que ya no es la que describes, eso lo desenredamos en mi consultoría estadística.