Cuatro problemas estadísticos que rechazan un paper de educación

Tienes el manuscrito terminado, un curso entero de trabajo de campo detrás y una decisión que no es de redacción: si lo mandas tal cual o si abres otra vez el fichero de análisis. La duda es razonable, porque rehacer cuentas cuesta semanas y en educación casi nadie te dice qué está mal hasta que llega la carta. Lo que sigue son los cuatro problemas que se llevan por delante un manuscrito de educación en la primera ronda, y en tres de los cuatro casos el revisor no está discutiendo tu resultado: está diciendo que el número que has calculado no es el que responde a tu pregunta.

Cuatrocientos ochenta alumnos casi nunca son cuatrocientos ochenta datos

El error que más papers de educación tumba no es exótico ni sofisticado: es tratar a los alumnos como si cada uno hubiera llegado a tu estudio por su cuenta. No llegan así. Llegan en aulas, y las aulas llegan en centros. Dos alumnos de la misma clase comparten profesora, horario, compañeros, materiales, la hora a la que se pasó la prueba y muy a menudo el barrio. Se parecen entre sí más de lo que se parecen a un alumno de otro centro, y ese parecido no es ruido: es estructura, y tu t de Student no sabe que existe.

La cantidad de parecido tiene nombre y se mide. La correlación intraclase (ICC) es la proporción de varianza total que se explica por las diferencias entre aulas o entre centros, y en educación no es ni esotérica ni pequeña. El What Works Clearinghouse, el organismo del Departamento de Educación de Estados Unidos que revisa evidencia de intervenciones educativas, adopta por defecto ICC = .20 para resultados de rendimiento y .10 para el resto cuando el estudio no la reporta, apoyándose en Hedges y Hedberg (2007) y Schochet (2008). No es una cifra de despacho: con los sistemas longitudinales de siete estados, la correlación intraclase a nivel de centro entre 3.º y 8.º curso promedia alrededor de .20 en matemáticas y .17 en lectura, con variación considerable entre estados (Hedges y Hedberg, 2013). Comprobado en septiembre de 2026.

Lo que esa cifra le hace a tu análisis se calcula en una línea. El efecto de diseño es deff = 1 + (m − 1) × ICC, donde m es el tamaño medio del aula. Pon 20 aulas de 24 alumnos (480 en total, una muestra que en educación suena holgada) y una ICC de .20: deff = 1 + 23 × .20 = 5.6. Tu muestra efectiva no son 480 personas, son 480 / 5.6, es decir, unas 86. Y como el error típico se subestima por la raíz del efecto de diseño, el tuyo va corto en un factor de 2.37: esa t = 3.10 que te salió con p < .01 es, bien calculada, t = 1.31.

No es que el resultado se debilite un poco. Es que cambia de conclusión, y el revisor que lo ve no está discutiendo tu intervención: está diciendo que el contraste que has hecho no es el contraste que responde a tu pregunta. Por eso este error rechaza más que ningún otro en la disciplina. No se arregla con una frase en la Discusión.

Cómo aparece en la carta y qué se hace con ello

El comentario casi nunca dice «multinivel». Dice «the unit of assignment does not match the unit of analysis», o «the authors should account for the nested structure of the data», o, en su versión más corta y más letal, «please justify the assumption of independence». Las tres son la misma frase. Si tu intervención se asignó por aulas y tu análisis compara alumnos, ya la tienes escrita en la próxima carta.

Hay tres formas de responderla, y la elección depende de cuántas aulas tengas, no de cuántos alumnos. Modelo multinivel. Un intercepto aleatorio por aula (y otro por centro si tienes centros suficientes) reparte la varianza donde toca y devuelve errores típicos honestos; es la opción por defecto y la que el revisor espera ver. Errores típicos robustos por conglomerado. Mantienes tu regresión de siempre y corriges solo la matriz de covarianzas agrupando por aula; es más fácil de explicar y suficiente cuando el aula te estorba pero no te interesa como objeto de estudio. Subir el análisis al aula. Calculas la media de cada aula y comparas 20 datos en vez de 480; pierde información y a mucha gente le duele, pero es honesto, es fácil de defender y a veces es lo único que el número de aulas permite.

La parte incómoda llega aquí. Con cuatro o seis conglomerados en total, ni el multinivel ni los errores robustos se portan bien: los componentes de varianza se estiman fatal y los errores robustos por conglomerado salen optimistas, así que hay que tirar de correcciones para pocos conglomerados y decirlo en el Método. Y la consecuencia práctica es la que más cuesta aceptar: si asignaste por aulas, la potencia te la da el número de aulas. Meter 200 alumnos más en las mismas seis clases no compra casi nada; una séptima y una octava clase, sí. Ese cálculo hay que hacerlo antes y escribirlo después, y cómo se reporta está en cómo reportar un análisis de potencia en APA 7.

La intervención que no se compara con nada

El segundo problema no es de cálculo, es de diseño, y por eso duele más: un grupo, un pretest, un postest y una subida. Sube, sí. La pregunta es respecto a qué. Entre septiembre y mayo tus alumnos han madurado, han visto la prueba una vez y han tenido nueve meses de clase con o sin tu programa, y ninguno de esos tres factores lleva tu nombre.

Que esto no es la manía de un revisor gruñón lo dice el organismo más formal que hay en el campo. El What Works Clearinghouse ni siquiera revisa los diseños de un solo grupo pretest-postest: los declara inelegibles porque confunden el tiempo con la condición y, en sus propias palabras, no pueden aportar evidencia fiable de eficacia; si los admitiera a revisión, escriben, siempre recibirían la calificación de no cumplir sus estándares (Procedures and Standards Handbook, versión 5.0, comprobado en septiembre de 2026). Una revista de educación no aplica ese manual, pero sus revisores han leído el mismo argumento.

Si todavía estás a tiempo, el grupo de comparación no tiene que ser un ensayo aleatorizado. Vale un aula paralela del mismo curso y el mismo centro, vale una lista de espera que recibe el programa en el segundo trimestre, vale una cohorte del año anterior con la misma prueba y las mismas fechas. Lo que no vale es nada, y lo que menos vale es nada disfrazado: escribir «el programa mejoró la comprensión lectora» con un solo grupo es la frase que el editor subraya. Cuando ya tienes los dos grupos, además, el tamaño del efecto de ese diseño tampoco es la d de siempre, tiene la suya (la d_ppc2 de Morris), y eso está desglosado con el cálculo hecho en cómo medir si una intervención educativa funcionó de verdad.

Y si los datos ya están recogidos y no hay grupo control posible, queda una salida que no es tramposa: reetiquetar el trabajo. Un estudio piloto o de viabilidad, con las ganancias descritas, sin lenguaje causal en ninguna parte y con unas limitaciones que digan exactamente lo que no puedes concluir, se publica. Lo que no se publica, o se publica y luego se cita mal durante diez años, es el mismo estudio contando que el programa funciona.

Likert: el problema no es la decisión, es el silencio

En educación casi todo lo interesante se mide con escalas de respuesta ordenada: actitud hacia las matemáticas, clima de aula, implicación, satisfacción con la asignatura, autoeficacia. Y casi todo el mundo calcula medias con ellas. Al revisor no le molesta que lo hagas; le molesta que no lo cuentes. La frase que rechaza no es «tratamos los ítems como continuos»: es que esa frase no aparezca por ningún lado.

Antes de decidir, separa dos cosas que se confunden constantemente. Un ítem suelto de cinco opciones es una variable ordinal con cinco categorías y poco más que discutir. La puntuación de una escala de doce ítems, sumada o promediada, es otra cosa: tiene muchos más valores posibles y se comporta bastante bien como continua. Cuando modelas los ítems directamente la evidencia es más concreta: Rhemtulla, Brosseau-Liard y Savalei (2012) compararon máxima verosimilitud robusta con estimación categórica por mínimos cuadrados en análisis factorial confirmatorio, y las cargas factoriales y sus errores típicos salieron más exactas con la categórica, sobre todo por debajo de cinco categorías; las correlaciones entre factores y el ajuste del modelo se recuperaron igual de bien con las dos, y la máxima verosimilitud fue la más sensible a los umbrales asimétricos.

Ahí está la trampa específica de este campo. Las escalas de clima escolar y de actitud se construyen muchísimas veces con cuatro opciones y sin punto medio, precisamente para forzar la elección, y cuatro está por debajo de la línea. Súmale que los anclajes casi nunca son equidistantes: de «nunca» a «a veces» no hay la misma distancia que de «a menudo» a «siempre», por mucho que los codifiques 1, 2, 3 y 4. Con esos dos hechos en la misma escala ya tienes los dos comentarios que el revisor va a escribir.

Lo que cierra el asunto son tres frases en el Método: cuántas categorías tiene la escala, si la tratas como ordinal o como continua, y por qué. Si el diseño está en la frontera, añade una cuarta: que has repetido el análisis de las dos maneras y las conclusiones no cambian, o que sí cambian, que también es un resultado y es mejor contarlo tú. Y si vas a reportar medias, no las dejes solas con dos decimales: 3.42 frente a 3.61 no significa nada sin la dispersión y sin un tamaño del efecto al lado.

El tamaño del efecto ausente, justo donde las diferencias pequeñas importan

El cuarto es el más fácil de arreglar y el que más manuscritos deja sin argumento. Los estándares de reporte de la APA piden, para cada contraste inferencial que hagas, la estimación del tamaño del efecto y su intervalo de confianza siempre que sea posible; está literalmente en la tabla 1 de JARS–Quant. Un apartado de Resultados que solo trae p no incumple una norma abstracta: deja al lector sin la única cifra que le dice si el programa merece la pena.

Y aquí la disciplina arrastra un problema propio, porque hereda unos baremos que no son suyos. Los umbrales de Cohen (0.20 pequeño, 0.50 mediano, 0.80 grande) vienen, en la descripción del propio Kraft, de un puñado de experimentos de laboratorio de psicología social de los años sesenta hechos en su mayoría con universitarios. Kraft (2020) recalculó la escala con la distribución de 1942 tamaños del efecto procedentes de 747 ensayos aleatorizados de intervenciones educativas de infantil a bachillerato con pruebas estandarizadas de rendimiento, y propone otros cortes para ese tipo de estudio: por debajo de 0.05 pequeño, de 0.05 a menos de 0.20 mediano, y 0.20 o más grande. La mediana de esa distribución es 0.10.

Traducido a tu manuscrito: si te sale 0.15 y escribes «un efecto pequeño según los criterios de Cohen», estás tirando tu propio resultado a la basura. En intervenciones educativas de campo, 0.15 está por encima de la mediana de lo que consigue la disciplina entera. Lo honesto no es inflarlo ni encogerlo, es decir con qué lo comparas. Y funciona en el otro sentido: una d de 0.80 salida de tres aulas, sin intervalo de confianza y sin corregir por conglomerado, no impresiona a nadie que sepa leerla.

Porque el tamaño del efecto de un ensayo por aulas tampoco es el de siempre. Cuando la unidad de asignación es el aula y la desviación típica del denominador es la de los alumnos, hace falta una corrección por conglomerado que depende de la ICC y del número de aulas; el propio manual del What Works Clearinghouse la lleva incorporada en sus fórmulas de cálculo, apoyada en Hedges (2007). Si tu d no lleva esa corrección ni intervalo de confianza, tienes el problema uno y el problema cuatro metidos dentro de la misma cifra. Las convenciones de reporte, con el intervalo incluido, están en cómo reportar la d de Cohen en APA 7.

Los cuatro llegan juntos, y hay un orden

Estos cuatro problemas se presentan como una lista, pero en un manuscrito real están enganchados. Ignorar el anidamiento infla la t y estrecha el intervalo del tamaño del efecto a la vez. No tener grupo de comparación deja ese tamaño del efecto sin significado, aunque esté perfectamente calculado. Y decidir si la escala es ordinal o continua cambia la desviación típica que va en el denominador. Arreglarlos en desorden significa calcular el tamaño del efecto tres veces.

El orden que ahorra trabajo es este. Primero, la unidad. Qué se asignó (alumno, aula, centro) y qué vas a analizar; si no coinciden, decides ya si vas a multinivel, a errores robustos o a medias de aula. Segundo, la comparación. Contra qué se mide el cambio, y si no hay nada contra lo que medirlo, reetiquetas el estudio antes de escribir la Discusión. Tercero, la medida. Ordinal o continua, con su justificación de tres frases. Y solo entonces, el tamaño del efecto, una vez, con su intervalo y con la corrección que le toque.

Antes de mandarlo, hazte las cuatro preguntas por escrito y busca la respuesta en el manuscrito, no en tu cabeza: dónde digo cuántas aulas y cuántos centros hay, dónde digo contra qué grupo comparo, dónde digo cómo trato la escala, dónde está el tamaño del efecto con su intervalo. Si alguna respuesta no está escrita en el texto, el revisor la va a pedir, y pedirla le cuesta a él un minuto y a ti tres meses. Si quieres ver con qué nivel de detalle se señala esto, el informe de ejemplo de Previum está publicado entero, con los valores p recomputados desde los grados de libertad y las referencias comprobadas una a una.

Preguntas frecuentes

Mi intervención fue en dos aulas, una experimental y una control. ¿Tiene arreglo?

Arreglo estadístico completo, no: con dos conglomerados, el efecto del aula y el efecto del programa son la misma cosa y ningún modelo los separa. Lo que sí tiene arreglo es cómo lo cuentas. Analiza a nivel de alumno si quieres, pero di explícitamente que el aula está confundida con la condición, quita el lenguaje causal y preséntalo como un piloto. Los revisores perdonan un diseño pequeño declarado; no perdonan un diseño pequeño vendido como ensayo.

¿Puedo meter el aula como variable dummy de efectos fijos y saltarme el multinivel?

A veces sí, y es una salida legítima cuando las aulas te estorban y no te interesan como objeto de estudio. Pero ojo con una cosa: si la intervención se asignó por aulas enteras, el efecto fijo de aula absorbe exactamente la variación que quieres estimar y el modelo no tiene de dónde sacar el efecto del programa. Los efectos fijos de aula sirven cuando la asignación fue dentro del aula, unos alumnos sí y otros no. Si fue por aulas, necesitas intercepto aleatorio, errores robustos por conglomerado o análisis a nivel de aula.

Tengo alumnos en aulas y aulas en centros. ¿Hace falta un modelo de tres niveles?

Depende de cuántos centros tengas, no de cuántos alumnos. Con dos o tres centros no hay información para estimar la varianza de ese nivel: el componente saldrá pegado a cero o el modelo no convergerá, y es mejor meter el centro como efecto fijo (uno o dos indicadores) y quedarte en dos niveles. Con quince o veinte centros sí compensa el tercer nivel. En los dos casos, di en el Método cuál elegiste y por qué; el revisor acepta casi cualquier decisión razonada y ninguna sin razonar.

Mi escala Likert es de cinco puntos y sumo doce ítems. ¿Me hace falta estimación categórica?

Para la puntuación total, casi seguro que no: doce ítems de cinco puntos dan un rango amplio y la suma se comporta bien como continua. La pregunta es distinta si modelas los ítems uno a uno, en un análisis factorial confirmatorio por ejemplo; ahí cinco categorías está justo en la frontera y la recomendación depende de si los umbrales son simétricos. En cualquiera de los dos casos, escríbelo: la frase que te ahorra el comentario ocupa dos líneas.

El revisor dice que mi efecto es pequeño y que eso resta interés. ¿Merece la pena discutirlo?

Sí, si lo discutes con datos y no con adjetivos. La respuesta útil no es «pequeño no significa irrelevante», que suena a excusa; es situar tu cifra en la distribución de tu propio campo, decir cuánto cuesta el programa y a cuántos alumnos llega. Un efecto de 0.12 en un programa que cuesta dos horas de formación docente y se aplica a un curso entero es una noticia distinta que un 0.12 en una intervención individual de treinta sesiones. Y ese argumento va escrito en la Discusión, no improvisado en la carta de respuesta.

¿Y si al corregir el anidamiento el resultado se me queda sin significación?

Entonces ya sabes algo que antes no sabías, y lo sabes tú antes que el editor. Tienes tres salidas honestas y ninguna es esconderlo: reportar el efecto con su intervalo de confianza y hablar de magnitud en vez de umbral, ampliar el número de aulas si el calendario lo permite, o presentar el trabajo como lo que es, un estudio con poca potencia a nivel de conglomerado cuyo intervalo no descarta un efecto útil. Publicar el resultado corregido y no significativo es reparable; publicar el incorrecto y significativo, no.

Quédate con el orden: primero la unidad, después la comparación, después la medida, y el tamaño del efecto al final, una sola vez. Los tres últimos se arreglan escribiendo; el primero casi siempre se arregla cambiando el modelo, y por eso conviene mirarlo antes de dar el manuscrito por cerrado. Si quieres una pasada rápida a lo que ya tienes escrito, con los valores p recomputados desde tus propios grados de libertad, el Previum hace esa autoevaluación sobre tu manuscrito antes de que lo envíes.