En psicología educativa hay un error que aparece con una frecuencia que asusta y que un revisor detecta en treinta segundos: asignar la intervención a aulas enteras y después analizar los datos como si los alumnos fueran independientes entre sí. Ese desajuste entre la unidad de asignación y la unidad de análisis infla la significación de forma brutal, y es la causa de que una parte considerable de la literatura de intervención educativa reporte efectos que después no se sostienen.
Alrededor de ese problema central se ordenan casi todas las demás críticas del campo: cuántas aulas tienes en realidad (no cuántos alumnos), qué hiciste con las diferencias previas entre grupos, si alguien comprobó que el programa se aplicó como estaba diseñado, y si el tamaño del efecto que reportas se interpreta con las referencias de la investigación educativa y no con las de un experimento de laboratorio.
Esta guía recorre las objeciones que escriben de verdad los revisores de Journal of Educational Psychology, Learning and Instruction, Contemporary Educational Psychology, Educational Psychology Review o British Journal of Educational Psychology, con el vocabulario que usan y el sitio del manuscrito donde buscan la respuesta.
Los alumnos de una misma clase se parecen entre sí más de lo que se parecen a los de otra clase. Comparten profesor, horario, dinámica de grupo, barrio y nivel socioeconómico medio del centro. Esa dependencia se cuantifica con el coeficiente de correlación intraclase, y en variables de rendimiento escolar suele situarse entre 0,10 y 0,25 a nivel de aula, con valores mayores todavía a nivel de centro en sistemas educativos segregados.
La consecuencia estadística es contundente: con un ICC de 0,15 y treinta alumnos por aula, el efecto de diseño ronda 5,35, lo que significa que tus 300 alumnos aportan tanta información como unos 56 independientes. Si haces una prueba t con n = 300, tu error estándar es aproximadamente 2,3 veces menor de lo que debería y tu valor p es ficción. Un revisor con formación metodológica hace esa cuenta mentalmente en cuanto lee cuántas aulas participaron.
La solución esperada es un modelo multinivel con el aula (y el centro, si tienes suficientes) como nivel superior, o al menos errores estándar robustos por conglomerado. Y con ello viene la segunda mala noticia: la potencia de un ensayo por conglomerados depende sobre todo del número de aulas, no del número de alumnos. Seis aulas por condición no dan potencia para casi nada, por muchos alumnos que haya dentro. Si tu estudio tiene dos aulas por grupo, no es un ensayo por conglomerados: es un estudio de dos aulas, y así debe presentarse.
Reporta siempre el ICC de tu variable resultado, aunque sea bajo. Es un dato que los revisores buscan explícitamente y que los futuros metaanalistas necesitan para calcular la potencia de sus propios diseños. Omitirlo se lee como que no se calculó.
En educación la aleatorización pura es rara: se trabaja con los grupos que el centro tiene formados. Eso significa que casi siempre hay diferencias en el pretest, y la manera de tratarlas es una de las decisiones que más se discute en revisión. La práctica todavía frecuente de calcular puntuaciones de ganancia (post menos pre) y compararlas entre grupos tiene un problema conocido: las ganancias correlacionan negativamente con la puntuación inicial, así que el grupo que partía más bajo gana más por regresión a la media, independientemente del programa.
La alternativa habitual, ANCOVA con el pretest como covariable, es mejor en un diseño aleatorizado, pero en un cuasi-experimento tiene su propia trampa, la paradoja de Lord: ANCOVA y ganancias pueden dar respuestas opuestas cuando los grupos no eran equivalentes de partida, y ninguna de las dos es automáticamente correcta. Lo que un buen revisor pide no es una técnica concreta, sino que expliques qué supuesto causal estás asumiendo y que muestres el resultado con ambos enfoques como análisis de sensibilidad.
Un detalle técnico que se cuela mucho: en un diseño anidado, el pretest agregado al nivel del aula y el pretest individual son dos covariables distintas y no intercambiables. Centrar el pretest dentro del grupo y añadir la media del grupo como predictor de nivel 2 separa el efecto composicional del individual, y en preguntas sobre clima de aula o efectos del grupo de referencia esa separación es la pregunta de investigación, no un tecnicismo.
Y no uses pruebas de significación para decidir si los grupos eran comparables. Con muestras pequeñas, no encontrar diferencia significativa no significa equivalencia. Reporta la magnitud estandarizada de la diferencia basal y déjala a la vista.
Un programa educativo pasa por las manos de docentes con su propia formación, su carga de trabajo y su opinión sobre la innovación. Sin datos de implementación, un resultado nulo es imposible de interpretar: no sabes si el programa no funciona o si no se aplicó. Un revisor de intervención educativa pregunta por esto casi siempre, y su ausencia es motivo habitual de revisiones mayores.
Lo mínimo que se espera son cuatro dimensiones: adherencia (qué proporción de los componentes se aplicó), dosis (cuántas sesiones recibió cada aula de verdad, no cuántas estaban previstas), calidad de la impartición y participación del alumnado. Se documentan con hojas de registro del docente, observación externa de una submuestra de sesiones con una rúbrica, y algún indicador de uso si el programa es digital, donde los logs de la plataforma dan datos objetivos que conviene explotar.
La formación de los docentes forma parte de la intervención. Si el grupo experimental recibió doce horas de formación y acompañamiento y el control siguió como siempre, parte del efecto es la formación y el acompañamiento. Cuando el objetivo es aislar el método, el comparador tiene que recibir una atención profesional equivalente sobre otro contenido, y si no la recibió, hay que decirlo en la discusión.
La contaminación es la otra cara. Si el grupo experimental y el control están en el mismo centro, los profesores hablan entre ellos y los materiales circulan. El revisor va a preguntar qué hiciste para detectarla. Una pregunta al final del estudio a los docentes del grupo control sobre si conocían o usaron materiales del programa cuesta cinco minutos y salva un párrafo entero de la discusión.
Una prueba diseñada por el mismo equipo que diseñó el programa tiende a medir exactamente lo que el programa enseña. Eso se llama alineamiento de la medida con el tratamiento, y produce efectos considerablemente mayores que las medidas estandarizadas independientes. No es fraude, es un hecho documentado en la literatura de metaanálisis educativo, y por eso los revisores preguntan quién construyó el instrumento y en qué medida su contenido se solapa con los materiales de la intervención.
El manuscrito fuerte incluye al menos dos tipos de medida: una próxima al contenido enseñado y otra de transferencia o estandarizada. Si el efecto aparece en la primera y desaparece en la segunda, ese contraste es un resultado en sí mismo y hay que discutirlo, no esconderlo. Si solo tienes la medida propia, necesitas evidencia de validez de contenido (jueces expertos, tabla de especificaciones) y de fiabilidad en tu propia muestra, no la del manual.
Con medidas de constructos psicológicos (motivación, autoeficacia, engagement, autorregulación) aparece otra objeción muy propia del campo: la invarianza de medida. Si comparas cursos, sexos, países o momentos temporales, estás asumiendo que la escala funciona igual en todos ellos, y esa asunción se puede contrastar. Un análisis factorial confirmatorio multigrupo con invarianza configural, métrica y escalar es lo que un revisor de una revista de primer nivel espera antes de aceptar comparaciones de medias latentes.
Con escalas breves cuidado además con la fiabilidad. Alfa de Cronbach de 0,62 en una subescala de cuatro ítems, usada después como variable en un modelo de mediación, produce estimaciones atenuadas e inestables. Reporta omega además de alfa y considera un modelo con variables latentes si la fiabilidad es modesta.
Aplicar los puntos de corte de Cohen (0,20 pequeño, 0,50 medio, 0,80 grande) a una intervención escolar es un error de calibración que los revisores del campo señalan cada vez más. Esos umbrales vienen de contextos muy distintos. En intervenciones educativas evaluadas con ensayos aleatorizados por conglomerados y medidas estandarizadas, la distribución real de efectos es mucho menor: un efecto de 0,20 en rendimiento medido con prueba externa está entre los grandes del campo, y valores en torno a 0,10 pueden ser relevantes en términos de política educativa si el coste es bajo y la escala es amplia.
La forma de argumentarlo sin caer en la exageración es doble. Primero, comparar tu efecto con benchmarks explícitos: el crecimiento anual esperado en esa materia y ese curso, las brechas entre grupos socioeconómicos, o los efectos de intervenciones comparables en la literatura. Segundo, traducir el efecto a una métrica interpretable: meses de aprendizaje adicionales, porcentaje de alumnos que cruzan un umbral de competencia, o el cambio en el percentil del alumno mediano.
El coste también forma parte de la interpretación en este campo, más que en psicología básica. Un efecto de 0,08 con una intervención que consiste en cambiar el orden de las tareas de deberes es una noticia; el mismo efecto con un programa de tres años y un tutor por cada cinco alumnos no lo es. Cada vez más revistas piden alguna consideración de coste-efectividad en la discusión de intervenciones escalables.
La investigación educativa tiene una fuente de pérdidas que no existe en el laboratorio: los alumnos cambian de centro, repiten, faltan el día de la prueba final y, sobre todo, el curso se acaba. Un revisor mira la atrición total y la diferencial entre condiciones, porque una diferencia de diez puntos porcentuales entre grupos compromete la equivalencia que la aleatorización había conseguido. Los estándares del What Works Clearinghouse definen umbrales concretos de atrición aceptable en función de si el mecanismo de pérdida es optimista o pesimista, y son una referencia útil aunque no publiques en Estados Unidos.
El seguimiento es el otro punto débil típico. Muchos programas muestran efectos justo al terminar la intervención que se han evaporado tres meses después. Un postest administrado la semana siguiente al final del programa mide, en parte, memoria reciente del contenido. Un revisor de una revista de primer nivel pregunta por una medida diferida, y si no la tienes, espera que la ausencia se discuta como limitación real y no como una nota de una línea.
Ligado a esto está el efecto de novedad. Un programa nuevo genera atención, entusiasmo del docente y expectativa en el alumnado, y esos ingredientes producen efectos que se disipan cuando la novedad deja de serlo. Si tu intervención duró cuatro semanas, la objeción llegará seguro. Discutirla por adelantado, con datos de si el efecto crecía o decrecía a lo largo de la implementación, es la mejor respuesta.
Muchos manuscritos de psicología educativa escritos desde España o Latinoamérica se rechazan por encuadre y no por método. La señal es reconocible: la introducción describe el sistema educativo del país, la muestra se presenta como interesante por sí misma y la discusión habla solo de implicaciones para ese contexto. Eso convierte el artículo en material para una revista nacional, aunque el estudio esté impecablemente hecho.
El giro que funciona es enmarcar el estudio en un debate teórico vivo y usar el contexto como una variable, no como una circunstancia. Si tu sistema educativo agrupa por nivel a partir de cierto curso, o si el idioma de instrucción no es la lengua familiar de una parte del alumnado, eso puede ser una condición frontera de la teoría que pones a prueba. Descrito así, la particularidad local pasa de limitación a razón de ser del artículo.
Cuidado también con el vocabulario: los términos del sistema educativo propio no se traducen solos. Escribir sobre "cuarto de la ESO" sin decir que corresponde a alumnado de quince y dieciséis años en el último curso de la educación obligatoria obliga al revisor a buscarlo, y el revisor no siempre busca. Una tabla breve equiparando cursos, edades y niveles de la clasificación internacional CINE resuelve el problema entero.
La orientación práctica más citada pide al menos treinta conglomerados para estimar con estabilidad los efectos aleatorios, y bastantes más si te interesan interacciones entre niveles. Con menos de quince aulas, las estimaciones de la varianza de nivel 2 son muy inestables y conviene una alternativa: efectos fijos por aula, errores estándar robustos por conglomerado o correcciones de grados de libertad tipo Kenward-Roger o Satterthwaite. Lo que no es opción es ignorar el anidamiento porque hay pocos grupos.
Sí, si eres honesto con lo que permite. Un estudio en un centro no puede separar el efecto del programa del efecto del centro, y así hay que decirlo. Gana mucho si añades varias aulas con asignación aleatoria dentro del centro, una línea base múltiple escalonada en el tiempo, o datos cualitativos de implementación que expliquen el cómo. Presentarlo como estudio de implementación en un contexto, en lugar de como prueba de eficacia, es lo que decide entre publicación y rechazo.
Una puntuación total de una escala con varios ítems se trata como continua con normalidad y casi nadie objeta. El problema aparece con ítems individuales de cinco puntos usados como variable dependiente, sobre todo con distribuciones asimétricas o efectos techo, que en variables de motivación escolar son habituales. Ahí un revisor puede pedir un modelo ordinal, y la respuesta más eficiente es mostrar que las conclusiones no cambian entre el modelo lineal y el ordinal.
Explicando la restricción con nombre y apellidos en el método, y compensándola con diseño: emparejamiento previo de aulas por rendimiento y composición, medidas repetidas antes de la intervención para comprobar tendencias paralelas, o un diseño escalonado en el que todos los grupos reciben el programa pero en momentos distintos. Ese último formato suele convencer a los centros y produce un contrafactual mucho más creíble que dos grupos elegidos por conveniencia.
Sí, y con detalle, porque trabajas con menores. El manuscrito debe decir qué comité aprobó el estudio y con qué número de referencia, si el consentimiento fue activo o pasivo, quién lo firmó y si se recogió también el asentimiento del alumnado. Muchas revistas internacionales rechazan sin revisión los manuscritos con menores que no aportan esa información completa, y el consentimiento pasivo tiene que estar justificado por la normativa local.
Con mucha cautela. Las síntesis de efectos medios agregan estudios de calidad muy dispar, con medidas alineadas al tratamiento y con diseños que no controlan el anidamiento, así que su promedio está inflado como referencia. Es más defendible comparar tu efecto con metaanálisis específicos de tu tipo de intervención y de tu tipo de medida, y decir explícitamente qué estudios entran en esa comparación.