Cómo Medir si una Intervención Educativa Funcionó de Verdad

Pruebas un programa nuevo de comprensión lectora en 3.º de primaria. En septiembre, tus alumnos sacan de media un 52 % en la prueba de comprensión; en mayo, un 68 %. Dieciséis puntos de subida, y en el claustro alguien ya está diciendo que el programa «funciona clarísimamente». Pero antes de escribirlo en la memoria de innovación —o en el capítulo de resultados de tu TFM—, vale la pena hacerse una pregunta incómoda: ¿cuánto de esos 16 puntos son el programa, y cuánto es simplemente que han pasado nueve meses de curso?

La ganancia de tu grupo no dice lo que parece decir

Un diseño pretest-postest sin grupo control tiene un problema de raíz: no separa el efecto de tu intervención de todo lo demás que también cambia entre el pre y el post. Tus alumnos maduran, se familiarizan con el formato de la prueba (la segunda vez que alguien hace un test de comprensión lectora le suele ir algo mejor, aunque no haya aprendido nada nuevo sobre comprensión lectora), y sobre todo: han tenido nueve meses de clase normal, con o sin tu programa. Cualquiera de esos tres factores, por sí solo, puede explicar una parte nada desdeñable de una subida de 16 puntos.

La forma de aislar el efecto de tu programa es tener un grupo que se parezca al tuyo en todo —mismo curso, mismo centro si es posible, misma prueba, mismas fechas— salvo en que no recibe la intervención. Si ese grupo control también sube, digamos, 6 puntos solo por el paso del curso, el efecto atribuible a tu programa no son los 16 puntos brutos: es la diferencia entre las dos ganancias, unos 10 puntos. Ese es el número que de verdad describe lo que hizo tu programa, y es sistemáticamente más pequeño que la ganancia bruta del grupo de intervención —a veces mucho más pequeño—.

Por qué la d de Cohen estándar no está pensada para esto

Una vez tienes tus dos grupos y sus dos momentos, la tentación es calcular una d de Cohen y seguir adelante. El problema es que la d de Cohen clásica se diseñó para comparar dos grupos independientes en un momento único, o dos medidas repetidas dentro de un solo grupo. Tu diseño tiene cuatro medias (pre y post, intervención y control) y, si tienes las puntuaciones de los mismos alumnos en los dos momentos, una correlación entre el pre y el post que la fórmula estándar no sabe dónde meter. Aplicar la d de un solo grupo, o dividir la ganancia neta por una desviación típica elegida sin criterio, da un número cuya varianza de muestreo no es la que la fórmula asume, y un intervalo de confianza que no significa lo que dice significar.

Hay tres formas habituales de estropearlo. La primera es comparar las ganancias en bruto sin estandarizar nada: «mi grupo subió 10 puntos más que el control» no dice si eso es mucho o poco sin conocer la escala de la prueba. La segunda es calcular la d solo con el postest, ignorando el pretest: si tu grupo de intervención ya partía algo mejor —por azar, por cómo se formaron los grupos, por lo que sea—, esa diferencia de partida se la queda tu programa sin haberla generado. La tercera, más sutil, es coger la fórmula de la d de dos grupos independientes y aplicarla directamente a las puntuaciones de cambio: parece razonable, pero ignora que la varianza de una diferencia depende de la correlación entre las dos medidas repetidas, y esa correlación no aparece por ningún lado en la fórmula clásica.

Por eso existe una familia de índices pensada específicamente para diseños pretest-postest con grupo control. El que usa esta web —y el que verás si le pides a alguien de metodología educativa un tamaño del efecto «bien calculado» para este diseño— es la d_ppc2 de Morris (2008): estandariza la ganancia neta (la ganancia de tu grupo menos la del control) con la desviación típica combinada del PRETEST, que es la única de las cuatro que tu intervención todavía no ha tenido ocasión de alterar, y aplica la corrección de sesgo para muestras pequeñas de Hedges (1981). Morris construyó este estimador dentro de un trabajo más amplio sobre cómo combinar tamaños del efecto de diseños de medidas repetidas y de grupos independientes dentro de un mismo metaanálisis (Morris y DeShon, 2002): el objetivo era que una d de un ensayo pre-post-control se pudiera comparar, sin trampa, con la d de un ensayo solo-postest.

d_ppc2 = c_P × [(ganancia del grupo intervención) − (ganancia del grupo control)] / DT combinada del pretest

Un ejemplo real de cómo cambia el panorama: dos aulas de 5.º de primaria (30 alumnos cada una) prueban un programa de fracciones con material manipulativo. El aula que recibe el programa pasa de una media de 50 a 58 en ocho semanas; la que sigue con el libro de texto, de 50 a 52. La ganancia neta atribuible al programa son 6 puntos, no 8. Con una desviación típica del pretest de 10 en ambas aulas, la d_ppc2 sale 0.59, con un intervalo de confianza del 95 % de [0.07, 1.11]: el intervalo no incluye el cero, así que hay indicios de que el programa funciona, pero con solo 30 alumnos por aula la estimación es imprecisa —el efecto real podría ir de muy pequeño a muy grande—. Si quieres estos números, con su intervalo de confianza, calculados con tus propios datos y sin montar la fórmula a mano, la calculadora del tamaño del efecto pre-post con grupo control hace exactamente este cálculo y te devuelve, además, el párrafo de resultados ya redactado en APA 7.

Ya tienes tu d. ¿Y ahora cómo se lo explicas a un claustro?

Aquí llega el segundo problema, y es casi tan importante como el primero: una vez tienes tu d_ppc2 = 0.59, o el valor que sea, ¿qué haces con él? A un comité de tesis puede que le sirva el número desnudo. A un claustro, a un equipo directivo o a una familia que pregunta si el programa merece la pena, «d = 0.35» no les dice nada, y explicarles la fórmula tampoco ayuda.

El primer matiz importante es que los umbrales clásicos de Cohen (0.2 pequeño, 0.5 mediano, 0.8 grande) no se sostienen bien en educación. Kraft (2020) revisó cientos de ensayos educativos rigurosos y encontró que los efectos reales son mucho más modestos de lo que esos umbrales sugieren: en ensayos aleatorizados bien hechos, la mitad de los efectos no llega a d = 0.10. Por eso propone una vara de medir propia del campo —por debajo de 0.05, pequeño; entre 0.05 y 0.20, mediano; por encima de 0.20, grande—, teniendo en cuenta además el coste y la escalabilidad de la intervención. Con la vara de Cohen, tu programa de fracciones (d = 0.59) ya sería «grande»; con la de Kraft lo es todavía más claramente, y ese matiz importa cuando comparas tu resultado con lo que se ha publicado en el campo.

El segundo matiz es que, aunque tengas la vara correcta, un número en desviaciones típicas sigue sin significar nada para quien no hace estadística todos los días. Aquí es donde entra la traducción del tamaño del efecto a unidades interpretables. Hay varias, y cada una responde a una pregunta distinta:

• Meses de progreso: una tabla de equivalencias publicada por la Education Endowment Foundation (2018) del Reino Unido, que asigna a cada tramo de d un número de meses de progreso dentro de un curso escolar. Es la que mejor entiende un equipo directivo, porque habla su idioma —«meses» en vez de «desviaciones típicas»—.
• U3 de Cohen (Cohen, 1988): la proporción del grupo control que queda por debajo del alumno medio del grupo de intervención. Responde a «¿a cuántos de mis alumnos del grupo control superaría el alumno medio de la intervención?».
• Probabilidad de superioridad o CLES (McGraw y Wong, 1992): la probabilidad de que, si eliges un alumno al azar de cada grupo, el de la intervención saque mejor nota. Responde a una pregunta más conservadora que la U3, porque compara a dos alumnos cualesquiera, no al alumno medio contra toda la distribución.

Con un ejemplo real de un programa de tutoría lectora en 3.º de primaria, evaluado frente a grupo control, que obtuvo d = 0.35 en comprensión lectora: la U3 es .637, así que el alumno medio del grupo tutorizado superaría a 64 de cada 100 alumnos del grupo control —frente a 50 de partida, sin ningún efecto—. La probabilidad de superioridad es .598: elegidos dos alumnos al azar, uno de cada grupo, el tutorizado gana algo menos del 60 % de las veces. Y, según la tabla de la EEF (2018), ese mismo d = 0.35 equivale a unos 4 meses de progreso adicional en el curso.

Ojo con un matiz honesto: los meses de progreso son una convención de comunicación, no una medida física del aprendizaje. La equivalencia no es lineal —lo que avanza un niño de infantil en un curso no es lo que avanza uno de secundaria— y está discutida en la literatura. Úsala para el claustro o la memoria de innovación, siempre junto a la d y su intervalo de confianza; no la sustituyas por ella en un artículo o una tesis. Con tu propio dato, o con el ejemplo de arriba, la calculadora de meses de aprendizaje hace las tres conversiones a la vez —meses, U3 y probabilidad de superioridad, además de los percentiles— y te dibuja las dos distribuciones para que se vea de un vistazo cuánto se solapan.

Antes de llegar aquí: ¿tenías potencia para detectarlo?

Todo lo anterior asume que tu estudio tenía capacidad de detectar el efecto si existía. Si tu intervención se asignó por aulas enteras —lo habitual en educación, porque no puedes poner a la mitad de una clase en un grupo y a la otra mitad en otro sin contaminación—, el cálculo del tamaño muestral no es tan simple como contar alumnos: los que comparten aula no son observaciones independientes entre sí, y eso cambia cuántas aulas hacen falta de verdad. Si todavía estás en fase de diseño, conviene resolver esa pregunta antes de recoger un solo dato.

Preguntas frecuentes

¿Por qué no basta con comparar la nota media de mis alumnos antes y después?

Porque esa diferencia mezcla el efecto de tu programa con todo lo demás que pasa entre el pre y el post: la maduración normal de los alumnos, la práctica de repetir un formato de prueba parecido, y el simple hecho de haber tenido meses de clase. Sin un grupo control que pase por lo mismo salvo la intervención, no hay forma de separar cuánto de la subida es tuya.

¿Puedo usar la d de Cohen normal si tengo grupo control y dos medidas?

No la fórmula estándar de dos grupos independientes ni la de un solo grupo pre-post: ninguna de las dos está pensada para las cuatro medias de este diseño, y aplicarlas da un intervalo de confianza mal calculado. Usa un índice construido para diseños pretest-postest-control, como la d_ppc2 de Morris (2008).

¿Qué significa que mi intervención tenga un tamaño del efecto de d = 0.35?

En sí mismo, poco: es una diferencia estandarizada, expresada en desviaciones típicas, que necesita traducción. Convertido a algo interpretable, un d = 0.35 equivale aproximadamente a que el alumno medio de tu grupo de intervención supere al 64 % del grupo control, y a unos 4 meses de progreso adicional según el criterio de la Education Endowment Foundation (2018).

¿Valen los umbrales de Cohen —pequeño, mediano, grande— en educación?

Mal. Kraft (2020) muestra que, en ensayos educativos rigurosos, la mitad de los efectos reales no llega a d = 0.10, muy por debajo de lo que Cohen llamaría «pequeño». Con esa vara, casi ninguna intervención educativa real «funcionaría»; con los umbrales que propone Kraft para el campo, un efecto de 0.20 ya es grande.

¿Necesito saber programar para calcular todo esto?

No. La d_ppc2 con su intervalo de confianza, y la traducción a meses de progreso, percentiles y probabilidad de superioridad, están disponibles como calculadoras gratuitas en esta web: solo necesitas las medias, desviaciones típicas y tamaños de cada grupo.

Con esto tienes las dos piezas que hacían falta: el tamaño del efecto correcto para un diseño pretest-postest con grupo control, y la forma de contarlo sin que suene a jerga. Si tu programa se evalúa aula por aula, antes de recoger un solo dato merece la pena asegurarte de que tienes potencia suficiente para detectar el efecto que esperas.