Cuántas Aulas Necesitas para que tu Estudio Tenga Potencia Real

Una doctoranda en Educación diseña un estudio para evaluar un programa de comprensión lectora: 4 aulas recibirán el programa, 4 seguirán con la metodología habitual. Con unos 22 alumnos por aula, son unos 176 alumnos en total —una muestra que, calculada como si cada alumno fuera independiente, sobra para detectar casi cualquier efecto razonable—. El problema es que esa cuenta está mal desde el principio, y no por poco: trata 176 observaciones dependientes como si fueran 176 independientes, y la diferencia entre esas dos cosas es, muchas veces, la diferencia entre un estudio con potencia real y uno condenado a no encontrar nada aunque el programa funcione.

Por qué un aula no son 22 alumnos independientes

Dos alumnos de la misma aula comparten profesor, ritmo de enseñanza, ambiente de clase, compañeros y hasta la hora del día en que reciben la asignatura. Todo eso hace que sus resultados se parezcan entre sí más de lo que se parecerían si estuvieran repartidos al azar entre todas las aulas del centro. En términos estadísticos, no son observaciones independientes: cada alumno adicional dentro de una misma aula aporta menos información nueva que un alumno de una aula distinta, porque una parte de lo que ese alumno mide ya la habían aportado sus compañeros de clase.

Un cálculo de tamaño muestral que ignore esto —el que sale de multiplicar «aulas por alumnos» y tratar el resultado como si fueran alumnos sueltos reclutados uno a uno— subestima drásticamente cuántas aulas hacen falta. No es un matiz menor: es la diferencia entre un estudio que puede detectar el efecto que busca y uno que, aunque el programa funcione de verdad, no tiene ninguna posibilidad real de demostrarlo.

El coeficiente de correlación intraclase: cuánto se parecen los compañeros de aula

El coeficiente de correlación intraclase (CCI) es la proporción de la varianza total del resultado que se explica por pertenecer a un aula u otra, en vez de por diferencias entre alumnos dentro de la misma aula. Un CCI de 0 significaría que un aula no aporta ningún parecido —los alumnos de la misma clase no se parecen entre sí más que dos alumnos cualesquiera del centro— y el cálculo ingenuo por alumno sería correcto. Un CCI más alto significa que el aula «pesa» más en el resultado, y cuanto más pesa, menos información nueva trae cada alumno adicional de esa misma aula.

En la práctica, el CCI casi nunca se conoce con precisión para tu contexto concreto antes de empezar, así que se recurre a valores de referencia publicados. Para variables de rendimiento académico, Hedges y Hedberg (2007) documentan, a partir de datos de Estados Unidos, valores típicamente entre 0.10 y 0.25. Para variables actitudinales —motivación, clima de aula, bienestar—, el CCI suele ser menor, entre 0.05 y 0.10. Son valores de planificación, no una ley universal: lo prudente es declarar la fuente del valor que uses y, si es posible, comprobar cómo cambia tu cálculo con valores algo más altos o más bajos.

El efecto de diseño: cómo el CCI convierte alumnos en aulas

El efecto de diseño (design effect) es el factor por el que se multiplica el tamaño muestral «ingenuo» —el que asumiría independencia total— para tener en cuenta el CCI y el tamaño típico de una clase. Donner y Klar (2000), en su referencia sobre ensayos aleatorizados por conglomerados, lo formulan así:

DE = 1 + (m − 1) × CCI

donde m son los alumnos por aula que aportan datos. Con CCI = 0, DE = 1: no hay penalización, como si los alumnos fueran independientes. A medida que el CCI o el tamaño de la clase crecen, el DE crece con ellos, y ese factor multiplica directamente cuántos alumnos hacen falta.

Un ejemplo real deja ver la magnitud del problema. Quieres evaluar un programa de comprensión lectora en 5.º de primaria frente a la enseñanza habitual. Esperas una d de 0.35 —ya un efecto grande para educación, según los umbrales de Kraft (2020) que vimos al hablar de cómo medir si una intervención educativa funcionó de verdad—, cada aula aporta unos 22 alumnos con consentimiento y pruebas completas, y tomas el CCI medio de rendimiento académico, 0.15 (Hedges y Hedberg, 2007). Con un contraste bilateral, α = .05 y una potencia del 80 %:

• Si trataras a los alumnos como independientes, necesitarías 129 alumnos por condición.
• El efecto de diseño con m = 22 y CCI = 0.15 es DE = 1 + (22 − 1) × 0.15 = 4.15.
• El tamaño muestral corregido es 129 × 4.15 ≈ 536 alumnos por condición.
• Dividido entre los 22 alumnos por aula, son unas 25 aulas por condición —50 en total, unos 1.100 alumnos—.

El contraste que lo explica todo: si el CCI fuera 0 —los alumnos no se parecieran nada entre compañeros—, el efecto de diseño sería 1 y bastarían 129 / 22 ≈ 6 aulas por condición. De 6 a 25 aulas no ha cambiado ni la d esperada, ni la potencia, ni los alumnos por aula: solo el hecho de que los alumnos vienen en grupos que se parecen por dentro. Ignorar el CCI no abarata el estudio; hace que un estudio infrapotenciado parezca suficiente sobre el papel.

Y hay un techo que conviene conocer: por muchos alumnos que tenga, un aula nunca aporta más información que, aproximadamente, 1/CCI alumnos independientes. Con un CCI de 0.15, ese techo son unos 7 alumnos «efectivos» por aula —un aula de 22 ya aporta cerca de 5, y doblarla a 44 apenas lo sube a 6—. Pasar de 22 a 30 alumnos por aula cambia el resultado en una aula o dos; pasar de 20 a 30 aulas cambia el estudio entero. Por eso, cuando la potencia falla, la palanca casi nunca es matricular a más alumnos en las mismas aulas: es reclutar más aulas.

Para hacer este cálculo con tu propia d esperada, tu tamaño de aula y el CCI que corresponda a tu variable —con una tabla de sensibilidad que muestra qué pasaría con un CCI algo distinto, lista para pegar en el apartado de Método—, la calculadora de aulas necesarias hace el cálculo eslabón a eslabón y te deja el párrafo redactado.

Por qué tu estudio con 3 o 4 aulas por condición corre peligro

El caso límite es el más importante de entender. Con 1 o 2 aulas por condición, ningún análisis posterior puede separar el efecto de la intervención del efecto propio de esa aula: si el aula A mejora más que la B, nunca sabrás si fue el programa o esa profesora en concreto, ese grupo de alumnos, esa hora de clase. La intervención y el aula están confundidas por diseño, y ningún modelo estadístico, por sofisticado que sea, arregla después algo que el diseño dejó sin resolver.

Con 3 o 4 aulas por condición —un número que en muchos TFM y proyectos de centro suena «razonable» porque implica ya varios cientos de alumnos— el problema no desaparece, solo se atenúa: como muestra el ejemplo de arriba, para un efecto grande en educación (d = 0.35) y un CCI típico, hacían falta unas 25 aulas por condición, no 3 o 4. Un estudio con 4 aulas por condición y 800 alumnos sigue siendo, a efectos de potencia, un estudio pequeño con muchas medidas repetidas del mismo puñado de grupos. Si vas a analizar con un modelo multinivel —la forma correcta de analizar datos anidados—, ese modelo trabajará con la información que el diseño recogió, no con la que le hubiera gustado tener: la potencia real la fija el número de aulas, no el de alumnos.

Ya tienes tus aulas: ¿qué calculas cuando lleguen los datos?

Una vez reclutadas las aulas suficientes y recogidos los datos de pre y post, la pregunta cambia de diseño a análisis, y la respuesta depende de si tienes grupo control. Si lo tienes —el caso que hemos visto aquí—, el tamaño del efecto correcto es el que compara la ganancia neta entre condiciones, tal y como se explica en cómo medir si una intervención educativa funcionó de verdad. Si lo que quieres es describir, aula por aula, cuánto aprendió cada grupo de lo que le quedaba por aprender —con o sin grupo control, como complemento descriptivo—, la ganancia normalizada de Hake hace justamente eso, con las bandas de Hake (1998) como referencia para saber si esa ganancia es baja, media o alta.

Preguntas frecuentes

¿Por qué no puedo calcular el tamaño muestral tratando a cada alumno como independiente?

Porque los alumnos de una misma aula comparten profesor, ritmo y ambiente, y eso hace que sus resultados se parezcan entre sí. Cada alumno adicional de un aula ya reclutada aporta menos información nueva que uno de un aula distinta. Un cálculo que ignore esto trata observaciones dependientes como si fueran independientes y subestima drásticamente cuántas aulas hacen falta.

¿De dónde saco el coeficiente de correlación intraclase de mi estudio?

De un valor publicado y declarado, salvo que tengas datos propios previos de tus centros. Para rendimiento académico, Hedges y Hedberg (2007) documentan valores típicos entre 0.10 y 0.25; para variables actitudinales suele bastar con 0.05-0.10. Como nunca lo sabrás con precisión, conviene comprobar cómo cambia el resultado con valores algo distintos antes de fijar el número de aulas.

¿Qué es el efecto de diseño y por qué multiplica tanto la muestra?

Es el factor DE = 1 + (m − 1) × CCI (Donner y Klar, 2000), con m los alumnos por aula. Convierte el tamaño muestral que valdría si los alumnos fueran independientes en el que hace falta de verdad dado que vienen agrupados en aulas. Con un CCI de 0.15 y aulas de 22 alumnos, por ejemplo, multiplica por más de 4.

Con pocas aulas por condición, ¿no basta con analizar los datos con un modelo multinivel?

No. El modelo multinivel es la forma correcta de analizar datos anidados, pero analiza la información que el diseño recogió, no la que le hubiera gustado tener: la potencia la fija el número de aulas, no el de alumnos. Un estudio con 4 aulas por condición sigue siendo un estudio pequeño aunque tenga 800 alumnos.

¿Compensa añadir más alumnos por aula en vez de más aulas?

Muy poco, a partir de cierto punto. Una aula nunca aporta más información que, aproximadamente, 1/CCI alumnos independientes: con un CCI de 0.15, ese techo son unos 7 alumnos efectivos, así que doblar el tamaño de la clase apenas mueve la aguja. La palanca que de verdad compra potencia es reclutar más aulas, no matricular a más alumnos en las que ya tienes.

Un estudio educativo bien pensado empieza por reconocer que los alumnos vienen agrupados en aulas, no por contarlos como si fueran independientes. Resuélvelo antes de recoger datos, y el análisis que venga después —con el tamaño del efecto o la ganancia que corresponda a tu diseño— tendrá con qué trabajar.