Potencia para modelos mixtos y GLM: dónde se acaba G*Power

El comité te pide que justifiques la muestra y tú tienes un ensayo aleatorizado por conglomerados en catorce unidades, medidas a los cero, tres y seis meses, un desenlace binario y cuatro covariables. Abres G*Power y buscas la entrada del menú que diga «modelo mixto con pendiente aleatoria y desenlace binario». No está. Lo que hay es una prueba t, así que metes un d = 0.50, sale 128 y ese número entra en el protocolo. El problema no es que sea optimista: es que contesta a un diseño que no es el tuyo, y la diferencia entre los dos números se cuenta en cientos de participantes.

Dónde se acaba G*Power (y por qué no es culpa suya)

G*Power no está roto ni desactualizado. Su menú de familias —pruebas exactas, F, t, chi-cuadrado y z— describe contrastes en los que cada observación aporta la misma cantidad de información, esa información es independiente de la de al lado y toda la incertidumbre vive en un único término de error. Con esos supuestos la potencia tiene solución cerrada: se calcula con la distribución no central que toca y sale un número exacto en un segundo. Buena parte de la psicología experimental cabe ahí, y para eso sigue siendo la mejor herramienta disponible. Ese territorio está cubierto en la guía de cómo calcular el tamaño muestral con G*Power.

Los dos módulos que parecen salvarte están dentro de «z tests»: regresión logística y regresión de Poisson. Existen y funcionan, pero piden condiciones estrechas: un solo predictor, la distribución marginal de ese predictor declarada a mano (normal, binomial, uniforme, exponencial...), el resto de covariables resumidas en un único «R² other X» y una aproximación de Wald. No admiten interacciones, ni un desfase de exposición, ni sobredispersión, ni —sobre todo— que tus observaciones estén agrupadas. Sirven para el caso de libro; el tuyo casi nunca lo es.

El patrón es el mismo que ya viste en el tamaño muestral de una mediación: la pregunta que haces no corresponde a ninguna distribución que el programa tenga tabulada. Allí el culpable era el producto ab; aquí son los efectos aleatorios y el vínculo entre media y varianza de los modelos generalizados. La salida también es la misma y es más antigua que G*Power: simular.

El problema no es el efecto, es cuánta información aporta cada persona

Cuando los participantes están anidados en unidades, dos personas del mismo centro se parecen más entre sí que dos de centros distintos, y esa semejanza está medida: es el coeficiente de correlación intraclase (ICC). El efecto de diseño la convierte en pérdida de muestra con una fórmula de una línea, EfDis = 1 + (m − 1) × ICC, donde m es el tamaño del grupo. Una intervención sobre agotamiento profesional con veinte profesionales por unidad y un ICC de .05 tiene un efecto de diseño de 1.95: tus 400 profesionales cargan la información de 205 independientes. G*Power cuenta 400. La distancia entre esas dos cifras es tu estudio.

De ahí sale la consecuencia que más cambia un protocolo: meter más gente en cada unidad tiene techo. El número efectivo de participantes que aporta un grupo es m / (1 + (m − 1) × ICC), así que con un ICC de .05 un grupo de veinte rinde 10.3, uno de cincuenta rinde 14.5 y uno infinitamente grande rinde 20, que es 1 / ICC. Con ese ICC nunca vas a sacar más de veinte participantes efectivos de una sola unidad, por muchos que reclutes dentro. Lo que compra potencia es el número de unidades, y eso suele ser lo caro. Antes de calcular nada conviene tener claro cómo se construye el modelo: está en la guía de modelos multinivel.

Traducido a números: si la prueba t pedía 128 participantes (64 por grupo, d = 0.50, α = .05 bilateral, potencia .80), con ese efecto de diseño necesitas 250, que en unidades enteras y brazos equilibrados son catorce de veinte (280), siete por brazo. Y siete por brazo abre el segundo problema, que ya no es de tamaño sino de grados de libertad: con pocos clústeres, la prueba de Wald ingenua rechaza más de lo que anuncia su α, y hay que usar los grados de libertad de Kenward-Roger o de Satterthwaite, que tienen menos potencia que la versión ingenua. McNeish y Stapleton (2016) revisaron dónde empieza a doler: por debajo de unos treinta o cuarenta grupos, la corrección deja de ser opcional.

Nada de esto es un detalle de implementación que se pueda dejar para el análisis. La simulación tiene que aplicar la misma prueba con la misma corrección que vas a usar en el artículo, porque la potencia de la versión corregida y la de la ingenua no coinciden. Y si el tratamiento se asigna a la unidad, la muestra que importa se cuenta en unidades: Maas y Hox (2005) mostraron que por debajo de unos cincuenta grupos los errores estándar de los componentes de varianza salen sesgados a la baja.

En medidas repetidas, la pendiente aleatoria se come la potencia

El módulo de ANOVA de medidas repetidas de G*Power te pide una sola correlación entre las medidas y un épsilon de corrección. Ese modelo de fondo es la simetría compuesta: la misma correlación entre cualquier par de momentos y la misma varianza en todos. El épsilon no cambia el modelo, solo corrige los grados de libertad de la F cuando ese supuesto no se cumple; lo que sigue en pie es que los datos tienen que estar completos y balanceados, y cualquiera que falte a una sesión desaparece entero del análisis. Es exactamente el conjunto de supuestos que te llevó a elegir un modelo mixto, y que compara el artículo de modelos mixtos frente a ANOVA de medidas repetidas. Calcular la potencia con ellos y analizar sin ellos es planificar un estudio y hacer otro.

El coste grande está en las pendientes aleatorias. Si las personas difieren en cuánto cambian con el tiempo o en cuánto responden a la manipulación, el efecto intrasujeto se contrasta contra esa variabilidad entre personas y no solo contra el ruido residual. La potencia baja, y baja de una manera que no se arregla midiendo más veces a las mismas personas: pasado un punto, cada medida adicional afina la pendiente de ese individuo y no añade casi nada sobre la media de las pendientes. Planificar con intercepto aleatorio y ajustar después con pendiente aleatoria, que es lo que pide la estructura máxima de Barr et al. (2013), es la vía rápida a un estudio sin potencia que sobre el papel parecía sobrado. Matuschek et al. (2017) discutieron el equilibrio entre esa estructura máxima y la potencia; lo que ninguno de los dos permite es decidirlo después de ver los datos.

Con efectos aleatorios cruzados el asunto se dobla. En un estudio con sujetos e ítems, los ítems son una segunda muestra y también tienen tamaño: treinta participantes con ocho estímulos no es lo mismo que treinta con cuarenta, aunque el número de personas sea idéntico. Brysbaert y Stevens (2018) recorrieron ese cálculo en detalle y, para los diseños que examinan, acaban recomendando del orden de 1.600 observaciones por condición. Kumle, Võ y Draschkow (2021) publicaron el tutorial equivalente con código en R y el paquete mixedpower.

Las pérdidas entran por otra puerta. Un modelo mixto usa toda la información disponible bajo el supuesto de datos faltantes al azar, así que quien abandona en el mes tres sigue aportando sus dos primeras medidas en vez de desaparecer entero como en el ANOVA. El castigo existe, pero es menor, y depende de cuándo se produce el abandono y no solo de cuánto abandono hay. Eso no se estima de cabeza: se simula, poniendo el porcentaje de pérdidas y su calendario dentro del generador.

En un GLM, el tamaño del efecto no viaja solo

En una regresión lineal la varianza del error es un parámetro libre: puedes hablar de un d = 0.50 sin decir cuál es la media del grupo control. En un modelo lineal generalizado, no. La varianza es una función de la media —p(1 − p) en un desenlace binario, igual a la media en un Poisson—, así que el mismo coeficiente tiene potencias distintas según dónde esté la tasa base.

El número lo deja claro. Para detectar una OR de 1.5 con α = .05 bilateral y potencia .80: si la tasa base del grupo control es del 50 %, el otro grupo está en el 60 % y hacen falta unos 385 por grupo. Si la tasa base es del 5 %, el otro grupo está en el 7.3 % y hacen falta unos 1.685, cuatro veces y pico más gente para el mismo efecto. Cualquier justificación que anuncie una OR sin decir la tasa base está incompleta, y en investigación clínica la tasa base suele ser baja: recaídas, reingresos, tentativas, abandonos de tratamiento.

Lo mismo pasa con los recuentos. Si planificas suponiendo un Poisson y luego analizas con binomial negativa porque tus episodios están sobredispersos —y los recuentos de autolesiones, consumo o crisis casi siempre lo están—, los errores estándar reales son mayores que los simulados y la potencia prometida no aparece. El parámetro de dispersión es un dato más que hay que declarar, igual que el exceso de ceros o el desfase de exposición si las personas están observadas durante periodos distintos.

Hay un efecto secundario bueno en todo esto. Como no existe un d limpio para el coeficiente de un modelo mixto generalizado, el dato de entrada tiene que ir en la escala del modelo: puntos del cuestionario, una OR, una razón de tasas. Eso te obliga a decir en voz alta qué cambio consideras relevante antes de recoger nada, que es la conversación que casi nunca se tiene y la que un revisor agradece encontrar ya escrita.

La simulación, paso a paso

El procedimiento tiene seis pasos y ninguno es difícil por separado. Uno. Escribe el modelo generador de datos con la misma forma que el modelo de análisis: mismos efectos fijos, misma estructura aleatoria, misma familia. Dos. Fija todos los parámetros: el efecto que quieres detectar, las desviaciones típicas de los efectos aleatorios, su correlación, la residual y la tasa base si el desenlace es binario o de recuento. Tres. Genera unos miles de conjuntos de datos con el diseño que vas a tener, pérdidas incluidas. Cuatro. Ajusta en cada uno el modelo real y aplica el contraste real, con la misma corrección de grados de libertad o la misma prueba de razón de verosimilitudes que vayas a reportar. Cinco. Cuenta la proporción de réplicas que rechaza: esa proporción es la potencia. Seis. Repite sobre una rejilla de tamaños y dibuja la curva, porque un punto suelto no te dice si estás en una zona plana o en una pendiente.

Dos cifras de control. La potencia estimada por simulación tiene su propio error: con 1.000 réplicas y una potencia verdadera de .80, el margen del 95 % es de aproximadamente ±.025; con 5.000 baja a ±.011. Mil réplicas para explorar, cinco mil para el número que va al protocolo, y siempre la semilla escrita. La segunda cifra es la de convergencia: los ajustes singulares y los avisos no son gratis. Decide antes qué haces con ellos y publica el porcentaje. Contarlos como no significativos es conservador y honesto; descartarlos y calcular la potencia solo entre los que convergieron es condicionar el resultado a que el modelo se porte bien, y eso infla el número.

Herramientas que ya existen y te evitan escribirlo desde cero: simr (Green y MacLeod, 2016) trabaja directamente sobre un modelo de lme4 y trae powerSim, powerCurve y extend para ampliar el diseño; mixedpower hace lo mismo desde el tutorial de Kumle et al.; la orden MONTECARLO de Mplus cubre multinivel y ecuaciones estructurales; PowerUpR y Optimal Design dan solución cerrada para los diseños aleatorizados por conglomerados que encajan en sus plantillas; WebPower funciona en el navegador. Cualquiera es preferible a un número inventado, y todas piden exactamente los mismos ingredientes.

La pregunta incómoda es de dónde salen esos ingredientes cuando no hay un estudio previo. La respuesta no es inventar un valor y presentarlo como conocido: es hacer una rejilla. Simula sobre el rango plausible —ICC entre .02 y .08, diferencia entre 2 y 4 puntos— y reporta la región donde el diseño aguanta. «Con un ICC de hasta .08 y una diferencia de 3 puntos, catorce unidades mantienen la potencia por encima de .80» es una frase defendible. Un número único que finge una certeza que no tienes se cae en la primera pregunta.

Cómo se escribe en el Método

Lo que separa una justificación que pasa de una que devuelven no es el número, es si otra persona puede reproducirlo. Con una prueba t bastaban seis datos, que son los que recoge el artículo de cómo reportar un análisis de potencia en APA 7. Con un modelo mixto o un GLM hacen falta nueve.

Modelo. La ecuación con su estructura aleatoria explícita: qué es aleatorio y dentro de qué. Hipótesis. Qué parámetro concreto se contrasta y con qué prueba. Efecto. El tamaño mínimo relevante en la escala del modelo, con su procedencia. Varianzas. Las desviaciones típicas de los efectos aleatorios y la residual, o el ICC equivalente, con su origen. Diseño. Número de clústeres, tamaño de cada uno, momentos de medida y proporción de asignación. Pérdidas. Porcentaje esperado, calendario y supuesto sobre el mecanismo. Criterio. α, sus colas y la potencia objetivo. Simulación. Número de réplicas, semilla y qué se hizo con las no convergentes. Programa. Nombre, versión y paquetes con versión.

Puesto en prosa queda así: «La potencia se estimó por simulación de Monte Carlo con 5.000 réplicas (semilla 20260904) en R 4.4.1 con lme4 1.1-35.5 y simr 1.0.7. El modelo generador reprodujo el de análisis: agotamiento con efectos fijos de grupo, tiempo y su interacción, intercepto aleatorio de unidad, e intercepto y pendiente aleatorios de participante. Los componentes se fijaron a partir del estudio piloto: DT del intercepto de unidad = 1.8, DT del intercepto de participante = 5.4, DT de la pendiente = 1.2, correlación intercepto-pendiente = −.20 y DT residual = 6.1, equivalentes a un ICC de unidad de .05. Se contrastó la interacción grupo × tiempo, con una diferencia esperada de 3.0 puntos a los seis meses, mediante prueba de razón de verosimilitudes de 1 grado de libertad frente al modelo sin la interacción, con α = .05 (contraste no direccional). Se asumió un 15 % de pérdidas a los seis meses, completamente al azar. Con catorce unidades y veinte profesionales por unidad (N = 280) la potencia estimada fue .84, IC 95 % [.83, .85]; con diez unidades bajaba a .71. El 0.7 % de las réplicas dio avisos de convergencia y se contó como no significativo. El código está en el repositorio del proyecto».

Un revisor con oficio lee ese párrafo buscando tres cosas: si el modelo simulado es el mismo que el modelo analizado (la trampa más común es simular con intercepto aleatorio y analizar con pendiente), si los componentes de varianza tienen procedencia o son un deseo, y si el número de clústeres aguanta la corrección de grados de libertad que hará falta. Cuando las tres están escritas, la discusión pasa a ser sobre tu diseño y no sobre tu aritmética.

Preguntas frecuentes

¿Puedo usar G*Power para un modelo multinivel o un modelo mixto?

No para el contraste que te interesa. Sus familias de pruebas asumen observaciones independientes y un único término de error, y no hay ninguna entrada de menú para efectos aleatorios. Lo que sí puedes hacer es usarlo como punto de partida: calculas la N que pediría el mismo contraste sin anidamiento y la multiplicas por el efecto de diseño, 1 + (m − 1) × ICC. Es una aproximación razonable para el efecto principal de grupo y se rompe en cuanto hay pendientes aleatorias, interacciones entre niveles o un desenlace que no es normal.

¿Es mejor más grupos con poca gente o pocos grupos con mucha gente?

Más grupos, casi siempre. Un grupo aporta como máximo 1 / ICC participantes efectivos por muy grande que sea: con un ICC de .05, veinte personas en una unidad rinden 10.3, cincuenta rinden 14.5 y el techo está en 20. Pasar de veinte a cincuenta por unidad te compra 4.2 participantes efectivos; abrir una unidad nueva de veinte te compra 10.3. Cuando el tratamiento se asigna a la unidad, el número de unidades manda también sobre los grados de libertad del contraste.

¿Cuántas réplicas necesita la simulación?

Mil para explorar y cinco mil para el número definitivo. La potencia estimada es una proporción y tiene error de muestreo: con 1.000 réplicas y una potencia verdadera de .80, el margen del 95 % es de aproximadamente ±.025; con 5.000 baja a ±.011. Reporta siempre el número de réplicas y la semilla, porque sin ellas nadie puede reproducir tu justificación, y publica también el porcentaje de réplicas que no convergieron.

No tengo un estudio previo del que sacar el ICC, ¿qué pongo?

Un rango, no un valor. Hay recopilaciones publicadas por ámbito: en atención primaria y servicios de salud los ICC suelen quedar por debajo de .05 (Adams et al., 2004), mientras que en aulas y rendimiento académico se mueven más bien entre .10 y .20 (Hedges y Hedberg, 2007). Simula sobre ese rango y reporta la región donde el diseño aguanta la potencia objetivo. Es más defendible que un valor único, y además te dice de antemano cuánto margen tienes si el ICC real sale peor de lo previsto.

¿Vale la regla de diez eventos por variable en una regresión logística?

No como cálculo de potencia. La regla de Peduzzi et al. (1996) trata del sesgo en la estimación de los coeficientes, no de la probabilidad de detectar un efecto, y van Smeden et al. mostraron que ni siquiera cumple bien ese papel. Riley et al. (2019) propusieron criterios distintos para modelos predictivos. Ninguna de esas reglas dice nada sobre anidamiento ni sobre la tasa base, que es lo que decide la potencia real de tu contraste.

Ya recogí los datos, ¿puedo justificar la muestra ahora?

No con potencia post hoc calculada sobre el efecto observado, que es una reescritura del valor p. Lo defendible es un análisis de sensibilidad, y por simulación se hace igual de bien: fijas el diseño que tuviste —tus clústeres, tus tamaños, tus pérdidas reales— y buscas el efecto más pequeño que habrías detectado con una potencia de .80. Eso es una afirmación sobre lo que tu diseño podía ver, y se sostiene delante de un revisor.

Quédate con la frase corta: G*Power calcula la potencia de una prueba, no la de un modelo. En cuanto tu diseño tiene una segunda fuente de varianza o un desenlace que no es normal, el cálculo deja de ser una consulta de menú y pasa a ser una simulación que hay que escribir, documentar y defender. Si lo que tienes delante es un protocolo con plazo, unas cuantas unidades y un ICC que solo conoces a medias, montar esa simulación y dejar redactado el párrafo del Método es justo el tipo de encargo que llevo en mi consultoría estadística.