Te ha pasado, ¿verdad? Envías tu artículo a una revista, y el Revisor 2 te pide que calcules la potencia estadística de tu análisis… después de haberlo hecho. Suena razonable, pero hay un problema: el cálculo de potencia post-hoc es matemáticamente circular. Y no lo digo yo solo: es un consenso creciente entre estadísticos y metodólogos. Aun así, muchos revisores lo siguen pidiendo. Así que vamos a desmontar este mito y ver qué hacer en su lugar.
¿Qué es la potencia estadística y por qué importa?
Antes de explicar por qué el cálculo post-hoc es problemático, repasemos lo básico. La potencia estadística (o poder estadístico) es la probabilidad de detectar un efecto cuando realmente existe. Se calcula antes de recoger los datos: de ahí lo de a priori: y depende de tres cosas: el tamaño del efecto que esperas encontrar, el tamaño de tu muestra y el nivel de significación (alfa). Elegir el test estadístico correcto es el primer paso para que este cálculo tenga sentido.
Un estudio con potencia del 80% significa que, si el efecto existe, tienes un 80% de probabilidades de detectarlo. Es un componente fundamental del diseño de investigación. Hasta aquí, todo bien.
El problema del cálculo post-hoc: una tautología disfrazada
El lío empieza cuando un revisor te pide que calcules la potencia después de haber obtenido tus resultados, usando el tamaño del efecto que observaste en tu muestra. ¿Por qué es problemático? Porque la potencia post-hoc calculada con el efecto observado es una función directa del valor p.
Piénsalo así: si tu resultado no fue significativo (p > .05), la potencia post-hoc inevitablemente será baja. Y si fue significativo (p < .05), será alta. Siempre. Es matemática pura, no te aporta ninguna información nueva. Es como decir "no encontramos el efecto porque no teníamos potencia suficiente, y sabemos que no teníamos potencia porque no encontramos el efecto". Una tautología perfecta que no te dice absolutamente nada útil.
¿Por qué tantos revisores lo siguen pidiendo?
Buena pregunta. La respuesta corta: porque suena intuitivo. Parece lógico querer saber si tu estudio "tenía suficiente potencia" para detectar algo. Pero el problema es conceptual: la potencia es una propiedad del diseño, no de los resultados. Una vez que tienes los datos, la pregunta relevante ya no es "¿tenía potencia?" sino "¿qué tan precisa es mi estimación?".
Varios artículos metodológicos de referencia han argumentado firmemente en contra de esta práctica. Y cada vez más guías de revistas desaconsejan reportar la potencia post-hoc. Aun así, el mito persiste, especialmente en psicología clínica y educativa.
Qué hacer cuando el revisor te pide potencia post-hoc
Aquí va el consejo práctico. Tienes dos opciones principales, y puedes usar ambas:
Opción 1: Análisis de sensibilidad
En lugar de calcular la potencia para el efecto que encontraste, calcula la potencia que tenías para diferentes tamaños de efecto teóricamente relevantes. Por ejemplo: "Con nuestra muestra de 120 participantes, teníamos un poder del 95% para detectar efectos grandes (d = 0.8), del 70% para efectos medianos (d = 0.5) y del 25% para efectos pequeños (d = 0.2)".
Esto es infinitamente más informativo porque le dice al lector para qué efectos tu estudio era sensible y para cuáles era "ciego". Es una confesión honesta de limitaciones que los revisores respetan mucho más que un número circular.
Opción 2: Intervalos de confianza del tamaño del efecto
Esta es, en mi opinión, la alternativa superior. Reporta el intervalo de confianza del 95% de tu tamaño del efecto (puedes calcular el tamaño del efecto con nuestra herramienta). Si tu d de Cohen es 0.15 con un IC95% de [-0.10, 0.40], estás comunicando que tus datos son compatibles tanto con la ausencia de efecto como con un efecto moderado. Eso dice mucho más que cualquier cálculo de potencia.
Un intervalo estrecho alrededor de cero sugiere con bastante confianza que el efecto es pequeño o inexistente. Un intervalo amplio que abarca desde cero hasta valores grandes indica que tu estudio simplemente no fue lo suficientemente preciso para sacar conclusiones firmes.
Cómo responder al revisor con tacto
Sé que decirle "no" a un revisor da miedo. Pero hay formas diplomáticas de hacerlo. Podrías escribir algo como:
"Agradecemos la sugerencia del revisor. Sin embargo, el cálculo de potencia post-hoc utilizando el tamaño del efecto observado ha sido desaconsejado por varios metodólogos [citar referencias] dado que es una función directa del valor p y no aporta información independiente. En su lugar, hemos incluido un análisis de sensibilidad y reportamos los intervalos de confianza del tamaño del efecto, que consideramos más informativos para evaluar la precisión de nuestras estimaciones."
Con esta respuesta, no solo rechazas la petición con educación: demuestras que sabes más de metodología que el propio revisor. Y créeme, los editores lo notan.
Si te queda la carta entera por escribir: pega los comentarios tal y como te los mandó la revista en el generador de respuesta a revisores y te devuelve un borrador punto por punto, con el tono y la estructura que espera una Q1 y con huecos marcados allí donde falta un número tuyo. El párrafo de arriba te resuelve la petición de potencia; el generador te ahorra la parte mecánica de ordenar y redactar el resto de comentarios, que suele ser la que se come la tarde.
Entonces, ¿cuándo SÍ tiene sentido calcular la potencia?
La potencia a priori: antes de recoger datos: sigue siendo absolutamente esencial. Todo estudio debería incluir un análisis de potencia en la fase de diseño para justificar el tamaño muestral. Herramientas como G*Power, el paquete pwr de R o nuestra calculadora de tamaño muestral hacen esto muy accesible.
Lo que no tiene sentido es calcularla después con los resultados que ya tienes. Es como mirar el marcador final de un partido y calcular las "probabilidades de ganar" del equipo perdedor. No aporta nada.
Si estás lidiando con revisores que te piden análisis que sabes que son problemáticos, no dudes en contactarnos. Te ayudamos a preparar respuestas sólidas y fundamentadas que protejan la integridad metodológica de tu trabajo: y que convenzan hasta al Revisor 2 más testarudo.