Es el comentario que más desanima, porque parece que no tiene arreglo: «the sample size is too small to support the conclusions», «the study is underpowered», «with n = 84, the subgroup analyses are not interpretable». No puedes reescribir un párrafo y resolverlo. Los datos son los que son, la recogida terminó hace un año, y volver al campo puede ser imposible.
Y sin embargo, este comentario se responde con éxito muchísimas más veces de lo que la gente cree. La clave está en entender que «la muestra es pequeña» no es una objeción, es un síntoma de tres objeciones distintas, y solo una de ellas exige realmente más participantes. Las otras dos se resuelven con análisis que ya puedes hacer y con una reescritura precisa de lo que afirmas.
Lo que casi nunca funciona es la respuesta instintiva: calcular la potencia observada con el efecto que encontraste y decir «nuestra potencia fue del 78%». Eso es una recodificación aritmética del valor p y un revisor con formación metodológica lo va a marcar como error. Aquí tienes qué está diciendo realmente el revisor, qué análisis sí responden, cómo se calculan en G*Power y R, cómo se reporta en APA 7, cuándo hay que morder la bala y recoger más datos, y los párrafos de respuesta para los tres escenarios.
Antes de calcular nada, relee la frase del revisor y decide cuál de estas tres es. La respuesta es completamente distinta en cada caso, y contestar a la equivocada es la forma más rápida de llegar a una segunda ronda.
Aparece cuando tus resultados principales son NO significativos, o cuando lo son por poco. El revisor sospecha que tu estudio nunca pudo responder a la pregunta y que el resultado nulo no informa de nada. Las señales: el comentario menciona «underpowered», «Type II error» o «the null findings may reflect insufficient power».
Esta es la versión que mejor se responde sin datos nuevos, con un análisis de sensibilidad de potencia y, si procede, con una prueba de equivalencia.
Aparece incluso cuando tus resultados SÍ son significativos. Un intervalo de confianza del 95% de [.02, .61] para una correlación es compatible con un efecto trivial y con uno enorme: técnicamente significativo, prácticamente inútil. El revisor lo ve en tus propios intervalos.
Aquí el problema no se arregla con potencia, se arregla con honestidad interpretativa: hay que dejar de interpretar la estimación puntual y empezar a interpretar el intervalo completo, en el texto y en la discusión.
La muestra total puede ser razonable y aun así el análisis concreto no serlo: un modelo de ecuaciones estructurales con 45 parámetros libres y n = 120; una moderación en un subgrupo de 22 personas; un análisis de clases latentes con una clase de 14 casos; un modelo multilevel con 12 clusters. Las señales: el comentario menciona un análisis concreto, no el estudio entero.
Este es el más específico y, curiosamente, el más fácil de resolver: casi siempre se arregla simplificando el modelo o retirando el análisis que no aguanta, no consiguiendo más gente.
La tentación es evidente: coges el tamaño del efecto que obtuviste, lo metes en G*Power con tu n y tu α, y sacas una potencia. Eso se llama potencia post hoc, potencia observada o potencia retrospectiva, y es un análisis sin contenido informativo.
El motivo, expuesto por Hoenig y Heisey (2001) en un artículo que muchos revisores metodológicos conocen: la potencia observada es una transformación monótona del valor p. Con el mismo n y el mismo α, un p más pequeño produce siempre una potencia observada mayor. No te dice nada que el p no te dijera ya. Y su uso habitual (concluir «nuestro resultado no significativo se debe a baja potencia») es circular: por construcción, todo resultado no significativo tiene potencia observada baja.
Peor todavía: si el efecto observado está sobreestimado, cosa habitual en muestras pequeñas por el llamado efecto de la maldición del ganador, la potencia observada también lo estará. Es un cálculo que hereda todo el ruido de la estimación que pretende evaluar.
El problema práctico es que a veces es el propio revisor quien te la pide. Ahí no conviene ni negarse en seco ni obedecer sin más. La salida es dar el análisis correcto, explicar en dos frases por qué es el que responde a su preocupación, y ofrecer el otro si insiste. La mayoría de los revisores agradece el matiz, porque la petición suele ser una fórmula heredada más que una convicción.
Ninguno requiere participantes nuevos. Los tres se hacen en una tarde.
Es el análisis correcto para la objeción A y el que deberías incluir en cualquier artículo con resultados nulos. La pregunta que responde: dado el tamaño muestral que TENGO, con α = .05 y potencia del 80%, ¿cuál es el efecto más pequeño que este estudio podía detectar? El resultado es un número, el efecto mínimo detectable, y ese número se compara con lo que se considera relevante en tu campo.
En G*Power: eliges la prueba, y en «Type of power analysis» seleccionas «Sensitivity: Compute required effect size». Introduces α, potencia (.80 o .95, declara cuál), el tamaño muestral real y, si aplica, la distribución de casos entre grupos. El programa devuelve el efecto crítico.
En R: el paquete pwr tiene funciones equivalentes (pwr.t.test, pwr.r.test, pwr.f2.test) donde dejas el argumento del efecto como NULL y das n y power. Para modelos más complejos, simulación con simr o con simsem.
Lo que hace poderosa esta respuesta es la comparación posterior. «Nuestro estudio podía detectar efectos de d = 0,42 o mayores con potencia .80. El metaanálisis de referencia en esta área sitúa el efecto esperado en d = 0,25, por lo que el diseño no tenía sensibilidad suficiente para descartar un efecto de esa magnitud, y nuestro resultado no significativo no debe interpretarse como evidencia de ausencia.» Eso es un límite honesto y cuantificado; el revisor puede vivir con eso.
Si lo que quieres decir es «no encontramos efecto», un contraste no significativo no lo sostiene: la ausencia de evidencia no es evidencia de ausencia. La herramienta que sí lo sostiene es la prueba de equivalencia por dos contrastes unilaterales (TOST), que pregunta si tu efecto es significativamente MENOR que un umbral de relevancia definido de antemano.
El procedimiento exige que declares el efecto más pequeño que te resultaría interesante (el SESOI), lo cual es una decisión sustantiva que hay que argumentar: relevancia clínica, el efecto que la literatura considera mínimo, el efecto que tu estudio podía detectar. Lakens, Scheel y Isager (2018) dan el marco práctico y el paquete TOSTER de R lo implementa (también hay módulo en jamovi).
El resultado tiene tres desenlaces posibles y todos son informativos: efecto significativo y no equivalente (hay efecto relevante), no significativo y equivalente (puedes afirmar ausencia de efecto relevante), o no significativo y no equivalente (el estudio no concluye nada, que es lo que a menudo pasa con muestras pequeñas, y decirlo así es mejor que fingir).
La respuesta a la objeción B y la que menos esfuerzo técnico requiere: dejar de escribir sobre la estimación puntual y escribir sobre el intervalo. En lugar de «la correlación fue de .31, indicando una asociación moderada», escribir «la correlación fue de .31, IC 95% [.02, .55]; el intervalo es compatible tanto con una asociación trivial como con una sustancial, lo que impide una estimación precisa de su magnitud con este tamaño muestral».
Es una frase que muchos autores evitan porque parece que debilita el artículo. Hace lo contrario: es la frase que convierte a un revisor escéptico en un revisor tranquilo, porque le demuestra que sabes exactamente qué te permiten decir tus datos.
Hay situaciones donde ningún análisis salva el problema y lo honesto es recoger más o retirar el análisis. Las tres más claras:
Un aviso serio: recoger más datos hasta que el p baje de .05 y detenerse ahí es una práctica que infla el error de tipo I muy por encima del nominal. Es el problema del muestreo opcional. Si amplías, fija ANTES el n final, o usa un procedimiento de análisis secuencial que controle formalmente el error (los diseños secuenciales de Lakens, 2014, están pensados exactamente para esto y son perfectamente publicables).
Y declara siempre en el método que la ampliación se realizó en respuesta a la revisión, con el n original y el final. Ocultarlo es una omisión que puede convertirse en un problema de integridad si sale a la luz, y no oculta nada útil: el editor ya sabe que el manuscrito ha pasado por revisión.
«No podemos recoger más datos» es una frase débil. «La recogida se realizó en la unidad de hospitalización de trastornos de la conducta alimentaria del hospital X entre 2023 y 2024, y comprende a la totalidad de las pacientes que ingresaron en ese periodo y cumplieron criterios; ampliar la muestra requeriría entre dieciocho y veinticuatro meses adicionales de reclutamiento» es un argumento. La diferencia es que la segunda versión explica por qué tu n es el que es y sitúa el estudio en la categoría de restricción de recursos, que es una justificación legítima y reconocida.
El análisis de sensibilidad de potencia va en el apartado de participantes o en el de análisis de datos, con esta forma: «Un análisis de sensibilidad realizado con G*Power 3.1.9.7 indicó que, con n = 84, α = .05 (dos colas) y una potencia de .80, el estudio podía detectar efectos de d = 0,62 o superiores en la comparación entre grupos.» Software con versión, α, potencia, colas, n y resultado. Sin ninguna de esas piezas la frase no es replicable.
La prueba de equivalencia se reporta con sus dos contrastes o con el más restrictivo: «La prueba de equivalencia con un SESOI de d = 0,35, definido a partir de la diferencia mínima clínicamente relevante establecida por Autor et al. (2021), resultó significativa, t(82) = -2,14, p = .018, lo que permite descartar la presencia de un efecto de esa magnitud o mayor.»
Y el reencuadre del intervalo simplemente se escribe en resultados y se retoma en la discusión. El estándar de APA 7 sobre intervalos de confianza para toda estimación principal existe precisamente para esto: los intervalos hacen visible la imprecisión, y una revisión que insiste en la muestra suele ser una revisión que ya los ha mirado.
Tres versiones. Todas comparten la misma estructura: reconocer sin disculparse en exceso, cuantificar el límite en lugar de admitirlo en abstracto, y decir exactamente qué cambió en el texto.
«Agradecemos esta preocupación, que compartimos y que hemos abordado de forma cuantitativa en lugar de meramente declarativa. Debemos señalar primero por qué no hemos incluido un cálculo de potencia observada: al derivarse del tamaño del efecto obtenido, ese cálculo es una transformación monótona del valor p y no aporta información independiente sobre la sensibilidad del diseño (Hoenig y Heisey, 2001).
En su lugar hemos incorporado al método (p. 10) un análisis de sensibilidad de potencia: con n = 84, α = .05 a dos colas y potencia .80, el estudio podía detectar diferencias de d = 0,62 o superiores. Dado que el metaanálisis de referencia en esta área (Autora et al., 2022) estima el efecto en d = 0,31, el diseño carecía de sensibilidad para detectar un efecto de la magnitud esperada, y así lo declaramos ahora explícitamente. Hemos añadido además una prueba de equivalencia con un SESOI de d = 0,35, que resultó no significativa: nuestros datos no permiten ni afirmar la presencia de un efecto relevante ni descartarla.
En consecuencia hemos reescrito la discusión (pp. 18-20) para que el resultado no significativo deje de presentarse como evidencia en contra de la hipótesis y pase a describirse como no concluyente, y hemos modificado el abstract en el mismo sentido. Sobre la ampliación de la muestra: los datos proceden de la totalidad de pacientes ingresadas en la unidad durante el periodo de recogida y una ampliación sustancial requeriría entre dieciocho y veinticuatro meses adicionales de reclutamiento, lo que excede el marco de esta revisión. Consideramos que la versión actual describe con precisión el alcance de la evidencia disponible.»
«Agradecemos la observación, que nos ha llevado a revisar el equilibrio entre la complejidad de los modelos y el tamaño de la muestra. Coincidimos en que el modelo estructural completo, con 47 parámetros libres estimados sobre n = 138, estaba sobreespecificado para nuestros datos.
Hemos simplificado el modelo principal utilizando indicadores agregados para los dos constructos con más ítems, reduciendo los parámetros libres a 23 y mejorando sustancialmente la estabilidad de las estimaciones (los errores típicos se reducen entre un 30% y un 45%; comparación en Tabla S3). Hemos retirado además del cuerpo del artículo el análisis de moderación por nivel educativo, cuyo subgrupo más pequeño contaba con 22 participantes, y lo hemos trasladado al material suplementario etiquetado explícitamente como exploratorio y no interpretable con esta muestra. La discusión ya no hace referencia a ese resultado. Agradecemos el comentario: la versión actual afirma menos y lo afirma con más base.»
«Agradecemos la sugerencia y hemos podido atenderla directamente. Tras recibir los comentarios, hemos ampliado la recogida de datos con 96 participantes adicionales reclutados con el mismo procedimiento y los mismos criterios (n final = 284). El periodo de recogida adicional y su motivo se declaran ahora en el método (p. 8), junto con el n original, para plena transparencia.
El tamaño final se fijó antes de reanalizar los datos, a partir de un análisis de potencia a priori para el efecto de interacción con f² = 0,04, α = .05 y potencia .90, que requería n = 271; no se examinaron los resultados durante la recogida adicional. Todos los análisis se han rehecho con la muestra completa y las tablas y figuras se han actualizado. Los resultados principales se mantienen en la misma dirección con estimaciones más precisas (el intervalo de confianza del efecto principal pasa de [.04, .48] a [.19, .37]), y el efecto de interacción, que en la versión anterior no alcanzaba significación, ahora sí lo hace (β = .16, IC 95% [.05, .27], p = .004). Hemos reescrito la discusión en consecuencia.»
No existe un mínimo universal, y quien te dé un número redondo sin preguntar por tu análisis te está engañando. Depende del efecto que buscas, del análisis, del número de parámetros y de la precisión que necesitas. Un contraste de medias con un efecto grande puede bastarle a 40 personas por grupo; una moderación con efecto pequeño puede necesitar más de 700. Por eso las revistas ya no preguntan «¿cuántos?» sino «¿por qué esos?», que es la pregunta que trata la página sobre justificar el tamaño muestral.
Solo si lo es de verdad y si el artículo se presenta como tal desde el título, con objetivos de factibilidad y no de contraste de hipótesis. Reetiquetar como piloto un estudio que planteaba hipótesis confirmatorias, después de que el revisor cuestione la muestra, se nota y suele empeorar la impresión. Un piloto honesto no reporta valores p de sus hipótesis principales: reporta tasas de reclutamiento, adherencia, aceptabilidad y estimaciones de variabilidad para el estudio grande.
Ayuda de forma real en un punto concreto: el factor de Bayes distingue entre evidencia a favor de la hipótesis nula y ausencia de evidencia, cosa que el marco frecuentista no hace. Un BF de 0,15 a favor del nulo dice algo; un p = .34 no. Es una respuesta legítima y bien recibida si la revista está familiarizada. Lo que no hace es aumentar la información que hay en tus datos: con muestras muy pequeñas, el factor de Bayes también será poco concluyente, y a menudo lo dirá con claridad.
No necesariamente eliminarlos, sí recolocarlos. La solución habitual es moverlos al material suplementario, etiquetarlos de forma explícita como exploratorios, quitar de ellos cualquier lenguaje confirmatorio y retirarlos de la discusión y del abstract. Así el lector interesado los tiene y las conclusiones del artículo no dependen de ellos. Lo que casi nunca funciona es dejarlos en el cuerpo con una frase de cautela al final.
Técnicamente sí y a veces es la mejor solución, pero se convierte en un estudio distinto y hay que tratarlo como tal: declarar la procedencia de cada submuestra, comprobar que los instrumentos son los mismos, probar invarianza de medición entre muestras antes de agrupar, y controlar el efecto de muestra en los análisis. Agrupar sin comprobar equivalencia es exactamente el tipo de decisión que genera la siguiente objeción del revisor.
Dale el análisis de sensibilidad, explica en dos frases por qué responde mejor a su preocupación, y añade la potencia observada en el material suplementario si crees que insistirá. Nadie ha perdido una revisión por dar de más con una explicación cortés; sí se pierden por negarse a hacer un cálculo. La fórmula útil: «hemos interpretado el comentario como una preocupación por la sensibilidad del diseño y la hemos abordado del modo que consideramos más informativo, quedando a disposición del revisor si prefiere el cálculo retrospectivo».