Significativo pero inútil (y no significativo pero grande)

Hay dos correos de revisor que dejan igual de bloqueado. Uno dice que tu efecto es significativo pero que no ve por qué debería importarle a nadie. El otro dice que tu diferencia entre grupos parece grande pero que la p es .072 y por tanto «no hay resultado». Los dos apuntan a la misma grieta: la p y el tamaño del efecto responden a preguntas distintas, y quien los trata como si fueran la misma acaba defendiendo un hallazgo que no sostiene o enterrando uno que sí valía. Esto va de separar las dos cosas y de saber qué escribir en cada caso.

La p no mide el tamaño de nada

Mira la fórmula del contraste más común, la t de dos grupos iguales de tamaño n: el estadístico es el tamaño del efecto multiplicado por la raíz de la mitad del tamaño de cada grupo, t = d · √(n/2). Son dos factores que se multiplican. Uno es el fenómeno; el otro es cuánta gente has reclutado. La p sale de ese producto, así que responde a una pregunta mixta: «¿es raro un resultado como este, o más extremo, si el efecto fuera exactamente cero, con la precisión que me da esta muestra?». Nunca responde a «¿es este efecto grande?».

De ahí sale una consecuencia incómoda que conviene tener clara desde el principio: cualquier efecto que no sea exactamente cero termina siendo significativo si mides a suficiente gente. Y en psicología casi nada es exactamente cero. Meehl (1990) lo llamó el factor «crud»: en muestras grandes, dos variables cualesquiera de un cuestionario correlacionan algo, aunque solo sea porque comparten método, momento y persona. Con N = 10.000, correlaciones de r = .03 salen significativas y no dicen nada de nada.

Por eso «significativo» no es sinónimo de grande, ni de importante, ni de replicable. Significa una cosa muy concreta y muy modesta: con esta muestra, tus datos casan mal con un efecto de exactamente cero. El comunicado de la American Statistical Association lo dejó por escrito hace años (Wasserstein y Lazar, 2016): el valor p no mide el tamaño de un efecto ni la importancia de un resultado. Es una afirmación sobre compatibilidad con una hipótesis, no sobre magnitud.

Lo que viene a continuación son las dos caras del mismo malentendido, cada una con sus números. Primero, cómo la p se mueve sola cuando lo único que cambia es N. Después, los dos casos que aparecen en los foros de estadística cada semana: el resultado significativo que no le sirve a nadie y el resultado grande que el diseño no podía ver.

El mismo efecto, tres tamaños de muestra

Toma una correlación de r = .10, del tamaño que abunda en psicología cuando relacionas dos variables medidas por autoinforme. Con N = 60: t(58) = 0.77, p = .447, IC 95% [-.16, .35]. Con N = 400: t(398) = 2.01, p = .046, IC 95% [.002, .196], que apenas deja el cero fuera. Con N = 1200: t(1198) = 3.48, p < .001, IC 95% [.04, .16]. La misma correlación, exactamente la misma, pasa de «no hay nada» a «altamente significativo» sin que el fenómeno haya cambiado ni una décima.

El punto exacto donde cruza la frontera se puede calcular: con r = .10, la primera muestra que da p < .05 es N = 385. Debajo de 385 personas ese efecto es «no significativo»; a partir de 385 es «significativo». Esa frontera no es una propiedad del fenómeno que estudias, es una propiedad de tu presupuesto de reclutamiento. Nadie escribiría en la discusión que la relación entre dos variables aparece a partir de los 385 participantes, y sin embargo es literalmente lo que dice la secuencia de valores p.

Lo que sí cuenta algo distinto en cada caso es el intervalo. Los tres son compatibles con r = .10, pero el primero admite desde una relación negativa apreciable hasta una relación notable, y el tercero acota el efecto a la franja estrecha entre .04 y .16. Ahí está la información que la p tira a la basura al colapsarlo todo en un sí o un no: la precisión de tu estimación. Si esto te suena a que llevas leyendo intervalos como si fueran pruebas de significación, tiene arreglo y está explicado en cómo interpretar un intervalo de confianza.

La regla práctica que sale de aquí: antes de celebrar o de lamentar una p, mira el tamaño de muestra. Una p = .001 en 3.000 personas y una p = .001 en 40 describen mundos completamente distintos, y solo una de las dos merece que le des la vuelta al hallazgo buscando de qué tamaño es lo que has encontrado.

Caso 1: significativo y a la vez irrelevante

Ensayo de una app de activación conductual frente a lista de espera, 600 personas por grupo, medida de resultado el BDI-II. La diferencia entre medias es de 1.1 puntos con una DT de 8, es decir d = 0.14, IC 95% [0.02, 0.25]. El contraste da t(1198) = 2.38, p = .017. En abstract, eso se escribe «la intervención redujo significativamente la sintomatología depresiva» y pasa la revisión de muchas revistas sin que nadie pregunte nada más.

Ahora la pregunta que no hizo el revisor: ¿cuánto es 1.1 puntos de BDI-II? Con una fiabilidad de alfa = .90 y una DT de 8, el error típico de medida del cuestionario es SEM = 8 · √(1 − .90) = 2.53 puntos. La diferencia entre los dos grupos es menos de la mitad del ruido que tiene una sola puntuación individual. Y el criterio de cambio fiable de Jacobson y Truax (1991), que es lo que hay que superar para poder decir que el cambio de un paciente concreto no es ruido del instrumento, sale 1.96 · √2 · 2.53 ≈ 7 puntos. La diferencia media del ensayo es menos de una sexta parte de lo que necesitaría cambiar una persona para que ese cambio se considere fiable.

Traducido a lenguaje que se pueda leer en voz alta: con d = 0.14, si coges a una persona al azar de cada grupo, la del grupo tratado estará mejor el 54% de las veces, frente al 50% que da lanzar una moneda; las dos distribuciones se solapan en un 94%. Y el intervalo, que es lo importante, va de 0.02 a 0.25: incluso el extremo más optimista que tus datos admiten sigue siendo un efecto que nadie llamaría relevante. Eso no es un resultado ambiguo, es un resultado claro de que el efecto es real y trivial. Si quieres pasar tus medias y DT a d con su intervalo para ver dónde caes, lo hace la calculadora de tamaño del efecto.

Hay una vuelta de tuerca que evita el error contrario. Pequeño no significa automáticamente inútil (Funder y Ozer, 2019): un efecto de d = 0.14 en una intervención gratuita, de cinco minutos y sin riesgo, aplicada a un millón de personas, puede pesar más en salud pública que un d = 0.50 que exige doce sesiones con un clínico. La pregunta correcta no es «¿es pequeño?», es «¿compensa lo que cuesta conseguirlo?». Y esa pregunta la contesta el tamaño del efecto puesto al lado del coste, jamás la p.

Caso 2: no significativo y a la vez grande

El espejo del anterior. Piloto de una intervención breve, 18 participantes por grupo, d = 0.62 a favor del tratamiento. El contraste da t(34) = 1.86, p = .072. Aquí la reacción típica es una de dos, y las dos son malas: enterrar el estudio en un cajón, o escribir que el efecto «mostró una tendencia a la significación», que es una frase que un revisor de Q1 tacha sin discutirla.

El intervalo explica lo que pasa de verdad: IC 95% [-0.05, 1.29]. Tus datos son compatibles con que no haya nada y también con un efecto enorme. Con 18 por grupo, el efecto más pequeño que ese diseño podía detectar con un 80% de potencia es d = 0.96, muy por encima de lo que has encontrado; y la potencia para detectar un d = 0.62 real era del 44%, peor que echarlo a suertes. El estudio no ha dicho que el efecto no exista. Ha dicho que estaba construido para no verlo aunque existiera.

Lo que se escribe en un caso así es «no detectamos una diferencia significativa», el estadístico completo, el tamaño del efecto con su intervalo y un análisis de sensibilidad que diga qué podía ver el diseño. Si quieres el corregido para muestras pequeñas, aquí g de Hedges = 0.61. Y si lo que quieres es afirmar que el efecto es despreciable, eso no sale de una p alta: necesitas una prueba de equivalencia TOST contra un umbral que hayas definido. Todo el protocolo de qué escribir con un resultado nulo está en no salió significativo: qué hacer.

El aviso simétrico, que casi nadie da: ese d = 0.62 tampoco prueba que el efecto sea grande. Es una estimación puntual hecha con 36 personas, y las estimaciones de muestras pequeñas son ruidosas por construcción; si encima solo se publican las que salen significativas, las que llegan a la literatura están infladas. Lo que tienes no es un efecto de 0.62: es un rango que va de cero a 1.29, y la conclusión honesta de un piloto es «esto merece un estudio con potencia», no «esto funciona».

Qué hace que un efecto sea relevante (y de dónde sale el umbral)

La relevancia no está en los datos. No hay ningún cálculo que la saque de tu matriz, porque depende de para qué sirva el resultado, y eso vive fuera del análisis. Lo que sí se puede hacer, y es lo que separa un artículo interpretable de uno que solo informa de p, es fijar el umbral antes de mirar los datos y decirlo en el método: el efecto más pequeño que te interesaría detectar.

Anclaje clínico. Cuánto tiene que cambiar la medida para que el paciente lo note o para que cambie una decisión: la diferencia mínima importante del instrumento, el criterio de cambio fiable, el umbral de respuesta o de remisión. Es el más defendible cuando existe. Referencia del campo. Qué efecto consiguen las intervenciones que ya están disponibles: si el tratamiento estándar da d = 0.50, uno nuevo que dé 0.15 no cambia la práctica aunque sea significativo. Coste y recursos. Qué efecto justificaría el precio, el tiempo de formación o el riesgo. Los tres son argumentos, no cálculos, y por eso se escriben con una frase y una referencia.

Los baremos de Cohen (0.20, 0.50, 0.80 para d) son útiles como último recurso y peligrosos como criterio único. El propio Cohen (1988) los propuso a falta de algo mejor y avisó de que dependían del campo. Un d = 0.20 en una intervención poblacional puede ser un éxito y un d = 0.80 en un ensayo con lista de espera puede ser en buena parte expectativa. Cómo leerlos sin convertirlos en ley está en interpretar la d de Cohen.

Con el umbral puesto, las conclusiones dejan de ser dos y pasan a ser cuatro, que es lo que de verdad describe tus datos. Significativo con el intervalo entero por encima del umbral: efecto relevante. Significativo con el intervalo entero por debajo: efecto real y trivial, y se dice con esas palabras (el caso del BDI-II de arriba). No significativo con el intervalo entero dentro de la zona de irrelevancia: equivalencia práctica, y eso se demuestra con TOST. No significativo con el intervalo cruzando el umbral: indeterminado, que es el caso del piloto y la conclusión honesta más frecuente en psicología.

Cómo se escribe cada caso sin que te lo tachen

Significativo y pequeño. «La intervención redujo la puntuación en el BDI-II, t(1198) = 2.38, p = .017, d = 0.14, IC 95% [0.02, 0.25]. La magnitud es reducida: la diferencia de 1.1 puntos es inferior al error típico de medida del instrumento (2.53) y muy inferior al criterio de cambio fiable (7 puntos), por lo que el efecto, aun siendo consistente, difícilmente resulta perceptible a nivel individual.» Eso es un párrafo que un revisor no puede atacar, porque ya has dicho tú lo que él iba a decir.

No significativo y grande. «La diferencia no alcanzó significación, t(34) = 1.86, p = .072, d = 0.62, IC 95% [-0.05, 1.29]. Con 18 participantes por grupo, el estudio tenía potencia para detectar efectos de d ≥ 0.96, de modo que el intervalo sigue siendo compatible con efectos de magnitud clínicamente relevante. Los datos no permiten descartar el efecto ni afirmarlo.» La última frase es la que convierte un piloto abandonado en una justificación para el estudio siguiente.

Cuatro cosas que se tachan en revisión sin discusión. «Altamente significativo» o «muy significativo». La significación no tiene grados: o cruzas el alfa o no. p = .000. No existe: se escribe p < .001. «Tendencia a la significación», «marginalmente significativo». Con alfa en .05, .072 es no significativo igual que .612; lo que distingue a los dos es el intervalo, y ahí es donde hay que contarlo. Calificar un efecto de «moderado» solo por el baremo de Cohen sin traducirlo a las unidades del instrumento ni compararlo con nada.

La prueba de fuego para cualquier frase de la discusión es esta: quita la p del texto y mira si la afirmación sigue en pie con el intervalo delante. Si «la intervención es eficaz» necesita el .017 para sostenerse y se cae en cuanto miras [0.02, 0.25], la frase estaba mal escrita. Si «no encontramos evidencia del efecto» aguanta con [-0.05, 1.29] delante, está bien escrita. Ese es el filtro entero, y es el mismo que aplica un revisor con oficio.

Preguntas frecuentes

¿Un resultado significativo quiere decir que el efecto es grande?

No. Significa que tus datos casan mal con un efecto de cero, nada más. La p depende del tamaño del efecto y del tamaño de muestra a la vez (t = d · √(n/2) en dos grupos), así que un efecto minúsculo sale significativo si mides a suficiente gente: con 600 por grupo, un d = 0.14 da p = .017. Para saber si es grande hay que mirar el tamaño del efecto con su intervalo de confianza.

¿Por qué mi resultado sale significativo con una muestra grande y no con una pequeña?

Porque lo único que has cambiado es la precisión, no el fenómeno. La misma correlación r = .10 da p = .447 con N = 60 y p < .001 con N = 1200. Con r = .10, la frontera del .05 está en N = 385: por debajo, «no significativo»; por encima, «significativo». Es una propiedad de tu muestra, no del efecto que estudias.

¿Puede un resultado no significativo tener un tamaño del efecto grande?

Sí, y es habitual en pilotos. Con 18 por grupo, un d = 0.62 da t(34) = 1.86, p = .072, IC 95% [-0.05, 1.29]. Ese diseño solo podía detectar efectos de d ≥ 0.96 con un 80% de potencia. La lectura correcta es que el estudio no podía ver lo que buscaba, no que el efecto no exista.

¿Qué es más importante, el valor p o el tamaño del efecto?

Responden a preguntas distintas y en un artículo van los dos. La p dice si tus datos son compatibles con un efecto de cero; el tamaño del efecto dice cuánto hay; el intervalo dice con cuánta precisión lo sabes. Si te obligan a elegir uno para la discusión, el intervalo del tamaño del efecto es el que sostiene una afirmación interpretable, y la p sola no sostiene ninguna.

¿Cómo sé si mi efecto es clínicamente relevante?

Comparándolo con un umbral que fijas antes de analizar y justificas en el método. Sirven tres criterios: un anclaje clínico (diferencia mínima importante, criterio de cambio fiable, umbral de respuesta), lo que consiguen las intervenciones ya disponibles en tu campo, o el coste y el riesgo que exige tu intervención. Los baremos de Cohen son un último recurso, no un criterio de importancia.

¿Cómo escribo en el artículo que el efecto es significativo pero pequeño?

Dilo tú antes de que lo diga el revisor, con el estadístico completo, el tamaño del efecto, su intervalo y la traducción a las unidades del instrumento: «t(1198) = 2.38, p = .017, d = 0.14, IC 95% [0.02, 0.25]; la diferencia de 1.1 puntos es inferior al error típico de medida del cuestionario». Un efecto real y trivial es un resultado publicable; disfrazarlo de hallazgo importante es lo que te devuelven.

Quédate con la descomposición: la p mezcla el efecto con el tamaño de muestra, y por eso no puede contestar sola ni «¿es grande?» ni «¿importa?». Reporta siempre el tamaño del efecto con su intervalo, fija un umbral de relevancia en el método y escribe las conclusiones de manera que se sostengan con el intervalo delante. Si aguantan sin la p, tienes una discusión; si se caen en cuanto la quitas, tienes una frase que el revisor va a tachar.