El efecto que la teoría decía que saldría (y no salió)

Tenías una hipótesis con nombre y apellidos. Tres artículos decían que el apoyo social percibido predice la sintomatología depresiva, lo metiste en el modelo esperando verlo, y la salida devuelve β = -.14, p = .102. Ahora estás delante de la Discusión eligiendo entre tres malas salidas: escribir que tu estudio no replica el hallazgo, culpar a la muestra en una frase de relleno, o quitar el predictor del modelo y hacer como que nunca estuvo ahí. Hay una cuarta salida, y empieza por una comprobación de dos minutos que casi nadie hace.

Antes de explicar nada, comprueba que hay algo que explicar

El error de encuadre está en la primera frase que escribes: «el efecto no se replicó». No has contrastado tu resultado contra la literatura. Has contrastado tu resultado contra el cero, que es lo único que hace un valor p. Son dos comparaciones distintas y solo has hecho una.

Haz la que falta, y hazla con el intervalo. En el ejemplo, β = -.14 con SE = .085 da t(115) = -1.65 y un intervalo de confianza al 95% de [-.31, .03]. Ese intervalo contiene el cero, y por eso la p sale .102. Pero también contiene el coeficiente β = -.30 que informó el estudio de referencia. Tus datos son compatibles con el efecto publicado y con la ausencia de efecto a la vez: no distinguen entre las dos cosas. Escribir que «no se replicó» es afirmar algo que tu propio intervalo no sostiene, y el intervalo es justo la parte del resultado que un revisor sí lee (cómo se interpreta un intervalo de confianza).

El caso contrario existe y es el que da trabajo de verdad. Si el estudio de referencia informaba de β = -.55 y tu intervalo llega como mucho hasta -.31, el efecto publicado queda fuera y ahí sí tienes una discrepancia que explicar. Las cuatro explicaciones que vienen sirven para los dos casos, pero cambian de función: con el efecto dentro del intervalo explican por qué no has podido verlo; con el efecto fuera explican por qué es distinto. Saber en cuál de los dos escenarios estás decide el verbo de toda la Discusión.

Explicación 1: nunca tuviste potencia para el efecto único

Esta es la primera por goleada, y casi nadie la escribe bien porque hay que empezar reconociendo que estás estimando otra cosa. La literatura casi siempre informa de la correlación bivariada entre el predictor y el resultado. Tu modelo informa de la contribución única: lo que aporta el predictor una vez que los demás ya han explicado lo que podían explicar. Si tu predictor comparte varianza con los otros, esos dos números no se parecen en nada.

Sigue el ejemplo con los datos delante. En tu muestra el apoyo social correlaciona con la sintomatología exactamente como decía la literatura: r = -.35, t(116) = -4.02, p < .001. La rumiación, el otro predictor, correlaciona .55 con el resultado y -.42 con el apoyo social. Al meter los dos en la misma regresión, el coeficiente del apoyo social se queda en β = -.14, con una correlación semiparcial de sr = -.13: un 1,7% de varianza única, mientras el modelo entero explica un R² = .32. El efecto bivariado no ha desaparecido de tus datos. Es que al modelo le has pedido otro.

Ahora la potencia, que es donde se ve el tamaño real del problema. Para detectar r = -.35 con N = 118 tenías un 98% de potencia: ese contraste no podía fallar. Para la contribución única, con f² = 0.025, la potencia cae al 40%. Con ese diseño, seis de cada diez veces el resultado sale como te ha salido aunque el efecto exista tal y como lo describe la literatura. Para llegar al 80% habrías necesitado unos 310 participantes, más del doble de los que reclutaste.

Lo que no vale es calcular la potencia observada a partir de tu propio efecto y pegarla en la Discusión. La potencia post hoc es una transformación monótona del valor p: si p = .102, la potencia observada saldrá baja siempre, y no aporta ni un gramo de información que la p no diera ya (por qué la potencia post hoc no responde a nada). Lo que se reporta es un análisis de sensibilidad: qué efecto mínimo podía detectar este diseño.

Explicación 2: no has medido lo mismo

Dos artículos que dicen medir «apoyo social» pueden estar midiendo cosas que correlacionan .60 entre sí. Cambia la escala, cambia la versión (completa o abreviada), cambia la subescala que se usa como puntuación, cambia el marco temporal («la última semana» frente a «en general»), cambia el informante. Cada una de esas diferencias mueve el coeficiente, y ninguna aparece en el resumen del estudio original, que es de donde sale tu hipótesis.

La fiabilidad hace el resto sin que se note. Una correlación observada está topada por la fiabilidad de las dos medidas: si la correlación verdadera es .40 y el criterio tiene α = .88, con una escala de α = .91 observarías .36, y con una versión corta de cuatro ítems de α = .68 observarías .31. Un 14% de efecto perdido antes de tocar nada, solo por el instrumento que elegiste para que el protocolo cupiera en veinte minutos. Y eso es la correlación bivariada; en la contribución única el recorte se nota más, porque el error de medida del criterio engorda el residuo y ensancha el error típico, mientras que el del predictor atenúa el propio coeficiente.

La comprobación es aburrida y muy convincente: pon en una tabla el instrumento, la versión, el número de ítems, la puntuación utilizada y el α de tu estudio y del estudio de referencia. Si difieren, ya no estás especulando en la Discusión, estás informando de un hecho comprobable por cualquiera que abra los dos artículos. Y si coinciden, has descartado una explicación entera y las tres que quedan pesan más.

Explicación 3: no es la misma población

La restricción de rango es la versión silenciosa de este problema. Si el estudio original midió población general y tu muestra es clínica y puntúa alta casi entera, la desviación típica del predictor se estrecha, y una correlación no sobrevive a eso: con una DT un 30% menor, una correlación de .35 en la población amplia se observa como .25 en la tuya. No ha cambiado el fenómeno, ha cambiado el trozo de rango desde el que lo estás mirando. Lo mismo pasa con un efecto techo en el resultado, o con una tasa base muy distinta.

Después está lo que sí puede ser una diferencia real. Edad, contexto asistencial, país, momento de la medida, composición de la muestra. Si el hallazgo original viene de estudiantes universitarios y tú mides a personas de 45 a 65 años en atención primaria, es perfectamente posible que el efecto exista en unos y no en otros. Eso no es un fallo de tu estudio: es una hipótesis de moderación, y se escribe como tal, nombrando la característica concreta que sospechas que modera, no con un «podrían existir diferencias culturales» que no compromete a nadie con nada.

Se comprueba con descriptivos, que ya los tienes. Compara la M y la DT del predictor en tu muestra y en la del estudio de referencia, que suelen estar en su tabla 1. Son dos líneas de trabajo, y la frase que sale es de las más difíciles de discutir que puedes poner en una Discusión: «la desviación típica del predictor en esta muestra fue un 30% menor que en el estudio de referencia».

Explicación 4: el efecto original venía inflado

Esta va la última a propósito, y no porque sea improbable. Aquel estudio de referencia, con N = 62, informaba de una correlación bivariada de r = -.38, t(60) = -3.18, p = .002, y arrastra un problema estructural: con esa muestra, la correlación más pequeña en valor absoluto que puede alcanzar p < .05 es exactamente .25. Ninguna estimación por debajo de .25 en valor absoluto llega a la literatura desde ese diseño. Lo que ves publicado no es una muestra aleatoria de los efectos reales, es la parte de la distribución que superó un filtro, y el promedio de lo que supera un filtro por arriba está por encima del valor verdadero.

El tamaño de ese sesgo está medido. En el Reproducibility Project (Open Science Collaboration, 2015) se replicaron 100 estudios de psicología: de los 97 originales con resultado significativo, 35 volvieron a serlo, y el tamaño medio del efecto pasó de r = .40 en los estudios originales a r = .20 en las réplicas. Aproximadamente la mitad. Si el efecto que buscabas se publicó una vez, con 62 participantes y sin preregistro, la expectativa razonable para tu estudio nunca fue .38.

Va la última porque es la que menos puedes demostrar con tus propios datos y la que peor suena si la pones primero. Escrita en la primera línea de la Discusión parece que estás señalando a otros para tapar lo tuyo. Escrita al final, después de haber cuantificado la potencia, la medida y la población con números propios, es una conclusión razonada. La diferencia entre las dos versiones no está en el contenido, está en el orden.

Tres comprobaciones antes de escribir una línea

El análisis de sensibilidad. Con tu N, tu número de predictores y tu R², calcula la contribución única más pequeña que tu diseño podía detectar con potencia .80. En el ejemplo es sr = .21, y el efecto que ibas buscando valía .13. Esa frase sola contesta a la mitad de las preguntas que te va a hacer un revisor, se calcula desde el diseño y no desde el resultado, y no tiene nada que ver con la potencia post hoc.

La tabla de dos columnas. Informa de la correlación de orden cero y del coeficiente del modelo, uno al lado del otro, para todos los predictores. Es lo que permite ver de un vistazo que el efecto bivariado está y que lo que falta es la parte única. Sin esa columna, un revisor lee «no significativo» y se queda con que tu predictor no tiene relación con el resultado, que es sencillamente falso. Si el estudio de referencia informa de una t o una F y necesitas su efecto en la misma métrica que el tuyo para poder compararlos, conviértelo con la calculadora de tamaño del efecto desde texto.

El contraste de equivalencia. Si lo que quieres afirmar es que el efecto no está, la p no te deja hacerlo: la ausencia de evidencia no es evidencia de ausencia. Necesitas un TOST contra un efecto mínimo de interés que fijas tú y justificas (cómo se monta una prueba de equivalencia). En el ejemplo, con un intervalo que llega hasta -.31, ningún contraste de equivalencia razonable te dejaría concluir ausencia de efecto, y saberlo antes de escribir te ahorra tener que retirar la frase cuando te la señalen.

Cómo se redacta sin que suene a excusa

La regla cabe en una línea: una explicación sin número es una excusa. «Posiblemente debido al tamaño muestral» es una excusa. «Un análisis de sensibilidad indica que este diseño solo podía detectar contribuciones únicas de sr = .21 o mayores con potencia .80» es un dato. Las dos frases apuntan a lo mismo, pero solo una se puede defender en una respuesta a revisores.

Así queda el párrafo entero, con las cuatro explicaciones en orden y cada una anclada a algo comprobable: «El apoyo social percibido correlacionó con la sintomatología depresiva en la dirección esperada (r = -.35, p < .001), pero su contribución única al modelo no alcanzó significación (β = -.14, IC 95% [-.31, .03], t(115) = -1.65, p = .102). El intervalo incluye el coeficiente informado por [Autores] ([año]), de modo que estos datos no contradicen aquel hallazgo, sino que lo estiman con menor precisión: el análisis de sensibilidad sitúa el efecto único mínimo detectable en sr = .21. A ello se suma que el apoyo social se midió aquí con la versión de cuatro ítems (α = .68, frente a α = .91 en el estudio de referencia) y que la desviación típica del predictor fue un 30% menor, dos factores que reducen la magnitud observable. Replicar este contraste con potencia .80 requeriría en torno a 310 participantes.»

En Resultados no va nada de esto. Ahí van el coeficiente, su intervalo y su p, sin adjetivos y sin promesas. Y sin «marginalmente significativo» ni «se observó una tendencia»: p = .102 no es una tendencia, es un número que ya está informado y que no necesita que lo maquilles (qué hacer cuando no sale significativo). La interpretación entera vive en la Discusión, que es exactamente donde un revisor la busca.

Y no quites el predictor del modelo. La hipótesis está escrita en tu introducción; si desaparece en los resultados, el revisor lo va a ver, y lo que va a ver es un modelo elegido después de mirar los datos. Si lo preregistraste, dilo y déjalo donde está: un coeficiente no significativo declarado de antemano suma credibilidad ante un editor, mientras que un modelo impecable del que nadie sabe cómo se llegó a él la resta entera.

Preguntas frecuentes

¿Qué hago si un predictor que la literatura decía que era significativo no me sale?

Antes de interpretar nada, comprueba si el efecto publicado cae dentro de tu intervalo de confianza. Si cae dentro, tus datos no contradicen la literatura, solo la estiman con menos precisión, y eso es lo que hay que escribir. Si cae fuera, tienes una discrepancia real y toca ordenar las explicaciones: potencia para el efecto único, diferencias de medida, diferencias de población y, la última, inflación del efecto original por sesgo de publicación.

¿Puedo quitar el predictor del modelo si no sale significativo?

No, si lo anunciaste como hipótesis en la introducción. El modelo que informas tiene que ser el que planeaste, no el que quedó bonito. Quitar un predictor después de ver su p es elegir el modelo en función del resultado, y un revisor que compare tu introducción con tus resultados lo detecta en dos minutos. Un coeficiente no significativo declarado de antemano no resta credibilidad; un modelo depurado a posteriori sí.

¿Cómo sé si mi resultado contradice el estudio original o solo me faltó potencia?

Con el intervalo de confianza de tu coeficiente, no con la p. Si el efecto del estudio de referencia cae dentro de tu intervalo, no hay contradicción: tus datos son compatibles con ese efecto y también con el cero. Si cae fuera, la discrepancia es real. Ayuda mucho añadir el efecto mínimo detectable de tu diseño con potencia .80: si es mayor que el efecto que buscabas, tu estudio nunca estuvo en condiciones de verlo.

¿Es válido decir que el efecto no salió por el tamaño de la muestra?

Es válido si lo acompañas de un número, y es una excusa si no. «Posiblemente por el tamaño muestral» no dice nada. «Con N = 118 y f² = 0.025, la potencia para este contraste era del 40%, y alcanzar .80 requeriría unos 310 participantes» dice exactamente qué pasó. Lo que no vale es calcular la potencia observada a partir de tu propio efecto: la potencia post hoc es una transformación del valor p y no aporta información nueva.

¿Puedo escribir que el efecto original estaba inflado por sesgo de publicación?

Puedes, pero va al final y con evidencia. Sirve señalar que el estudio de referencia tenía una muestra pequeña (con N = 62, ninguna correlación por debajo de r = .25 podía salir significativa), que no estaba preregistrado, o que el metaanálisis del área muestra asimetría en el funnel plot. Ponerlo como primera explicación, sin haber cuantificado antes potencia, medida y población en tus propios datos, se lee como una acusación defensiva.

¿Cómo se reporta un predictor no significativo en APA 7?

Igual que uno significativo: coeficiente, error típico o intervalo de confianza y valor p exacto. Por ejemplo, β = -.14, SE = .085, t(115) = -1.65, p = .102. Sin redondear a «p > .05», sin «marginalmente significativo» y sin adjetivos dentro de la sección de resultados. La interpretación va en la discusión, no pegada a la frase donde das el número.

Quédate con la comprobación del principio, porque cambia el tono de todo lo que escribas después: mira si el efecto publicado cabe dentro de tu intervalo antes de decidir si tu estudio lo contradice. De ahí salen las cuatro explicaciones, siempre en el mismo orden y siempre con un número propio pegado a cada una. Si lo que tienes delante es un modelo con varios predictores correlacionados y no sabes cuál es el contraste que de verdad respondía a tu hipótesis, eso lo vemos en mi consultoría estadística.