No salió significativo: qué hacer y qué escribir

Corriste el análisis que habías planificado, el número salió p = .217 y la discusión entera que tenías en la cabeza dejó de tener sentido. Le pasa a casi toda tesis al menos una vez, y la reacción habitual —volver a correr el modelo con una covariable que ayuda, o escribir que el efecto «se aproximó a la significación»— sale mucho más cara que el resultado nulo. Hay tres salidas honestas y un callejón sin salida que todo el mundo prueba primero. Las reglas de formato que se aplican a todo esto están en cómo reportar resultados en APA 7.

No significativo no quiere decir que el efecto sea cero

El valor p responde a una pregunta muy estrecha: si el efecto fuera exactamente cero, ¿cómo de raros serían unos datos al menos tan extremos como los míos? Un p = .217 dice que no serían raros. No dice que el efecto sea cero, ni que sea pequeño, ni que tu hipótesis esté equivocada. El contraste de hipótesis nula es asimétrico por construcción: puede rechazar el cero, jamás confirmarlo.

La información está en el intervalo, no en el p. Imagina un ensayo de una app de mindfulness frente a lista de espera sobre rumiación, 60 personas por grupo. La comparación da t(118) = 1.24, p = .217, d = 0.23, IC 95% [-0.13, 0.59]. Ese intervalo incluye d = 0.59, un efecto que en clínica cambiaría decisiones. Escribir «la app no funciona» con esos datos es afirmar algo que el intervalo desmiente en su mitad superior.

De ahí sale la idea que ordena todo lo demás: los resultados no son dos, son tres. Hay evidencia de que existe un efecto, hay evidencia de que no lo hay, y está el caso indeterminado, en el que el estudio no distingue entre las dos cosas. La mayoría de los nulos que se leen en psicología caen en el tercero, y lo que decide en cuál estás tú no es el valor p, sino lo que hagas después de verlo.

Esto no es un tecnicismo de redacción. La frase que puedes escribir en la discusión cambia por completo según el caso: «no detectamos el efecto» siempre es defendible, «no hay efecto» solo lo es si has hecho el trabajo extra que se explica más abajo, y «los grupos son equivalentes» exige un contraste que casi nadie corre.

Cómo se escribe un resultado no significativo en APA 7

Las tres reglas son las mismas que para cualquier otro resultado, solo que aquí se incumplen más. El valor p va exacto, con dos o tres decimales y sin cero inicial, nunca como «ns» ni como p > .05: p = .217 y p = .612 no cuentan lo mismo. El estadístico va completo con sus grados de libertad. Y el tamaño del efecto con su intervalo de confianza es aquí más obligatorio que nunca, porque es lo único que informa del rango de efectos que tus datos todavía admiten.

Así se ven, con los cuatro contrastes que más se usan. Prueba t: «Los dos grupos no difirieron en rumiación, t(118) = 1.24, p = .217, d = 0.23, IC 95% [-0.13, 0.59].» ANOVA: «El efecto de la condición no fue significativo, F(2, 117) = 0.84, p = .434, eta² parcial = .014.» Correlación: «La asociación no alcanzó significación, r = .08, N = 140, p = .347, IC 95% [-.09, .24].» Chi-cuadrado: «La distribución no difirió entre grupos, chi²(1, N = 180) = 1.42, p = .233.»

Hay cuatro frases que un revisor tacha sin discutir. «Se acepta la hipótesis nula». El contraste no puede aceptarla; solo puede no rechazarla, que es otra cosa. «No hubo diferencias» o «no existe relación». Afirma más de lo que sabes: lo que sabes es que no las detectaste. «Se aproximó a la significación», «marginalmente significativo», «tendencia a». Con alfa en .05, un .058 es tan no significativo como un .612; la diferencia entre ambos vive en el intervalo, y ahí es donde hay que contarla. Y «el efecto fue pequeño, pero en la dirección esperada» cuando el intervalo cruza el cero: la dirección de un efecto cuyo intervalo incluye el cero no está establecida.

El párrafo de discusión que sí funciona dice tres cosas seguidas: qué no detectaste, qué sigue siendo compatible con tus datos y qué haría falta para decidirlo. «El intervalo de confianza del 95% se extendió de d = -0.13 a 0.59, de modo que efectos del tamaño informado por estudios previos siguen siendo compatibles con estos datos; el estudio no permite descartarlos.» Eso es honesto, es publicable y no cierra ninguna puerta que no esté cerrada.

La potencia post hoc es el callejón sin salida

La secuencia es siempre igual: sale un p alto, se abre el G*Power, se mete el d observado, sale 23% y se escribe «el estudio estaba falto de potencia». No sirve. La potencia observada, la que se calcula con el tamaño del efecto que has obtenido, es una transformación matemática del propio valor p: dos estudios que corren el mismo contraste con el mismo p tienen exactamente la misma potencia observada, y cualquier p justo por encima de .05 devuelve una potencia cercana al 50%. Hoenig y Heisey (2001) lo llamaron el abuso de la potencia por esa razón: no es una prueba nueva, es tu p con otro traje.

El argumento circular se ve mejor al revés. Si la potencia observada fuera baja porque el efecto no salió, y el efecto no salió porque la potencia era baja, no has aprendido nada: has descrito el mismo número dos veces. Cada vez menos revistas dejan pasar ese párrafo, y donde todavía cuela sigue sin defenderte de la pregunta que de verdad importa, que es qué efecto podría haber visto tu diseño.

Lo que sí se hace es un análisis de sensibilidad: fijas el N que tienes y la potencia que quieres, y despejas el tamaño del efecto. Con 60 por grupo, alfa de .05 bilateral y 80% de potencia, el efecto más pequeño detectable es d = 0.52. Esa sí es una afirmación con contenido: tu diseño no podía ver nada por debajo de media desviación típica, y si la literatura habla de efectos de 0.30 tu estudio nunca iba a encontrarlos. La diferencia entre los dos cálculos, y cómo se redacta cada uno, está en el análisis de potencia post hoc.

El análisis de sensibilidad se reporta en Resultados, junto al contraste, en una frase: «Un análisis de sensibilidad indicó que con n = 60 por grupo y una potencia de .80 el estudio podía detectar efectos a partir de d = 0.52.» Con eso el revisor sabe exactamente qué compraste con tu muestra, sin que tengas que disculparte por nada.

La prueba de equivalencia: la vía frecuentista para afirmar que no hay efecto

Para poder decir «no hay efecto» primero tienes que decir qué es «nada». Ninguna fórmula te lo da: el efecto mínimo de interés sale de la clínica (el cambio más pequeño que un paciente nota), de la literatura previa, del efecto para el que diseñaste el estudio o de un acuerdo razonado del campo. Los umbrales de Cohen (1988) son convenciones para interpretar, no un límite que puedas usar como si fuera un criterio sustantivo; en la interpretación de la d de Cohen está por qué. Para el ejemplo de la app fijamos el límite en d = 0.40, que es el cambio por debajo del cual el equipo clínico no cambiaría nada.

El TOST (dos pruebas de una cola) invierte la carga de la prueba: en vez de contrastar contra cero, contrasta contra los dos límites. La hipótesis nula pasa a ser «el efecto es al menos tan grande como el límite», y hacen falta las dos pruebas significativas para rechazarla. Con nuestros datos sale t(118) = 3.43, p < .001 contra el límite inferior, y t(118) = -0.95, p = .172 contra el superior. Se reporta el mayor de los dos, p = .172, y no llega: el estudio no establece equivalencia. Es lo mismo que enseña el intervalo del 90%, [-0.08, 0.53], que se sale del límite de 0.40 por arriba.

Ese estudio, entonces, está en el tercer caso: ni detectó el efecto ni respaldó su ausencia. Escribirlo así, con las dos pruebas puestas, es mejor artículo que cualquier redacción evasiva, porque delimita lo que se sabe. Cuando la equivalencia sí sale, se ve distinta: con 200 por grupo y d = 0.05, las dos pruebas dan p < .001 y el intervalo del 90% queda dentro, [-0.12, 0.22]. Ahí sí se escribe que el efecto es estadísticamente equivalente a cero dentro de un margen de ±0.40 (Lakens, 2017).

El precio hay que saberlo antes de prometer nada. Para establecer equivalencia con un límite de 0.40 y 80% de potencia hacen falta unos 108 participantes por grupo, 216 en total: casi el doble que el estudio de 60 por grupo. Afirmar ausencia de efecto es más caro que detectarlo, y por eso casi nadie lo hace bien. Si tienes las medias y las desviaciones típicas y quieres ver dónde cae tu efecto respecto al límite que has fijado, la calculadora de tamaño del efecto te da el d con su intervalo en un paso.

El factor de Bayes: cuánto favorecen tus datos al nulo

El factor de Bayes compara dos modelos en vez de contrastar uno. El BF₁₀ dice cuántas veces más probables son tus datos bajo la hipótesis del efecto que bajo la del cero, y su inverso, el BF₀₁, contesta justo la pregunta que el valor p no puede contestar: cuántas veces más probables son bajo la ausencia de efecto. Un BF₀₁ de 8 significa que los datos son ocho veces más esperables si no hay efecto que si lo hay, con el modelo de efecto que hayas especificado. Eso ya es evidencia a favor del nulo, no ausencia de evidencia.

Con el ejemplo de 60 por grupo y la previa de Cauchy JZS (Rouder et al., 2009) en la escala 0.707 que traen JASP y BayesFactor por defecto, sale BF₁₀ = 0.39, o sea BF₀₁ = 2.56. Las etiquetas convencionales —de 1 a 3 anecdótico, de 3 a 10 moderado, por encima de 10 fuerte—, que son una adaptación al uso de la escala de Jeffreys (1961), lo dejan en anecdótico. Otra vez indeterminado, y coincide con lo que decían el intervalo y el TOST. El estudio grande da BF₀₁ = 8.0, evidencia moderada a favor del nulo.

La distribución previa influye, así que se reporta una comprobación de robustez y no se esconde. En el estudio pequeño, mover la escala de 0.5 a 1.41 mueve el BF₀₁ de 2.0 a 4.7: la conclusión cruza la frontera de 3, es decir, depende de la previa que elijas, y eso hay que decirlo. En el grande el rango va de 5.8 a 15.7 y todo el intervalo se queda en moderado o fuerte, así que la conclusión aguanta.

La frase que se escribe es esta: «Una prueba t bayesiana para muestras independientes (previa de Cauchy, escala 0.707) dio BF₀₁ = 8.00, evidencia moderada a favor del modelo nulo; la comprobación de robustez entre escalas de 0.5 y 1.41 devolvió valores de 5.8 a 15.7.» JASP lo hace gratis, con casilla de robustez incluida. Y un aviso: el factor de Bayes no es un valor p con otro nombre y no tiene un umbral que te publique. Es una escala continua, y por debajo de 3 en cualquier dirección lo que tienes sigue siendo un estudio que no decide.

Antes de escribirlo: qué pudo esconder un efecto real

La primera sospechosa es la medida. La correlación observada se atenúa por la fiabilidad de los dos instrumentos: si la correlación verdadera es .30 y tus escalas tienen alfas de .70 y .65, lo que cabe esperar es .20. Con N = 80 eso da r = .20, p = .075, IC 95% [-.02, .40], un nulo de manual con una hipótesis perfectamente correcta detrás. Antes de concluir ausencia de nada, mira las fiabilidades: un efecto se puede gastar entero en el error de medida.

Después vienen los sospechosos habituales, y conviene descartarlos por escrito. Efecto techo o suelo en la escala (mira las distribuciones, no solo las medias). Restricción del rango, típica cuando toda la muestra son estudiantes de segundo de psicología. Comprobación de manipulación fallida, que convierte el contraste en una comparación entre dos condiciones que no se diferenciaron. Dosis o ventana temporal equivocadas: ocho sesiones donde el efecto necesita dieciséis. Y el contraste equivocado, que en muestras pequeñas y asimétricas puede costar bastante potencia.

Y está el diseño, que es donde se decide casi todo. Para detectar d = 0.30 con 80% de potencia hacen falta 176 por grupo, 352 en total. Un estudio de 60 por grupo tiene un 37% de potencia frente a ese efecto y un 78% frente a d = 0.50: estaba montado para ver efectos medianos, no los que suele informar la literatura. Nada de esto se arregla a posteriori, pero se explica, y se planifica la próxima vez con el cálculo del tamaño muestral hecho antes de recoger datos.

Con todo eso en la mano, publícalo. Un nulo bien medido, bien potenciado y acotado con un intervalo o con un TOST es una contribución: le ahorra a otros equipos una hipótesis que ya se probó. Un nulo vago, de una muestra corta y con escalas flojas, no lo es, y la diferencia entre los dos la marca este último apartado, no la suerte. Existen revistas que aceptan resultados nulos y existe el formato de informe registrado, donde el artículo se acepta antes de conocer el resultado; si tu proyecto se juega mucho en un solo contraste, ese es el sitio.

Preguntas frecuentes

¿Qué hago si mi resultado no salió significativo?

Lo primero, no toques el análisis. Reporta el valor p exacto, el estadístico completo y el tamaño del efecto con su intervalo de confianza, y añade un análisis de sensibilidad que diga qué efecto podía detectar tu muestra. Si además quieres afirmar que no hay efecto, necesitas una prueba de equivalencia TOST o un factor de Bayes; sin una de las dos, lo correcto es escribir que no lo detectaste.

¿Un resultado no significativo significa que no hay efecto?

No. Significa que no has podido descartar el cero, que es distinto. El intervalo de confianza suele enseñarlo: en t(118) = 1.24, p = .217, d = 0.23, IC 95% [-0.13, 0.59], efectos de hasta 0.59 siguen siendo compatibles con los datos. Ausencia de evidencia no es evidencia de ausencia.

¿Debo calcular la potencia post hoc si no salió significativo?

No. La potencia calculada con el efecto observado es una función uno a uno del valor p: no aporta información nueva y el argumento es circular (Hoenig y Heisey, 2001). Lo que sí se hace es un análisis de sensibilidad: con tu N y una potencia de .80, qué efecto mínimo podías detectar. Con 60 por grupo, d = 0.52.

¿Cómo demuestro que no hay diferencias entre dos grupos?

Con una prueba de equivalencia. Fijas un efecto mínimo de interés antes de mirar los datos, por ejemplo d = 0.40, y corres dos pruebas de una cola contra los dos límites (TOST): si las dos son significativas, y el intervalo del 90% queda dentro de los límites, puedes afirmar equivalencia dentro de ese margen. Cuesta muestra: unos 108 por grupo para un límite de 0.40 con 80% de potencia.

¿Se puede publicar un resultado no significativo?

Sí, y cada vez más. Lo que decide no es el signo del resultado sino si es interpretable: un nulo con buena potencia, medidas fiables y un intervalo estrecho, o con un TOST o un factor de Bayes, dice algo útil. Hay revistas que aceptan resultados nulos y está el formato de informe registrado, donde el artículo se acepta antes de conocer el resultado.

¿Qué es un factor de Bayes y cuándo lo uso?

Es la razón entre lo probables que son tus datos bajo dos modelos. El BF₀₁ cuantifica cuántas veces más esperables son bajo la ausencia de efecto: un BF₀₁ = 8.0 es evidencia moderada a favor del nulo según las etiquetas al uso, adaptadas de Jeffreys (1961), y entre 1 y 3 el estudio no decide. Se reporta siempre con la previa usada y con una comprobación de robustez.

Un resultado nulo no es un estudio fallido; uno ininterpretable sí. Reporta el p exacto, el tamaño del efecto con su intervalo y un análisis de sensibilidad en lugar de potencia post hoc, y añade un TOST o un factor de Bayes si vas a decir algo sobre la ausencia. Si necesitas decidir cuál de los dos encaja con tu diseño, y qué escribir cuando la respuesta es «indeterminado», eso lo vemos en mi consultoría estadística.