La prueba de equivalencia TOST: cómo demostrar que NO hay diferencia

Tu comparación ha salido con p = .438 y ahora te toca escribir la discusión. La frase que se escribe sola — «ambos formatos no difirieron» — es justo la que te va a tachar un revisor atento, porque tu contraste nunca preguntó eso. Preguntó lo raros que serían tus datos si la diferencia real fuera exactamente cero, y «no son raros» es lo que sale tanto cuando no hay nada como cuando sí lo hay y tu muestra era demasiado pequeña para verlo. La prueba de equivalencia es el procedimiento que cambia esa frase vacía por una afirmación que puedes defender, y la aritmética es fácil de verdad: lo difícil es decidir de antemano qué es lo bastante pequeño como para contar como nada. El menú completo de opciones cuando un resultado sale nulo lo tienes en qué hacer cuando no sale significativo; este artículo va de la única opción que termina en una afirmación positiva.

Una p no significativa no prueba que no haya efecto

El contraste de hipótesis nula está construido para funcionar en una sola dirección. Planteas una hipótesis que te gustaría derribar, calculas lo sorprendentes que serían tus datos si fuera cierta y, si son bastante sorprendentes, la rechazas. No hay ningún paso del procedimiento que te permita aceptarla. No rechazar es lo que pasa cuando el efecto es realmente nulo, y es también lo que pasa cuando el efecto existe pero tu muestra era corta, tu medida ruidosa o tu manipulación floja. Las tres situaciones producen la misma salida. Altman y Bland convirtieron esa idea en el título de una nota del BMJ en 1995 y sigue igual de vigente: la ausencia de evidencia no es evidencia de ausencia.

El intervalo de confianza es donde la diferencia se ve. Imagina dos estudios que comparan los mismos dos tratamientos con el GAD-7 y los dos informan de una diferencia no significativa de −0.53 puntos. El primero, con 154 participantes, tiene un intervalo al 90% de [−1.66, 0.60]: pase lo que pase, una diferencia de dos puntos queda descartada. El segundo, con 52, tiene [−2.50, 1.44], que es compatible con que los tratamientos sean idénticos y compatible por igual con que uno sea dos puntos y medio mejor. El mismo veredicto de «no significativo» y una evidencia completamente distinta. Quien solo lea la p no puede saber cuál de los dos estudios hiciste.

El apaño reflejo — calcular la potencia observada a posteriori para poder decir que el estudio estaba infrapotenciado — no sirve, porque la potencia post hoc es una reescritura del valor p y no añade nada que la p no llevara ya dentro. Todo resultado no significativo produce potencia observada baja: eso es aritmética, no diagnóstico. Por qué falla y qué calcular en su lugar está en el análisis de potencia post hoc.

Lo que un revisor quiere de verdad es la respuesta a otra pregunta, y esa sí tiene respuesta: ¿qué tamaño de efecto puedes descartar con los datos que tienes? La prueba de equivalencia pregunta exactamente eso, y contestarla convierte un no-resultado blando en una afirmación con bordes. Ya no «no encontramos nada», que no se puede ni discutir, sino «podemos excluir cualquier cosa mayor que esto».

TOST: dos contrastes unilaterales y una sola conclusión

El procedimiento de los dos contrastes unilaterales funciona cambiando qué hipótesis hay que derribar. En vez de una nula que dice que la diferencia es exactamente cero, escribes dos nulas que dicen que la diferencia es grande. La primera: la diferencia real iguala o queda por debajo del margen inferior, −Δ. La segunda: la diferencia real iguala o supera el margen superior, +Δ. Cada una se contrasta de forma unilateral con α = .05. Si rechazas las dos, los únicos valores que quedan en pie son los que caen entre los márgenes, y esa es la conclusión de equivalencia.

La aritmética reaprovecha todo lo que la prueba t normal ya te dio: la misma diferencia de medias, el mismo error típico, los mismos grados de libertad. Lo único que haces es desplazar el numerador con el margen. El contraste inferior es la diferencia de medias más Δ dividida entre el error típico; el superior es la diferencia de medias menos Δ dividida entre el mismo error típico. La p que informas es la MAYOR de las dos, porque necesitas los dos rechazos y manda el más débil. Es un contraste de intersección-unión, y por eso — esto descoloca a casi todo el mundo — no se corrige por hacer dos pruebas. Dos contrastes unilaterales a .05 dan una prueba de equivalencia a .05, no a .10.

Hay un atajo que te ahorra la aritmética entera. Con α = .05, preguntar si la TOST es significativa es exactamente lo mismo que preguntar si el intervalo de confianza al 90% de la diferencia cabe entero dentro de los márgenes. Al 90%, no al 95%: cada contraste unilateral gasta un 5% en una cola, así que el intervalo que les corresponde deja un 5% en cada cola y un 90% en medio. Mirar el intervalo del 95% no es incorrecto, es conservador — estás ejecutando sin decirlo una prueba de equivalencia a α = .025, y a veces te quedarás sin una conclusión a la que el alfa que preregistraste sí te daba derecho.

Nada de esto es nuevo ni nació en psicología. Schuirmann lo formalizó en 1987 para la bioequivalencia, donde la pregunta es si un genérico alcanza la misma concentración que el fármaco de marca, y la versión regulatoria del margen es la conocida regla del 80–125%: el intervalo al 90% del cociente de medias geométricas tiene que caer dentro de esos límites para que el genérico se apruebe. La psicología importó la maquinaria con Lakens (2017) y el tutorial de Lakens, Scheel e Isager (2018), de donde sale casi toda la práctica actual.

Un ejemplo con los números puestos

Una unidad de salud mental de la red pública quiere saber si la versión en línea de su protocolo de TCC para ansiedad generalizada deja a los pacientes igual de bien que la presencial. Puntuaciones del GAD-7 al terminar el tratamiento: en línea, n = 78, M = 8.42, DT = 4.10; presencial, n = 76, M = 8.95, DT = 4.36. La desviación típica combinada es 4.23 y el error típico de la diferencia, 0.682. La comparación de siempre da t(152) = −0.78, p = .438, d = −0.13. Sola, esa frase no dice absolutamente nada.

El margen se fijó en el protocolo antes de empezar a reclutar: ±2 puntos del GAD-7. El razonamiento no fue estadístico. La escala va de 0 a 21, las decisiones del equipo sobre subir o bajar el nivel de atención no cambian por menos de dos puntos, y el formato en línea libera horas de clínico — así que una diferencia menor de dos puntos no cambiaría lo que la unidad hace con un paciente. Esa justificación, escrita en dos líneas, es lo que hace defendible todo lo que viene después. Sin ella, el margen es un número que ha salido bien.

Vamos con los dos contrastes unilaterales. El inferior es (−0.53 + 2) / 0.682 = 2.16, que con 152 grados de libertad da p = .016. El superior es (−0.53 − 2) / 0.682 = −3.71, p < .001. La mayor de las dos es .016, así que se rechazan las dos nulas y la diferencia es estadísticamente equivalente a cero dentro de ±2 puntos. El intervalo de confianza al 90%, [−1.66, 0.60], cae entero dentro del margen, que es la misma conclusión a la que llegas mirando en vez de calculando.

Pasa esas mismas medias y desviaciones por un estudio más pequeño — 26 por grupo en lugar de 78 y 76 — y el cuadro cambia entero. La prueba de siempre da t(50) = −0.45, p = .653, que parece el mismo no-resultado cómodo. La prueba de equivalencia da p = .108 y un intervalo al 90% de [−2.50, 1.44], que se sale por el margen inferior. No se ha demostrado nada en ninguna dirección, y la palabra honesta para eso es «no concluyente». Dos resultados nulos que se leen igual sobre el papel: uno sostiene una afirmación y el otro no sostiene ninguna.

Elegir el SESOI es lo difícil, y no es una decisión estadística

Todo lo anterior es aritmética que te hace un paquete. El margen no, y ahí es donde vive de verdad la prueba de equivalencia. Un SESOI — el tamaño de efecto mínimo de interés — es una afirmación sobre qué importaría, y no hay datos que te la den, porque los datos no pueden saber qué vas a hacer con la respuesta. Lo que un revisor comprueba no es si tu número es el correcto, que es incognoscible, sino si sabes decir de dónde sale y puedes demostrar que lo elegiste antes de mirar.

Hay cuatro caminos que aguantan una revisión, y conviene decir cuál tomaste. Relevancia clínica o práctica. El cambio más pequeño que hace que alguien actúe distinto — una dosis, una derivación, una decisión —, que en clínica suele ser la diferencia mínima importante establecida para ese instrumento. Coste-beneficio. El efecto que la opción nueva tiene que superar para compensar lo que cuesta, molesta o exige de formación; si el formato en línea es más barato, el listón es «que no sea peor de forma relevante», y puedes decir cuánto peor estás dispuesto a tolerar por el ahorro. Telescopios pequeños. La propuesta de Simonsohn (2015) para replicaciones: tomar el efecto que el estudio original tenía un 33% de potencia para detectar, que sale d = 0.50 con 20 participantes por grupo y d = 0.31 con 50 por grupo. Viabilidad. El efecto más pequeño que puede acotar la muestra que de verdad puedes reclutar, dicho abiertamente como limitación y no disfrazado de preferencia.

Los baremos de Cohen de 1988 son convenciones para describir efectos, no umbrales para decidir nada, y agarrarse a d = 0.20 como margen automático es la versión más perezosa de esta decisión: puede quedarse cortísimo en un ensayo caro y demasiado ancho en una comparación de seguridad. Cuando la escala significa algo para quien la usa, fija el margen en unidades brutas: dos puntos del GAD-7 se discuten en una sesión clínica, d = 0.47 no. Los márgenes estandarizados son para escalas de las que nadie tiene intuición, y heredan la desviación típica que tu muestra concreta haya producido. Cómo leer una d antes de convertirla en margen lo tienes en la interpretación de la d de Cohen, y la calculadora de tamaño del efecto hace la conversión entre unidades brutas y estandarizadas.

Los márgenes no tienen por qué ser simétricos. Muchas veces solo una dirección es un problema: el formato en línea no puede ser más de dos puntos peor, y que sea mejor es una buena noticia de la que nadie necesita protegerse. Eso es un contraste de no inferioridad — un solo contraste unilateral, un solo margen — y su conclusión es «no es peor de forma relevante», no «es equivalente». Di cuál de los dos hiciste, porque responden a preguntas distintas y un revisor se da cuenta si reclamas la fuerte. Y fija el número antes de ver el intervalo: elegir el margen después de mirar los datos es el mismo grado de libertad del investigador que elegir el criterio de exclusión después de mirar la p, y se detecta incluso más fácil, porque el margen siempre cae sospechosamente justo por fuera del intervalo.

Cuatro cosas pueden pasar cuando haces las dos pruebas

El contraste de diferencia y el de equivalencia responden a preguntas distintas, así que se pueden hacer los dos sobre la misma comparación, y entonces hay cuatro resultados posibles en vez de dos. Ninguno significativo. No concluyente: no puedes excluir el cero ni puedes excluir efectos mayores que tu margen, que casi siempre significa que el estudio era pequeño para la pregunta. Significativa la diferencia, no la equivalencia. Hay efecto y puede ser lo bastante grande como para importar. No significativa la diferencia, sí la equivalencia. Evidencia de ausencia en el único sentido honesto que puede tener la expresión: sea cual sea el efecto, es demasiado pequeño para interesar. Las dos significativas. Un efecto real que aun así es trivialmente pequeño.

Esa cuarta casilla es la que todo el mundo olvida, y en muestras grandes es la habitual. Un estudio de registro con N = 3.000 encuentra que las horas de pantalla correlacionan con la sintomatología depresiva a r = .05, t(2998) = 2.74, p = .006. Significativo, y en una nota de prensa se convierte en una relación entre las pantallas y la depresión. Con un SESOI de ±.10 la prueba de equivalencia también sale significativa, p = .003, y el intervalo al 90%, [.02, .08], queda entero dentro del margen. La correlación es real y es más pequeña que cualquier cosa que los propios autores dijeron de antemano que importaría. Informar solo de la p convierte eso en un titular que los datos no aguantan.

Este es el argumento para meter las dos pruebas en el plan de análisis en lugar de acordarte de la equivalencia solo cuando un resultado decepciona. Hacer la pareja en cada comparación principal cuesta una línea de código y te quita de encima las dos peores frases de un apartado de resultados: «no hubo diferencias» cuando nunca lo contrastaste y «hubo una asociación significativa» cuando la asociación es demasiado pequeña para hacer nada con ella.

Cómo se reporta la TOST en APA 7

El Método lleva el montaje y necesita cuatro cosas: el margen con sus unidades, la justificación, el alfa y el hecho de que todo se fijó de antemano. Con una frase basta. «La equivalencia se evaluó con dos contrastes unilaterales frente a un margen de ±2 puntos del GAD-7, fijado en el protocolo del estudio como el cambio más pequeño que modificaría una decisión clínica; ambos contrastes unilaterales emplearon α = .05». Si tu margen es estandarizado y no bruto, di sobre qué desviación típica lo has estandarizado, porque nadie puede reconstruirlo desde la tabla de resultados.

El párrafo de resultados informa de los dos contrastes, en este orden, y queda así. «La diferencia entre formatos no fue estadísticamente significativa, t(152) = −0.78, p = .438, d = −0.13. La prueba de equivalencia frente al margen preespecificado de ±2 puntos del GAD-7 sí lo fue, t(152) = 2.16, p = .016, unilateral, y el intervalo de confianza al 90% de la diferencia, [−1.66, 0.60], quedó por completo dentro del margen; los dos formatos son estadísticamente equivalentes dentro de ese límite». Las convenciones de APA 7 son las de siempre: t, p, M, DT, d, n y N en cursiva, el IC y sus límites en redonda, los grados de libertad entre paréntesis pegados a la t. Escribe «unilateral» al lado de esa p, porque cualquier lector tiene derecho a suponer bilateral si no le dices lo contrario. El resto de convenciones de la prueba t están en cómo reportar la prueba t en APA 7.

Hay dos formulaciones que te van a marcar, y las dos se evitan. «No hubo diferencias» reclama algo que ningún contraste entrega; la afirmación correcta está acotada y tiene que llevar sus límites dentro de la frase: equivalente dentro de ±2 puntos, nunca equivalente a secas. «Se acepta la hipótesis nula» es la otra, y no es lo que ha pasado: has rechazado dos nulas que construiste tú, y eso es un rechazo como cualquier otro. En el resumen, escribe la conclusión como hallazgo y no como disculpa. Un resultado de equivalencia es un resultado positivo y no debería leerse como un estudio que fracasó.

En cuanto al software, R lo hace con el paquete TOSTER, que imprime los dos contrastes unilaterales, la p mayor y el intervalo; jamovi ejecuta ese mismo paquete como módulo y JASP incluye una prueba t de equivalencia entre sus opciones. SPSS no tiene procedimiento de equivalencia, y para los diseños sencillos no le hace falta: la salida de la prueba t para muestras independientes ya imprime la diferencia de medias y su error típico, así que los dos valores t unilaterales son dos divisiones, y poner el nivel de confianza al 90% en el cuadro de Opciones te da el intervalo para comprobarlo a ojo.

Preguntas frecuentes

¿Qué es la prueba de equivalencia TOST?

TOST son las siglas inglesas de dos contrastes unilaterales. En lugar de contrastar si el efecto es exactamente cero, fijas un margen (el tamaño de efecto mínimo de interés) y contrastas dos hipótesis: que el efecto real iguala o queda por debajo del margen inferior y que iguala o supera el superior. Cada una se contrasta de forma unilateral, normalmente a .05, y se informa de la mayor de las dos p. Si esa p mayor baja del alfa, se rechazan las dos nulas y el efecto es estadísticamente equivalente a cero dentro de tu margen. Es el procedimiento estándar para sostener que una diferencia no existe, y viene de la bioequivalencia, donde Schuirmann lo formalizó en 1987.

¿Cómo se elige el margen de equivalencia o SESOI?

Es una decisión sustantiva, no estadística, y hay cuatro caminos defendibles: el cambio más pequeño que modifica una decisión clínica o práctica (la diferencia mínima importante del instrumento), el efecto que la opción nueva debe superar para compensar su coste, la regla de los telescopios pequeños de tomar el efecto que el estudio original tenía un 33% de potencia para detectar (d = 0.50 con 20 por grupo, d = 0.31 con 50 por grupo), o el efecto más pequeño que tu muestra viable puede acotar, dicho como limitación. Fíjalo en unidades brutas cuando la escala sea interpretable, justifícalo en una frase y decide antes de mirar los datos.

¿Por qué la TOST usa un intervalo de confianza del 90% y no del 95%?

Porque el procedimiento son dos contrastes unilaterales y cada uno gasta un 5% en una sola cola. El intervalo que corresponde a esa pareja deja un 5% en cada cola y un 90% en medio, así que una prueba de equivalencia con alfa .05 es exactamente la pregunta de si el intervalo del 90% cae dentro de los márgenes. Mirar el del 95% es conservador más que incorrecto: equivale a hacer la prueba de equivalencia con alfa .025, y a veces te dejará sin una conclusión a la que el alfa que preregistraste sí te daba derecho.

¿Se puede hacer una prueba de equivalencia en SPSS?

SPSS no trae un procedimiento TOST, pero para una comparación de dos grupos no lo necesitas. La salida de la prueba t para muestras independientes imprime la diferencia de medias y su error típico, así que cada t unilateral es una división: suma el margen a la diferencia de medias y divide entre el error típico para el contraste inferior, réstalo para el superior, y consulta los dos con los grados de libertad de siempre. Poner el nivel de confianza al 90% en Opciones te da la versión del mismo contraste en forma de intervalo. Si prefieres que te lo hagan, R tiene el paquete TOSTER, jamovi lo ejecuta como módulo y JASP incluye una prueba t de equivalencia.

¿Qué diferencia hay entre un resultado no significativo y uno equivalente?

Un resultado no significativo dice que tus datos son compatibles con el cero, y también con todos los demás valores del intervalo de confianza, incluidos efectos lo bastante grandes como para importar. Un resultado equivalente dice que el intervalo entero cabe dentro de un margen que definiste de antemano como demasiado pequeño para preocuparte. La misma diferencia de 0.53 puntos del GAD-7 es las dos cosas con 154 participantes, donde el intervalo al 90% es [−1.66, 0.60], y solo la primera con 52, donde es [−2.50, 1.44] y se sale de un margen de dos puntos.

¿Cuántos participantes hacen falta para una prueba de equivalencia?

Para comparar dos grupos con un 80% de potencia, alfa .05 y un efecto real de cero, necesitas alrededor de 70 por grupo con un margen de d = 0.50, 108 por grupo con 0.40, 191 con 0.30 y 429 con 0.20. Estrechar el margen se encarece deprisa: partirlo por la mitad multiplica la muestra por cuatro aproximadamente. Como referencia, la prueba de siempre necesita 64 por grupo para detectar d = 0.50, o sea que la equivalencia con ese mismo margen cuesta solo un poco más, pero eso vale nada más cuando el efecto real es exactamente cero. Si en realidad es d = 0.10 y tu margen es 0.50, te hacen falta 82 por grupo.

Con el margen fijado de antemano y justificado en una línea, los dos contrastes informados, una p unilateral exacta y el intervalo al 90% al lado, un resultado nulo deja de ser una disculpa y pasa a ser un hallazgo. Si lo difícil es precisamente el margen — un instrumento sin diferencia mínima importante establecida, un diseño de no inferioridad, una prueba de equivalencia dentro de un modelo multinivel o de un metaanálisis —, esa es justo la decisión que podemos resolver juntos en mi consultoría estadística.