Cómo reportar las comparaciones post hoc en APA 7

Corriste el ANOVA, salió significativo, y ahora tienes cuatro grupos, seis comparaciones por pares y un menú desplegable con Bonferroni, Tukey, Šidák, Scheffé, Holm y media docena más, sin una sola línea que explique en qué se diferencian. La tentación es evidente: probar dos o tres y quedarte con la que deja pasar la comparación que te interesaba. Ese gesto no deja rastro en el manuscrito y es una de las fuentes de falsos positivos más productivas de todo el apartado de resultados. Aquí tienes qué controla cada corrección, cuál elegir según lo que estés haciendo, cómo se escribe la p ajustada y por qué reportar solo las comparaciones que salieron no es un ahorro de espacio sino un sesgo. Si la línea del ANOVA que va justo antes todavía no la tienes clara, empieza por cómo reportar un ANOVA en APA 7.

Qué lleva una comparación post hoc

Cuatro números y un nombre. La diferencia de medias con su signo, su intervalo de confianza, el valor p ajustado y un tamaño del efecto; el nombre es el de la corrección, y va acompañado del número de comparaciones sobre las que la aplicaste. Sobre un ensayo con cuatro condiciones y 30 personas por grupo, la frase completa queda así: «la prueba de Tukey mostró que el grupo de terapia cognitivo-conductual puntuó por debajo de la lista de espera, M_dif = 4.70, IC 95% [1.33, 8.07], q(4, 116) = 5.15, p = .002, d = 0.94». Sin el nombre del método esa p no se puede interpretar: la comparación entre terapia cognitivo-conductual y psicoeducación de ese mismo estudio vale .012 sin corregir, .057 con Tukey y .071 con Bonferroni, y las tres son el mismo contraste sobre los mismos datos.

Delante va la línea del ómnibus, con sus dos grados de libertad y su tamaño del efecto: F(3, 116) = 4.84, p = .003, η²_p = .11. Esa línea dice que algo difiere entre los cuatro grupos y no dice qué; las comparaciones post hoc dicen qué y no dicen nada nuevo sobre el conjunto. Con más de dos grupos, un ANOVA significativo sin comparaciones debajo deja al lector con la mitad del resultado, y unas comparaciones sin el ómnibus delante le esconden el contexto en el que se calcularon los grados de libertad del error.

Las cursivas y los ceros iniciales se reparten como en cualquier otro sitio, letra por letra. Van en cursiva M_dif, q, t, F, d, p, n y N; van en redonda α y η²_p, porque son letras griegas. Conservan el cero inicial la diferencia de medias, los límites del intervalo, la d y la q, que pueden pasar de 1; lo pierden la p, α y η²_p, que no pueden. Un detalle de la q: los dos números del paréntesis son el número de grupos y los grados de libertad del error, no k − 1 y el error como en la F. Con cuatro grupos y 116 grados de libertad de error se escribe q(4, 116), y ese primer 4 es el que más veces sale mal copiado.

En cuanto pasas de tres o cuatro comparaciones, esto es una tabla y no un párrafo: una fila por comparación, columnas para la diferencia, el intervalo, la p ajustada y el tamaño del efecto, y una nota al pie con el método y el número de comparaciones. El tamaño del efecto va por comparación, no uno global para el ANOVA entero, y se escribe con la convención habitual de la d de Cohen: con cero inicial, dos decimales y leída como convención y no como ley.

La familia: qué estás corrigiendo y cuánto se infla

Lo que una corrección post hoc protege es la tasa de error por familia: la probabilidad de cometer al menos un falso positivo en el conjunto de contrastes que has hecho, no en cada uno por separado. El tamaño de ese conjunto crece rápido, porque con k grupos hay k(k − 1)/2 comparaciones por pares. Tres grupos son 3 comparaciones, cuatro son 6, cinco son 10 y seis son 15. Ese número, que aquí se llama m, es el que entra en casi todas las fórmulas de ajuste.

La cifra que suele citarse para ilustrar el problema es la de contrastes independientes: si cada uno se hace a α = .05, la probabilidad de al menos un falso positivo es 1 − .95^m, o sea .14 con tres comparaciones, .26 con seis y .40 con diez. Conviene decir en voz alta que las comparaciones por pares no son independientes: comparten grupos y comparten el término de error, así que esos valores son una referencia superior y no el número exacto de tu diseño. La dirección, en cambio, sí es esa, y con diez comparaciones sin corregir ese 40% deja de ser una nota metodológica: es un falso positivo en dos de cada cinco estudios como el tuyo.

La parte incómoda es que la familia no es un hecho de los datos, es una decisión tuya. Si mides dos resultados en cuatro grupos, puedes tratar eso como dos familias de 6 comparaciones o como una sola de 12, y las dos posturas son defendibles; lo que no es defendible es elegir cuál después de ver los valores p. Ese es el mismo problema que resuelve el preregistro del análisis, y basta con una frase en el método: «la corrección de Holm se aplicó por separado dentro de cada variable dependiente, sobre las seis comparaciones por pares de cada una».

Hay un argumento legítimo para no meterlo todo en la misma familia, y también hay una versión abusada del mismo argumento. La versión legítima es que dos contrastes que responden a dos preguntas de investigación distintas, con dos conclusiones separadas, no forman una familia. La versión abusada es declarar que cada una de tus quince comparaciones responde a una hipótesis propia y salir del apartado sin corregir nada. Un revisor con oficio distingue las dos en dos segundos, y la señal que mira es si esas hipótesis estaban escritas antes o aparecieron cuando hizo falta justificar una p de .043.

Bonferroni, Šidák y Tukey

Bonferroni (Dunn, 1961) es la más simple y la más general: divide α entre el número de comparaciones, o equivalentemente multiplica cada p por ese número. Con seis comparaciones el umbral pasa de .05 a .008; con quince, a .003. Su virtud es que no pide nada: vale para comparaciones por pares, para contrastes complejos, para pruebas de tipos distintos mezcladas, y sigue controlando la tasa por familia aunque los contrastes estén correlacionados entre sí. Su defecto es el precio: es conservadora, y lo es cada vez más según crece m, hasta el punto de que en una familia grande el ajuste te deja sin potencia para detectar efectos que existen.

Šidák (1967) hace lo mismo con la fórmula exacta en lugar de la aproximación: el umbral es 1 − (1 − α)^1/m. Es algo menos conservadora que Bonferroni, y merece la pena saber cuánto menos antes de discutirlo con nadie. Con seis comparaciones Bonferroni pone el listón en .0083 y Šidák en .0085; con diez, en .0050 y .0051. La ganancia vive en el cuarto decimal, y además la fórmula de Šidák supone independencia entre los contrastes, que es justo lo que no tienen unas comparaciones por pares. Si tu decisión cambia entre .0050 y .0051, el problema no es la corrección.

Tukey es otra cosa, y para el trabajo típico es la mejor de las tres. En vez de repartir α a ciegas, usa la distribución del rango estudentizado, que modela directamente la diferencia entre la media mayor y la menor de k grupos. Está construida para una familia muy concreta —todas las comparaciones por pares tras un ANOVA— y en esa familia controla la tasa de error de forma exacta con más potencia que Bonferroni. Se ve en los intervalos: sobre nuestro ensayo, el margen simultáneo de Tukey es ±3.37 puntos y el de Bonferroni ±3.47, y la comparación entre terapia cognitivo-conductual y psicoeducación cae en .057 con Tukey frente a .071 con Bonferroni. Ninguna de las dos la deja pasar, pero Tukey pierde menos por el camino.

El precio de Tukey son sus supuestos: varianzas homogéneas y grupos de tamaño parecido. Cuando las varianzas difieren de verdad, la alternativa es Games-Howell (Games y Howell, 1976), que calcula un error típico y unos grados de libertad propios para cada par y no exige homogeneidad. Cuando el ómnibus no era paramétrico, el post hoc tampoco lo es: detrás de un Kruskal-Wallis va la prueba de Dunn con su propio ajuste, y eso tiene sus propias reglas de escritura. Dos que conviene reconocer para no usarlas por defecto: Scheffé protege todos los contrastes imaginables, incluidos los complejos, y por eso es innecesariamente severa si solo vas a hacer pares; y la LSD de Fisher no corrige nada más allá de exigir un ómnibus significativo, cosa que controla la tasa por familia con tres grupos y deja de hacerlo con cuatro o más.

Holm y el FDR: una domina a Bonferroni, la otra controla otra cosa

Holm (1979) es Bonferroni por pasos. Ordenas tus valores p de menor a mayor y comparas el primero con α/m, el segundo con α/(m − 1), el tercero con α/(m − 2), y así hasta que uno falla; a partir de ahí se para y todo lo que queda es no significativo. Con seis comparaciones y valores sin corregir de .002, .009, .019, .031, .048 y .310, el primero se compara con .0083 y pasa, el segundo con .0100 y pasa por poco, el tercero con .0125 y no pasa. Dos supervivientes donde Bonferroni deja uno: Bonferroni exige .0083 a los seis por igual, y esa comparación de .009 se queda fuera por menos de una milésima.

Lo importante de Holm es que esa ganancia es gratis. Ofrece exactamente la misma garantía que Bonferroni sobre la tasa de error por familia, bajo cualquier estructura de dependencia entre los contrastes, y es uniformemente más potente: nunca rechaza menos hipótesis que Bonferroni sobre el mismo conjunto de valores p, y a veces rechaza más. Dicho de otro modo, no existe la situación en la que preferirías Bonferroni a Holm si lo que te importa es la tasa por familia. R lo sabe desde hace décadas y por eso p.adjust() y pairwise.t.test() traen Holm como método por defecto; que Bonferroni siga siendo lo que más se ve en los manuscritos es inercia, no criterio.

El FDR de Benjamini y Hochberg (1995) no es una versión floja de lo anterior: controla una cantidad distinta. En vez de la probabilidad de cometer algún falso positivo, controla la proporción esperada de falsos positivos entre las comparaciones que declaras significativas. Con q = .05 —esta q es el nivel de falsos descubrimientos que aceptas, nada que ver con la q del rango estudentizado de Tukey— la promesa es que, de media, no más de una de cada veinte de las que anuncias estará mal, no que la probabilidad de equivocarte una sola vez sea .05. Es un procedimiento por pasos al revés: se compara cada p ordenada con (i/m) × q, y aquí eso da umbrales de .0083, .0167, .0250, .0333, .0417 y .0500, así que sobreviven las cuatro primeras.

Una, dos o cuatro comparaciones sobre las mismas seis: ese es el tamaño de la decisión. Y decide bien quién la toma. El FDR está en su sitio cuando estás cribando: una matriz de correlaciones entera, comparaciones ítem a ítem, decenas de resultados en un estudio exploratorio, donde declarar unos cuantos falsos positivos es aceptable si a cambio no te pierdes los verdaderos. Está fuera de sitio en un ensayo confirmatorio con cuatro brazos y seis comparaciones: ahí la pregunta es si esta diferencia concreta existe, la tasa por familia es la garantía adecuada, y elegir FDR para pasar de una comparación significativa a cuatro se parece demasiado a elegir el método por el resultado.

Cómo se escribe la p ajustada

Hay dos convenciones y las dos son correctas, pero solo si dices cuál estás usando. La primera, que es la que te devuelven SPSS, R y jamovi por defecto y la que encaja con la regla de APA 7 de dar el valor exacto, es reportar la p ya ajustada y compararla con .05: p = .057, no significativa. La segunda es reportar la p sin corregir y declarar el umbral corregido: p = .012, por encima del α ajustado por Bonferroni de .008. Lo que no se puede hacer es mezclarlas, y la mezcla más frecuente es reportar la p ajustada y compararla con el umbral ajustado, que corrige dos veces y convierte casi todo en no significativo.

El ajuste rompe algunos hábitos de redondeo. Una p sin corregir de .0004 es un «p < .001» perfectamente legítimo, pero multiplicada por seis se convierte en .0024, y entonces se escribe p = .002. Un valor p que estaba por debajo de .001 casi nunca sigue estándolo después de corregir, y arrastrar el «< .001» de la salida sin corregir es un error que se detecta con una multiplicación. Por el otro extremo, una p ajustada no puede pasar de 1: .310 × 6 daría 1.86, así que se trunca y SPSS imprime 1.000, que se reporta tal cual o como p > .999.

La columna se etiqueta. Si en tu tabla conviven la p original y la ajustada, van con subíndice —p_Tukey, p_Holm, p_FDR— o con una nota al pie que nombre el método y el número de comparaciones. Dos columnas tituladas «p» sin nada que las distinga es la forma más común de que esto salga mal, y en SPSS pasa casi sin querer: la tabla de comparaciones por pares de EMMEANS llama «Sig.» a un valor que ya viene ajustado, y lo único que lo dice es la nota «Ajuste para comparaciones múltiples: Bonferroni» debajo. El resto de convenciones de escritura de la p están en cómo reportar valores p en APA 7.

El intervalo de confianza tiene que ir con la misma corrección que la p, y aquí es donde se ven las incoherencias a simple vista. La comparación entre terapia cognitivo-conductual y psicoeducación de nuestro ensayo tiene un intervalo del 95% sin corregir de [0.74, 5.86], que excluye el cero; su intervalo simultáneo de Tukey es [−0.07, 6.67] y el de Bonferroni, calculado al 99.17% porque 1 − .05/6 es ese nivel, es [−0.17, 6.77]. Los dos incluyen el cero, como debe ser con p = .057. Un intervalo que excluye el cero pegado a una p ajustada de .057 en la misma fila es una contradicción, y es la primera que salta cuando alguien lee la tabla con atención.

Planificadas o post hoc, y por qué la corrección se declara antes

La diferencia entre una comparación planificada y una post hoc no está en la fórmula, está en cuándo la decidiste. Una comparación planificada se escribe antes de ver los datos, sale de la hipótesis, hay pocas, y no tiene por qué ser un par: «los dos tratamientos activos juntos frente a la lista de espera» es un contraste planificado perfectamente respetable y no aparece en ninguna tabla de post hoc. Una comparación post hoc es exploratoria por definición, y su familia no son las comparaciones que hiciste sino todas las que podrías haber hecho mirando los datos. Eso es lo que pagas con la corrección.

De ahí salen dos consecuencias prácticas. La primera es que unos contrastes planificados no necesitan un ómnibus significativo para justificarse: si la hipótesis decía que el grupo A difiere del C, ese contraste se contrasta y se reporta pase lo que pase con la F general. La segunda es que con k grupos caben k − 1 contrastes ortogonales, que se reparten la varianza entre grupos sin solaparse, y el argumento clásico para no corregirlos —o corregirlos poco— es precisamente que no se solapan; conviene saber que la ortogonalidad reparte la varianza entre grupos pero no frena la tasa por familia, que sube igual con cada contraste que añades. El problema es que «planificado» es una afirmación sobre tu memoria salvo que esté escrita en algún sitio con fecha. El preregistro es lo que la vuelve comprobable, y desde Simmons, Nelson y Simonsohn (2011) la profesión sabe bastante bien cuánto se mueve un resultado cuando esas decisiones se toman con los datos delante.

Lo mismo vale para la corrección misma, y aquí los números de este artículo son el argumento entero. Sobre los mismos seis valores p, Bonferroni deja pasar una comparación, Holm dos y el FDR cuatro. Si eliges el método después de ver la salida, el método es un resultado de tus datos y no una decisión de tu diseño; la p que publicas ya no significa lo que dice significar, y da igual que la fórmula esté bien aplicada. La solución cuesta una frase en el método, escrita antes: «se planificaron las seis comparaciones por pares entre las cuatro condiciones, con corrección de Holm aplicada a esa familia de seis».

Queda la otra mitad, que es qué enseñas después. Reportar solo las comparaciones significativas es sesgo de selección, y no es una cuestión de estilo. El ajuste depende de m, así que si haces seis comparaciones y muestras tres, el lector no puede recomputar nada: ve tres filas con valores ajustados construidos sobre un número que no aparece, y las tres que ve fueron seleccionadas justamente por ser pequeñas. Van las m comparaciones, con sus diferencias, sus intervalos y sus p ajustadas, en una tabla si son muchas; las que no salieron significativas son las que permiten interpretar las que sí. Si lo que te frena es el trabajo de montar la tabla con el formato correcto, el formateador de resultados en APA te deja las cursivas y los ceros iniciales puestos.

Preguntas frecuentes

¿Qué es mejor, Bonferroni o Tukey?

Para el conjunto completo de comparaciones por pares después de un ANOVA, Tukey, porque está construida para esa familia exacta y controla la tasa de error con más potencia. Sobre el mismo ensayo, una comparación con diferencia de 3.30 puntos sale p = .057 con Tukey y p = .071 con Bonferroni, y el margen del intervalo simultáneo es ±3.37 frente a ±3.47. Bonferroni gana cuando tu conjunto de contrastes no son todos los pares: contrastes complejos, un subconjunto elegido de antemano o pruebas de tipos distintos mezcladas. Y si vas a usar Bonferroni, usa Holm, que da la misma garantía y nunca rechaza menos.

¿Cómo se reporta una corrección de Bonferroni en APA 7?

Nombrando el método, diciendo sobre cuántas comparaciones se aplicó y dando el valor p ya ajustado: «las seis comparaciones por pares se contrastaron con corrección de Bonferroni; el grupo de terapia cognitivo-conductual puntuó por debajo de la lista de espera, M_dif = 4.70, IC 99.17% [1.23, 8.17], p = .002, d = 0.94». Si prefieres reportar la p sin corregir, entonces declara el umbral (α = .05/6 = .008) y compárala con él, pero no hagas las dos cosas a la vez.

¿Se reporta la p ajustada o la p original?

La ajustada, comparada con .05: es lo que devuelven SPSS, R y jamovi por defecto y lo que encaja con la regla de APA 7 de dar el valor exacto. Etiquétala para que se distinga de la original: p_Tukey, p_Holm, p_FDR, o una nota al pie con el método y el número de comparaciones. Ojo con dos detalles de redondeo: una p de .0004 multiplicada por seis es .002 y ya no se escribe «< .001», y una p ajustada se trunca en 1.000 porque no puede pasar de 1.

¿Cuál es la diferencia entre comparaciones planificadas y post hoc?

Cuándo se decidieron. Las planificadas se escriben antes de ver los datos, salen de la hipótesis, son pocas, pueden ser contrastes complejos y no necesitan que el ómnibus sea significativo. Las post hoc se deciden después, y su familia no son las comparaciones que hiciste sino todas las que podrías haber hecho, que es por lo que pagan una corrección más dura. Sin un preregistro o un protocolo con fecha, «planificada» es una afirmación que nadie puede comprobar, y los revisores lo saben.

¿Qué es la corrección FDR y cuándo se usa?

El FDR de Benjamini y Hochberg (1995) controla la proporción esperada de falsos positivos entre las comparaciones que declaras significativas, no la probabilidad de cometer alguno. Con q = .05, de media no más de una de cada veinte de las que anuncias estará mal. Encaja cuando estás cribando muchos contrastes a la vez —una matriz de correlaciones, comparaciones ítem a ítem, un estudio exploratorio con decenas de resultados—, y no encaja en un ensayo confirmatorio con seis comparaciones, donde la garantía adecuada es la tasa por familia. Sobre seis valores p de .002, .009, .019, .031, .048 y .310, el FDR declara cuatro significativas y Bonferroni una.

¿Hay que hacer post hoc si el ANOVA no sale significativo?

Con las pruebas que controlan la tasa por familia por sí mismas, como Tukey o Holm, técnicamente puedes: no dependen de la F general. Con la LSD de Fisher no, porque su única protección es precisamente exigir un ómnibus significativo. En la práctica, empezar a mirar pares después de una F no significativa es exploración, y así hay que reportarlo, con todas las comparaciones a la vista y sin convertir una de ellas en la conclusión del artículo. Lo que no vale es reportar el ómnibus solo cuando sale y los post hoc solo cuando salen.

Con la diferencia de medias, su intervalo, la p ajustada, el tamaño del efecto y el nombre de la corrección con su número de comparaciones, tus post hoc están reportados como pide APA 7. Cuando el diseño se complica —varianzas muy distintas entre grupos, tamaños desiguales, comparaciones anidadas dentro de una interacción o un mismo conjunto de datos con varios resultados—, decidir dónde acaba la familia deja de ser trivial, y eso lo vemos juntos en mi consultoría estadística.