Tu matriz de correlaciones tiene 12 variables, o sea 66 coeficientes, y siete llevan asterisco. Tu ANOVA tiene cuatro variables dependientes y tres grupos. Tu tabla de resultados tiene 28 valores p y cinco están por debajo de .05. Todo eso puede ser evidencia sólida o puede ser exactamente lo que se espera del azar, y la diferencia está en un cálculo que cabe en una línea.
Con 20 contrastes independientes al nivel habitual de .05, la probabilidad de que al menos uno salga significativo aunque no exista ningún efecto real es del 64%. Con 66 correlaciones, es prácticamente una certeza: esperarías más de tres asteriscos por puro azar. Un revisor hace esa cuenta mentalmente en cuanto ve el tamaño de tu tabla, y la pregunta que escribe («were the analyses corrected for multiple comparisons?») no es un formalismo, es la que decide si tu hallazgo existe.
Esta guía explica cómo se infla el error tipo I, por qué Bonferroni suele ser la peor de las opciones disponibles pese a ser la más citada, qué es una familia de contrastes y por qué esa definición es donde de verdad se juega el argumento, cuándo la literatura defiende no corregir, y cómo responder a un revisor sin perder tus resultados por el camino.
La probabilidad de cometer al menos un error tipo I en k contrastes independientes es 1 menos (1 menos alfa) elevado a k. Con alfa de .05: con 3 contrastes es .14; con 10 es .40; con 20 es .64; con 50 es .92; con 66, la cifra de una matriz de 12 variables, es .97. Eso significa que en una tabla de correlaciones de ese tamaño sin corregir, encontrar tres o cuatro asteriscos es lo que ocurriría si todas las relaciones poblacionales fueran exactamente cero.
La primera cosa que mira un revisor no es si has corregido: es cuántos contrastes hay en total en el manuscrito, sumando tablas, texto y suplementario. Y aquí aparece el problema de fondo, que va más allá de la corrección estadística: los contrastes que has hecho y no has reportado también cuentan. Esa es la idea del jardín de senderos que se bifurcan de Gelman y Loken (2014), y el motivo de que la corrección aplicada solo a lo que aparece en la tabla sea, en el mejor de los casos, insuficiente.
La segunda señal es el patrón. Cuando de 40 contrastes salen significativos exactamente los cuatro que confirman las hipótesis, y con valores p entre .03 y .049, un revisor experimentado sospecha. Cuando salen cuatro dispersos y sin relación teórica clara entre ellos, y la discusión les construye una explicación a posteriori, la sospecha es mayor y suele venir acompañada de una petición de preregistro o de reencuadre como exploratorio.
La tercera son los análisis de subgrupos: «el efecto no fue significativo en la muestra global, pero sí en mujeres mayores de 40». Cada partición de la muestra multiplica los contrastes de forma invisible, y el análisis de subgrupos no preespecificado es, en revisión clínica, una de las señales de alerta más vigiladas.
La corrección no se aplica a «todos los contrastes del artículo» de forma automática: se aplica dentro de una familia, y la definición de familia es una decisión sustantiva del investigador, no una regla mecánica. Una familia es el conjunto de contrastes que responden conjuntamente a una misma pregunta de investigación, de modo que una conclusión errónea en cualquiera de ellos comprometería la misma afirmación.
Ejemplo claro: si comparas tres grupos de tratamiento en una única variable de desenlace primaria, las tres comparaciones por pares son una familia y se corrigen entre sí. Si además mides cuatro desenlaces secundarios que responden a preguntas distintas, esos no tienen por qué formar familia con los anteriores, aunque sí quizá entre ellos.
Esta es la razón por la que la respuesta más efectiva a un revisor casi nunca es «hemos aplicado Bonferroni a los 60 contrastes», sino «hemos definido tres familias de contrastes correspondientes a nuestras tres hipótesis preregistradas y hemos corregido dentro de cada una, dejando los análisis exploratorios explícitamente etiquetados como tales y sin corregir». Esa respuesta demuestra criterio en lugar de obediencia.
Lo que no se acepta es definir la familia después de ver qué sobrevive. Si eliges la agrupación que salva tus resultados, has añadido un grado de libertad más al problema que intentabas resolver. La forma limpia de blindarse es declarar la estructura de familias en el plan de análisis, idealmente preregistrado, antes de mirar los datos.
Hay dos objetivos distintos y elegir el equivocado te cuesta o falsos positivos o potencia. Controlar la tasa de error por familia (FWER) es controlar la probabilidad de cometer al menos un falso positivo: es el criterio conservador, apropiado cuando un solo error invalida la conclusión, como en el desenlace primario de un ensayo. Controlar la tasa de falso descubrimiento (FDR) es controlar la proporción esperada de falsos positivos entre los resultados declarados significativos: es el criterio adecuado cuando haces muchos contrastes exploratorios y puedes tolerar que una fracción de tus hallazgos sea ruido.
Divide alfa entre el número de contrastes. Con 40 contrastes, tu umbral pasa a ser .00125, y con eso pierdes prácticamente toda la potencia para efectos pequeños y medianos. Además, es innecesariamente conservadora cuando los contrastes están correlacionados entre sí, que es lo normal en psicología, donde las variables comparten varianza.
Tiene una virtud: nadie discute su validez y todos los revisores la conocen. Si tienes tres o cuatro contrastes y muestra suficiente, aplicarla es la vía más rápida a la paz. Con más de diez contrastes, aplicarla suele significar quedarte sin artículo.
El procedimiento secuencial de Holm (1979) ordena los valores p de menor a mayor y los compara con umbrales progresivamente menos estrictos: el menor con alfa entre k, el siguiente con alfa entre k menos 1, y así hasta la primera no significación, momento en el que se detiene. Controla la FWER exactamente igual que Bonferroni, es uniformemente más potente y no requiere ningún supuesto adicional.
Dicho de otro modo: si estabas dispuesto a aplicar Bonferroni, aplicar Holm te da todo lo que Bonferroni te daba y algún resultado más. Es una de las recomendaciones más fáciles de dar y de las menos seguidas. En R es p.adjust(p, method = "holm"), y es el método por defecto de esa función precisamente por eso.
El procedimiento de Benjamini y Hochberg (1995) controla la proporción esperada de falsos positivos entre los rechazos. Con 60 contrastes y un FDR fijado en .05, estás aceptando que alrededor de un 5% de los resultados que declares significativos sean falsos, a cambio de conservar mucha más potencia que cualquier método de FWER.
Es lo estándar en matrices de correlaciones grandes, en estudios con muchas variables dependientes y en cualquier análisis con vocación exploratoria. En reporte APA es cada vez más habitual ver el valor p ajustado como p_FDR junto al p sin ajustar, lo que permite al lector ver las dos cosas. En R: p.adjust(p, method = "BH").
Para comparaciones por pares tras un ANOVA con varianzas homogéneas y grupos equilibrados, Tukey HSD es la opción estándar y es más potente que Bonferroni para ese caso concreto. Si las varianzas difieren o los tamaños son desiguales, Games-Howell. Si tus comparaciones son todas contra un grupo control y no todas contra todas, la prueba de Dunnett es notablemente más potente porque hace menos contrastes.
Y un matiz que casi nadie aplica: si tus contrastes estaban planificados de antemano y son pocos y teóricamente motivados, puedes usar contrastes planificados en lugar de post hoc, con menos penalización. La diferencia entre planificado y post hoc es de nuevo temporal, no matemática, y por eso solo la sostiene un plan de análisis escrito antes.
La corrección automática de todo no es la postura consensuada, y conviene conocer el argumento contrario porque a veces es el tuyo. Rothman (1990) sostuvo, en un texto muy citado en epidemiología, que ajustar por comparaciones múltiples en estudios observacionales exploratorios aumenta los falsos negativos sin una ganancia epistémica clara, porque parte de una hipótesis nula universal (que ningún efecto existe) que rara vez es plausible.
Los casos donde no corregir es defendible, siempre que se argumente explícitamente en el texto: cuando tienes un único desenlace primario preespecificado y todo lo demás está declarado como secundario o exploratorio; cuando los contrastes responden a preguntas independientes entre sí y no se combinan en una única conclusión; cuando el objetivo es estimar magnitudes y no declarar significaciones, y por tanto reportas intervalos de confianza sin umbrales; y cuando el estudio es explícitamente generador de hipótesis y así se etiqueta en el título o el abstract.
Lo que no funciona es no corregir y no decir nada. La objeción del revisor no es «no has corregido», es «no me has dicho cómo has gestionado la multiplicidad». Un párrafo que declare la estructura de contrastes, cuáles son confirmatorios y cuáles exploratorios, y qué se corrigió y qué no y por qué, resuelve la objeción incluso cuando la decisión final es no corregir nada.
La alternativa más elegante, cuando tu diseño lo permite, es reducir el número de contrastes en lugar de castigarlos: un análisis multivariante conjunto en lugar de cuatro ANOVA por separado, un modelo con un índice compuesto en lugar de seis subescalas, un contraste de la interacción global en lugar de comparar todos los subgrupos. Los revisores valoran mucho más un diseño analítico parsimonioso que una corrección aplicada sobre un exceso de contrastes.
Delata: una tabla de correlaciones de 11 variables con asteriscos y una nota al pie que dice «* p < .05; ** p < .01», sin ninguna mención a la multiplicidad, seguida de una discusión que interpreta sustantivamente tres de las asociaciones marcadas con un solo asterisco.
Aguanta: la misma tabla con una columna o una nota que indique los valores p ajustados por FDR, y una discusión que distinga entre las asociaciones que sobreviven al ajuste y las que no, tratando estas últimas como exploratorias.
Delata: «Se realizaron pruebas t para cada una de las 14 subescalas, encontrándose diferencias significativas en Ansiedad (p = .041), Somatización (p = .037) y Hostilidad (p = .048)».
Con 14 contrastes, esperar tres p por debajo de .05 por azar es casi exactamente lo que ocurriría bajo la nula. Aguanta: «Se compararon las 14 subescalas del SCL-90-R entre grupos, aplicando control de la tasa de falso descubrimiento (Benjamini-Hochberg). Ninguna diferencia se mantuvo significativa tras el ajuste (p_FDR mínimo = .32). Los tamaños del efecto se reportan íntegros en la Tabla 3 para permitir su uso en síntesis posteriores; el patrón observado en Ansiedad (d = 0,38) se discute como resultado exploratorio que requiere replicación».
Delata: «El efecto no alcanzó significación en la muestra total, pero el análisis por subgrupos reveló un efecto significativo en participantes con estudios universitarios (p = .02)».
Aguanta: «El efecto no alcanzó significación en la muestra total. Un análisis exploratorio por nivel educativo, no preespecificado, sugirió un patrón diferencial (interacción: F(1, 214) = 4,12, p = .044, eta cuadrado parcial = .019). Dado el carácter post hoc de esta partición y el número de subgrupos examinados (cuatro variables sociodemográficas), interpretamos este resultado como generador de hipótesis y no como evidencia de moderación».
Fíjate en el detalle técnico de esa última versión: la forma correcta de sostener que un efecto difiere entre subgrupos no es mostrar que es significativo en uno y no en otro, sino contrastar directamente la interacción. Es un error de razonamiento tan frecuente que tiene nombre propio en la literatura metodológica, y un revisor formado lo marca siempre.
El pánico habitual es que corregir mate los resultados. A veces pasa, y hay que asumirlo. Pero antes de rendirte, comprueba tres cosas: si estabas usando el método más conservador cuando había uno más potente disponible, si estabas metiendo en la misma familia contrastes que responden a preguntas distintas, y si podías reducir el número de contrastes reformulando el análisis.
Un modelo de respuesta cuando los resultados sobreviven: «Agradecemos el comentario. Hemos reorganizado los contrastes en tres familias correspondientes a las tres hipótesis del estudio y hemos aplicado el procedimiento secuencial de Holm dentro de cada una, en lugar de Bonferroni, por su mayor potencia con el mismo control de la tasa de error por familia (Holm, 1979). Los resultados principales se mantienen significativos tras el ajuste (Tabla 2, columna p_Holm). Los análisis de las variables secundarias se reportan ahora explícitamente como exploratorios, con control de la tasa de falso descubrimiento, y su discusión se ha reformulado en consecuencia (pp. 14-15)».
Y un modelo para cuando no sobreviven, que es más difícil y más importante: «Tras aplicar el control de la tasa de falso descubrimiento, dos de los cuatro efectos que reportábamos dejan de ser significativos. Hemos actualizado los resultados, el abstract y la discusión para reflejarlo. Los dos efectos que no sobreviven se reportan ahora con sus tamaños del efecto e intervalos de confianza y se discuten como resultados preliminares que requieren replicación, sin sostener sobre ellos ninguna de las conclusiones del artículo. Consideramos que el manuscrito gana en calibración: las dos asociaciones que sí resisten el ajuste son precisamente las que estaban preespecificadas y las que el marco teórico predecía».
Ese segundo modelo funciona sorprendentemente bien en revisión. Un autor que retira sus propias afirmaciones cuando el análisis correcto no las respalda genera confianza en todo lo demás que dice, y los editores lo notan.
No hay un número mágico, pero a partir de cinco o seis contrastes dentro de una misma familia el problema empieza a ser sustancial: con seis, la probabilidad de al menos un falso positivo ronda el 26%. Más importante que el número absoluto es si esos contrastes responden conjuntamente a una misma pregunta y si estaban planificados de antemano.
Holm, salvo que la revista te imponga otra cosa. Controla exactamente la misma tasa de error, es uniformemente más potente y no requiere supuestos adicionales. No existe una situación en la que Bonferroni sea preferible a Holm por razones estadísticas; solo por costumbre.
Si la usas para declarar hallazgos, sí, y lo estándar en ese caso es el control de la tasa de falso descubrimiento porque el número de coeficientes es grande. Si la matriz es puramente descriptiva y sirve de contexto para un modelo posterior, puedes presentarla sin asteriscos y con intervalos de confianza, dejando claro en el pie que no se usa para contrastar hipótesis.
Depende de qué hagas con ellos. Si vas a interpretar sustantivamente los hallazgos, el control de la tasa de falso descubrimiento es lo razonable. Si los presentas explícitamente como generadores de hipótesis, con tamaños del efecto e intervalos y sin declarar significaciones, puedes no corregir siempre que la etiqueta de exploratorio sea visible y consistente en todo el manuscrito, no solo en una nota al pie.
No, pero cambia mucho el marco. El preregistro te permite defender qué contrastes eran confirmatorios y cuáles no, definir las familias antes de ver los datos y separar limpiamente ambos bloques. Dentro de la familia confirmatoria sigues teniendo multiplicidad si hay varios contrastes, y hay que gestionarla; lo que desaparece es la sospecha de que la estructura se eligió a posteriori.
Contrastando directamente la interacción, no comparando dos valores p. Que un efecto sea significativo en un grupo y no en el otro no implica que los efectos difieran entre sí: es un error de inferencia bien documentado. Además, los contrastes de interacción necesitan bastante más potencia que los efectos principales, así que conviene planificarlos y no descubrirlos.