Qué es un intervalo de confianza (y qué no es)

La frase aparece una y otra vez en las tesis que reviso: «hay un 95% de probabilidad de que el efecto real esté entre 0.22 y 6.58». Se entiende, suena razonable y es falsa. Lo incómodo no es el error en sí, es que la versión correcta parece un tecnicismo sin consecuencias hasta que alguien te pregunta qué te permite concluir tu intervalo, y ahí se nota quién sabe lo que ha calculado y quién ha copiado el corchete de la salida. Esto va de qué es un intervalo de confianza de verdad, qué significa ese 95%, por qué dice bastante más que una p y cómo se lee su anchura, que es la información que casi todos los apartados de resultados calculan y luego tiran.

El 95% no habla de tu intervalo

En el marco clásico, el parámetro que estimas —la diferencia real entre los dos tratamientos, la correlación real en la población— es un número fijo y desconocido. No es una variable aleatoria: no se mueve, no tiene distribución, no le pasan cosas con probabilidad. Lo que sí se mueve de un estudio a otro es tu intervalo, porque se construye con tu muestra, y con otra muestra te habría salido otro. Por eso, una vez que has calculado [0.22, 6.58], la probabilidad de que el parámetro esté dentro no es .95: es 1 o es 0, y tú no sabes cuál.

Neyman (1937) los construyó exactamente con esa lógica: una regla que, aplicada sistemáticamente, produce intervalos que cubren el parámetro el 95% de las veces. El 95% califica a la regla, no a la pieza que ha salido hoy de la máquina. Es la misma diferencia que hay entre saber que una prueba diagnóstica acierta el 95% de los casos y saber si ha acertado en el tuyo: lo primero se sabe, lo segundo no.

Conviene decir que este error no es de estudiante despistado. Hoekstra et al. (2014) pusieron seis afirmaciones falsas sobre un intervalo delante de estudiantes de grado, doctorandos e investigadores con años de publicaciones, y los tres grupos dieron por buenas varias de ellas; la experiencia no protegía. Si te ha pasado, estás en una compañía muy amplia y muy publicada.

Lo que sí puedes decir sin mentir es esto: los valores dentro del intervalo son los que tus datos no descartan a ese nivel, y los de fuera son los que sí. Es una frase más pobre que la del 95% de probabilidad y por eso gusta menos, pero es la que aguanta una pregunta de seguimiento.

Qué es la cobertura de verdad, y cuándo se rompe

Imagina que repites tu estudio 100 veces, con 100 muestras nuevas de la misma población y el mismo análisis. Cada réplica te da un intervalo distinto: unos más anchos, otros más estrechos, todos centrados en sitios ligeramente distintos. Alrededor de 95 de esos 100 intervalos contendrán el valor verdadero y alrededor de 5 lo dejarán fuera por completo. Esa es la cobertura, y es todo lo que promete el nivel de confianza. Tú tienes uno de los 100 y no hay forma de saber si te ha tocado de los buenos.

La promesa viene con condiciones, y son las mismas que asume el modelo: muestreo aleatorio, los supuestos distribucionales del contraste, medición sin sesgo sistemático y un análisis fijado antes de mirar los datos. Si probaste tres variables de resultado y reportas el intervalo de la que salió mejor, tu cobertura ya no es del 95%, aunque el software escriba «95%» encima. Greenland et al. (2016) insisten en este punto porque es el que más se olvida: el intervalo solo modela el error de muestreo. Una muestra que se te quedó en universitarios de segundo, un 30% de abandono en el postest o un cuestionario que mide otra cosa son fuentes de error que el intervalo no ve y de las que no te avisa.

Hay una promesa que además nunca ha hecho: dónde caerá la media del próximo estudio. Cumming y Maillardet (2006) lo calcularon: un intervalo del 95% captura la media de una réplica exacta alrededor del 83% de las veces, no el 95%. Un intervalo no es una valla para los resultados futuros; es una afirmación sobre el parámetro, y la próxima muestra tiene su propio ruido encima.

Por qué un intervalo dice más que una p

Empieza por la relación exacta entre los dos, que casi nunca se explica: el intervalo del 95% contiene precisamente los valores nulos que no rechazarías con un contraste bilateral a alfa = .05. Si el cero está dentro, p > .05; si está fuera, p < .05. Un intervalo no es una p con adornos, es toda una familia de contrastes a la vez: te dice qué pasaría con cada hipótesis nula que se te ocurriera plantear, no solo con la del cero.

Míralo con números. Dos grupos de 45 personas en la puntuación total del BDI-II, diferencia de medias de 3.40 puntos, SE = 1.60: t(88) = 2.13, p = .036, d = 0.45, 95% IC [0.22, 6.58]. La p te dice una cosa y solo una: el cero no se sostiene con estos datos. El intervalo dice eso mismo y añade el resto de la historia: tus datos son igual de compatibles con una diferencia de 0.22 puntos, que en el BDI-II no la nota ni el paciente ni el clínico, que con una de 6.58, que en un ensayo se consideraría un efecto que justifica cambiar la práctica.

Y cambia lo que puedes escribir. Con la p sola, la frase disponible es «hubo una diferencia significativa entre grupos», que suena a resultado y no compromete a nada. Con el intervalo delante tienes que escribir qué es lo que no puedes descartar, y el revisor puede juzgarlo. Por eso el Manual de la APA (2020) pide el intervalo pegado al tamaño del efecto y no en una nota al pie, y por eso el formato del contraste importa: cómo se escriben la p, los decimales y los ceros iniciales lo tienes desglosado en cómo reportar valores p en APA 7.

La anchura es la información que nadie mira

Dos resultados no significativos pueden significar cosas opuestas, y solo la anchura los distingue. Un piloto con 15 por grupo en ese mismo BDI-II: diferencia de 4.35 puntos, SE = 2.90, t(28) = 1.50, p = .145, d = 0.55, 95% IC [-1.59, 10.29]. El intervalo va desde «el tratamiento empeora un poco» hasta «el tratamiento produce una mejora grande». Eso no es evidencia de que no haya efecto: es evidencia de que este estudio no podía ver nada. La frase honesta no es «no hubo efecto», es «el diseño no tuvo precisión para decidirlo», y se sostiene enseñando el corchete.

El caso contrario. Una correlación de r = .06 entre horas de redes sociales y sintomatología depresiva con N = 2400: t(2398) = 2.94, p = .003, 95% IC [.02, .10]. Es significativa, y el intervalo entero se queda en lo pequeño: su techo, .10, es justo la marca que Cohen (1988) etiquetaba como efecto pequeño. Aquí la pregunta sí está cerrada, solo que la respuesta es aburrida: haya lo que haya, es pequeño. Un intervalo estrecho cierra una pregunta aunque contenga un valor irrelevante; uno ancho no cierra nada, caiga del lado de .05 que caiga. Lo que cuenta como pequeño o grande en cada escala, y por qué los umbrales de Cohen son convenciones y no leyes, está en interpretar el tamaño del efecto.

La anchura no es misteriosa, es aritmética: el margen a cada lado es el valor crítico por el error típico, y el error típico de una media es la desviación típica entre la raíz de n. Con DT = 10, pasar de n = 50 a n = 200 lleva el margen de ±2.84 a ±1.39. Cuadruplicar la muestra para partir el intervalo por la mitad: esa es la tasa de cambio real, y explica por qué añadir veinte participantes al final casi nunca mueve nada.

De ahí sale la consecuencia práctica más útil de todo esto: la anchura de tus intervalos se decide en el diseño, no en el análisis. Cuando planificas el tamaño muestral estás fijando, sin saberlo, cuánta imprecisión vas a tener que defender en la discusión. Planificar para «detectar un efecto» y planificar para «estimarlo con un margen que sirva para algo» no dan el mismo número, y el segundo casi siempre es mayor.

Dentro del intervalo no todos los valores valen lo mismo

El segundo malentendido frecuente es leer el intervalo como una meseta donde cualquier valor es igual de creíble y fuera de la cual no hay nada. No funciona así. La estimación puntual es el valor más compatible con tus datos, y la compatibilidad va bajando suavemente según te acercas a los extremos y sigue bajando un poco más allá. Los límites del 95% no son un acantilado: son un corte colocado sobre una curva continua.

Se ve con los mismos datos de antes. Aquella diferencia de 3.40 puntos con SE = 1.60 da 90% IC [0.74, 6.06], 95% IC [0.22, 6.58] y 99% IC [-0.81, 7.61]. Tres intervalos encajados, el mismo estudio, los mismos números: el del 99% incluye el cero y el del 95% no. No ha cambiado nada en el mundo, has movido el corte. Por esto Greenland et al. (2016) proponen llamarlos intervalos de compatibilidad, y Amrhein, Greenland y McShane (2019) lo convirtieron en una propuesta abierta en Nature.

La consecuencia inmediata es la que más papers arregla: que el cero esté dentro del intervalo no demuestra que el efecto sea cero. El cero es un valor compatible más, casi siempre rodeado de valores que sí importarían, y en el ejemplo del piloto convivía con un 10.29 que habría cambiado la conclusión entera. Para afirmar que no hay efecto hay que fijar antes un umbral de irrelevancia y enseñar que el intervalo cabe dentro; eso es un contraste de equivalencia y funciona al revés de lo que sueles hacer, como se explica en la prueba de equivalencia TOST.

Dos intervalos que se solapan pueden ser distintos

La trampa aparece en cuanto pintas una figura con barras de error. Dos grupos, las barras se tocan un poco, y alguien concluye que no se diferencian. Los números dicen otra cosa. Dos grupos de 80 en la escala de estrés percibido: grupo A M = 24.0, 95% IC [21.2, 26.8]; grupo B M = 19.4, 95% IC [16.7, 22.1]. Los intervalos se solapan entre 21.2 y 22.1. Y la diferencia entre ambos es de 4.60 puntos, 95% IC [0.71, 8.49], t(158) = 2.34, p = .021.

La razón es que el intervalo de una diferencia no se construye juntando dos intervalos. El error típico de la diferencia es la raíz de la suma de los cuadrados de los dos errores típicos, que siempre es menor que su suma. Cumming y Finch (2005) lo convirtieron en una regla visual: con grupos independientes de tamaño parecido, un solapamiento de hasta la mitad de una barra sigue correspondiendo a p ≈ .05, y dos intervalos que no se solapan nada están separados con holgura, más cerca de p = .01 que de .05.

Quédate con la regla operativa: para comparar dos condiciones, calcula el intervalo de la diferencia y reporta ese. Mirar dos intervalos por separado y decidir a ojo es la versión a ojo del análisis que no has hecho. Lo mismo se aplica a la versión narrativa del mismo error, la de «salió significativo en mujeres y no en hombres, luego el efecto es distinto»: comparar significaciones no es comparar efectos, y la diferencia entre significativo y no significativo tampoco es significativa por sí sola (Gelman y Stern, 2006). Si quieres afirmar que difieren, contrasta la interacción.

Cómo se lee un intervalo en tres pasos

Paso 1. Lee los dos extremos en voz alta, en las unidades que significan algo. «De 0.22 a 6.58 puntos del BDI-II», no «el intervalo no incluye el cero». Si no sabes decir qué querría decir el extremo inferior y qué querría decir el superior para la persona que va a usar tu resultado, todavía no sabes lo que has encontrado. Con correlaciones y odds ratio hay que traducir igual, con el añadido de que el intervalo del odds ratio no es simétrico y el de la correlación pasa por la z de Fisher.

Paso 2. Pregunta qué decisiones cambian entre un extremo y el otro. Si en los dos extremos harías lo mismo —recomendar la intervención, o no recomendarla—, tu estudio ha contestado, con la p que sea. Si en un extremo harías una cosa y en el otro la contraria, tu estudio no ha contestado, y la frase honesta nombra la imprecisión en lugar de esconderla detrás de un asterisco. Este paso es el que convierte un intervalo en información útil para alguien que no es estadístico.

Paso 3. Pregunta qué asume esa cobertura. Que el análisis estaba decidido antes, que la muestra representa a la población de la que hablas, que el modelo es razonable. Un intervalo del 95% calculado sobre el mejor de cinco análisis probados no es un intervalo del 95%, y ninguna fórmula te lo va a decir; lo sabes tú y lo sabe tu cuaderno de laboratorio.

Escrito, no cuesta nada: 95% IC [0.22, 6.58], pegado a la estimación, con el nivel indicado y los mismos decimales que el estadístico. La discusión de fondo, la de por qué llevamos décadas colgando conclusiones de un umbral binario en lugar de estimar magnitudes con su incertidumbre, la tienes en adiós a la tiranía del valor p.

Preguntas frecuentes

¿Qué significa exactamente el 95% de un intervalo de confianza?

Que el procedimiento con el que lo has construido produce, a la larga y en muestras repetidas, intervalos que contienen el valor verdadero el 95% de las veces. Es una propiedad de la regla, no de tu resultado concreto. Tu intervalo ya está calculado y o contiene el parámetro o no lo contiene; el 95% describe con qué frecuencia acierta el método, no con qué probabilidad has acertado hoy.

¿Puedo decir que hay un 95% de probabilidad de que el efecto esté en mi intervalo?

No, y es de los errores más repetidos de la estadística aplicada (Morey et al., 2016). En el marco clásico el parámetro es un número fijo, así que no tiene una probabilidad de estar dentro: está o no está. La frase correcta es que los valores del intervalo son los compatibles con tus datos a ese nivel y los de fuera son los que se descartan. Si lo que querías era de verdad una probabilidad sobre el parámetro, eso lo da un intervalo creíble bayesiano, que se calcula de otra manera y necesita una distribución previa.

¿Un intervalo que incluye el cero significa que no hay efecto?

No. Significa que el cero es uno de los valores compatibles con tus datos, casi siempre acompañado de valores que sí importarían. En el ejemplo del piloto, el 95% IC [-1.59, 10.29] incluye el cero y también un 10.29 que cambiaría la conclusión entera. Para afirmar ausencia de efecto hay que fijar antes un umbral de irrelevancia y demostrar que el intervalo entero cae dentro, que es lo que hace un contraste de equivalencia.

¿Por qué me sale un intervalo tan ancho?

Porque el margen es el valor crítico por el error típico, y el error típico depende de la variabilidad de tu medida y de la raíz del tamaño muestral. Un intervalo ancho suele venir de una muestra pequeña, de una medida ruidosa o de las dos cosas. Y la mala noticia aritmética: hay que cuadruplicar la muestra para reducir el intervalo a la mitad, así que añadir unos cuantos participantes al final no lo arregla.

Si dos intervalos se solapan, ¿los grupos no se diferencian?

No se deduce. El intervalo de la diferencia no es la unión de los dos intervalos, porque el error típico de la diferencia es menor que la suma de los dos. Dos medias de 24.0 [21.2, 26.8] y 19.4 [16.7, 22.1] se solapan y aun así difieren: 4.60, 95% IC [0.71, 8.49], p = .021. La comparación se hace con el intervalo de la diferencia, no a ojo entre dos figuras.

¿Reporto el intervalo de confianza o el valor p?

Los dos, y el intervalo primero. Son la misma matemática: el intervalo del 95% contiene los valores nulos que no rechazarías a .05, así que la p no añade información que el intervalo no tenga, mientras que el intervalo sí añade magnitud y precisión. El Manual de la APA (2020) pide la estimación con su intervalo junto al tamaño del efecto, y el valor exacto de la p acompañando al estadístico.

Quédate con dos frases. El 95% describe al procedimiento, no a tu intervalo; y la anchura te dice si tu estudio ha contestado algo, mientras que el cero solo te dice de qué lado de una convención has caído. Si al leer tus corchetes te sale que los dos extremos llevan a decisiones opuestas, el problema no es de redacción, es de precisión, y ese se resuelve antes de recoger datos: cómo se calcula el tamaño muestral que te dará un intervalo defendible está en calcular el tamaño muestral de tu tesis.