Cómo reportar el ICC y el acuerdo entre jueces en APA 7

Tres codificadoras vieron las mismas 20 sesiones de terapia, abriste Analizar > Escala > Análisis de fiabilidad en SPSS, marcaste la casilla del coeficiente de correlación intraclase y la salida te devolvió dos números —medidas únicas y medidas promedio— bajo un encabezado que elegiste en un desplegable sin tener del todo claro qué decía. Ese desplegable es el reporte. Un revisor que lee ICC = .87 sin modelo declarado no puede saber si afirmas que esas tres codificadoras coinciden entre sí o que coincidirían tres cualesquiera sacadas de la misma población, y son afirmaciones distintas con consecuencias distintas para tu estudio. Aquí tienes la línea entera, desde las tres decisiones que la producen hasta la frase que pegas en el método. Si lo que necesitas primero es el coeficiente en sí, qué mide y cómo se calcula en SPSS o en R, eso está en la guía del ICC y la concordancia entre evaluadores.

Qué lleva una línea completa de ICC

Seis piezas, y las tres primeras son palabras, no números: el modelo (una vía aleatorio, dos vías aleatorio, dos vías mixto), la forma (evaluador único o promedio de k evaluadores), la definición (acuerdo absoluto o consistencia), el coeficiente, su intervalo de confianza y el contraste F con sus grados de libertad. La plantilla completa: «ICC de efectos aleatorios de dos vías, evaluador único, acuerdo absoluto: ICC = .87, IC 95% [.72, .94], F(19, 38) = 21.08, p < .001».

Las siglas ICC van en redonda, no en cursiva. La regla de APA 7 es que se ponen en cursiva los símbolos estadísticos de una letra —la M, la F, la r, la p—, mientras que las abreviaturas de varias letras se quedan de pie, igual que CFI, RMSEA o AIC. El coeficiente lleva dos decimales y no lleva cero delante del punto, porque su techo es 1: .87, nunca 0.87, y los límites del intervalo hacen lo mismo. Si sale negativo el signo entra dentro: ICC = −.04, IC 95% [−.31, .24].

Hay dos notaciones abreviadas y no dicen lo mismo. La de Shrout y Fleiss (1979) numera modelo y forma, ICC(2,1) o ICC(3,k); la de McGraw y Wong (1996) codifica la definición con letras, ICC(A,1) para acuerdo absoluto e ICC(C,1) para consistencia. El problema práctico es que la numeración de Shrout y Fleiss ata el modelo a la definición —su 2 es aleatorio y de acuerdo absoluto, su 3 es mixto y de consistencia—, así que no tiene manera de escribir un dos vías mixto con acuerdo absoluto, que es justo lo que necesitan muchos estudios. La solución barata es escribirlo en palabras la primera vez y dejar la abreviatura entre paréntesis: nadie se pierde y no dependes de que tu lector recuerde una tabla de 1979.

El contraste F tiene n − 1 grados de libertad en el numerador y (n − 1)(k − 1) en el denominador, con n casos puntuados y k evaluadores: con 20 sesiones y 3 codificadoras, F(19, 38). Ese p contrasta que el ICC sea 0, que es una hipótesis nula que a nadie le interesa —si tus jueces estuvieran de acuerdo cero, lo sabrías antes de abrir SPSS—, así que se reporta por completitud y la carga informativa se la lleva el intervalo. Si prefieres no montar la sintaxis, la calculadora de ICC devuelve el coeficiente con su intervalo para el modelo que elijas.

Tres preguntas, y solo una no cambia el número

Primera: el modelo. Una vía aleatorio cuando cada caso lo puntúa un conjunto distinto de jueces, sacados de una bolsa grande —dos residentes cualesquiera por historia, no siempre los mismos—. Dos vías aleatorio cuando los mismos jueces puntúan todos los casos y quieres generalizar a la población de jueces de la que salieron: «cualquier codificador entrenado así llegaría aquí». Dos vías mixto cuando los mismos jueces puntúan todo y son los únicos que importan, porque son las codificadoras de tu estudio y ahí se acaba la cosa. La pregunta que resuelve el desplegable es una sola: ¿quiero hablar de estos evaluadores o de evaluadores como estos?

Segunda: la forma. Medidas únicas estima la fiabilidad de una puntuación de un evaluador; medidas promedio, la del promedio de los k. La regla es que se reporta la que coincide con la puntuación que analizas después. Si en tu base de datos cada sesión lleva la media de las tres codificadoras, va el promedio; si el 80% de las sesiones las puntuó una sola persona y las otras solo sirvieron para comprobar el acuerdo, va la única. La diferencia no es cosmética: con ICC = .87 de medidas únicas y tres jueces, el promedio sube a .95 por pura aplicación de Spearman-Brown, y reportar .95 para una puntuación que en realidad viene de una persona es inflar la fiabilidad de tu variable.

Tercera: la definición. Acuerdo absoluto pregunta si los jueces dan el mismo valor; consistencia, si los ordenan igual aunque uno puntúe siempre más alto. Imagina que la codificadora C da sistemáticamente 1.2 puntos más que las otras dos en la escala de alianza terapéutica: la consistencia se queda en .89, porque el orden de las sesiones es casi idéntico, y el acuerdo absoluto se hunde a .68, porque los valores no coinciden. Va el acuerdo absoluto cuando el número en sí significa algo —un punto de corte clínico, un baremo, una comparación con otro estudio— y la consistencia cuando lo único que usarás es la posición relativa.

De las tres decisiones, el modelo es la única que puede no mover el número: entre dos vías aleatorio y dos vías mixto el estimador puntual es idéntico y lo que cambia es lo que puedes afirmar con él, y por eso hay que declararlo aunque SPSS imprima lo mismo. La forma y la definición sí cambian el resultado, como acabas de ver. Una consecuencia curiosa de esta arquitectura es que el ICC de dos vías mixto, consistencia, medidas promedio es exactamente el alfa de Cronbach calculado sobre esos datos, con los evaluadores en el papel de los ítems; si esa identidad te resulta útil, en cómo reportar el alfa de Cronbach en APA 7 está la otra cara del mismo cálculo.

El intervalo es el resultado; el ICC solo es su centro

Con 20 casos y tres jueces, un ICC de .87 viene con un intervalo de [.72, .94]. Eso no es un adorno de precisión: es la diferencia entre «moderado» y «excelente» en cualquier baremo al uso, decidida por datos que no tienes. Koo y Li (2016) recomiendan al menos 30 casos heterogéneos y al menos tres evaluadores precisamente por esto; por debajo, el intervalo se abre tanto que el estudio no distingue un instrumento bueno de uno regular. Con 10 casos y dos jueces, un ICC de .76 llega con un intervalo de [.30, .94], y ahí lo honesto es decir que no lo sabes.

La recomendación de los propios Koo y Li es clasificar la fiabilidad por el límite inferior del intervalo, no por el estimador puntual. Es una convención conservadora y tiene sentido: el límite inferior es lo peor compatible con tus datos con una confianza razonable. Escrito, queda así: «el acuerdo entre codificadoras fue bueno, aunque el intervalo de confianza abarca desde valores moderados, ICC = .87, IC 95% [.72, .94]». Cuesta una subordinada y te ahorra el comentario del revisor que ya ha visto ese intervalo antes de leer tu adjetivo.

Hay algo del ICC que no es intuitivo y que conviene declarar: no es una propiedad de tus jueces, sino de tus jueces con esa muestra. En el denominador está la varianza entre casos, así que si codificas 20 sesiones muy parecidas entre sí, el coeficiente baja sin que nadie haya empeorado. El mismo par de codificadoras que saca .87 en una muestra con rango completo de alianza puede sacar .60 en una submuestra de sesiones todas buenas. Por eso el reporte gana mucho con la media y la desviación típica de las puntuaciones codificadas (M = 5.10, DT = 1.84): sin dispersión, el ICC no tiene de dónde salir.

Y sí, un ICC puede salir negativo. Ocurre cuando la varianza estimada entre casos es menor que el error, que es lo que pasa cuando los jueces coinciden poco y la muestra es homogénea. No se convierte en cero por decreto ni se omite de la tabla: se reporta tal cual, con su intervalo, y se explica en una frase. Un ICC = −.04 dice algo verdadero sobre tu procedimiento de codificación; borrarlo del manuscrito y quedarte con el acuerdo bruto en porcentaje, no.

Los baremos de Koo y Li son una convención, y no la única

Los cuatro tramos que casi todo el mundo cita salen de una guía para investigación de fiabilidad clínica: por debajo de .50, pobre; entre .50 y .75, moderado; entre .75 y .90, bueno; por encima de .90, excelente (Koo y Li, 2016). Son un acuerdo entre investigadores, no una propiedad de la matemática, y así hay que presentarlos: «siguiendo los criterios de Koo y Li (2016), el acuerdo fue bueno». La cita no es un adorno, es lo que convierte un adjetivo en una decisión trazable.

Que son convención se ve mejor comparándolos con los de Cicchetti (1994), que también se citan a menudo y cortan por otro sitio: menos de .40, pobre; de .40 a .59, aceptable; de .60 a .74, bueno; de .75 a 1.00, excelente. Un ICC de .72 es moderado para Koo y Li y bueno para Cicchetti, con los mismos datos y sin que nadie mienta. De ahí la norma práctica: se elige el baremo antes de ver el número, se cita, y no se cambia de baremo a mitad de la discusión porque el otro suena mejor.

El umbral que de verdad manda es el que impone tu uso. Un ICC de .75 puede ser suficiente para una variable que entra en un contraste entre grupos, donde el error de medida se reparte y sobre todo atenúa, y ser claramente insuficiente para tomar una decisión sobre una persona concreta, donde ese mismo error se traduce en un intervalo alrededor de su puntuación que puede cruzar el punto de corte. Si tu codificación decide quién entra en un ensayo o quién cumple criterios, el compañero obligatorio del ICC es el error típico de medida en las unidades de la escala, que es lo que un clínico puede interpretar.

Un detalle de escritura que aparece en revisión más de lo que parece: los adjetivos del baremo describen el acuerdo, no la validez. Tres codificadoras pueden coincidir de forma excelente en una variable mal operacionalizada, y el ICC saldrá alto porque están de acuerdo en lo mismo, incluida la misma mala definición. Un acuerdo alto es condición necesaria para creerte la medida y no es condición suficiente, y la discusión no debería escribir el ICC como si fuera un aval de que mides lo que dices medir.

Cuándo va kappa y no el ICC

Lo decide el tipo de dato, no el gusto. Si lo que puntúan los jueces es un número con distancias interpretables —una escala de alianza de 0 a 10, minutos de conducta, una puntuación de calidad—, va el ICC. Si lo que hacen es clasificar en categorías —cumple o no cumple criterios de depresión mayor, cuál de cuatro diagnósticos, presente o ausente—, va la kappa de Cohen, porque el ICC de unos códigos 1, 2, 3 y 4 trataría como más grave equivocarse entre 1 y 4 que entre 1 y 2, y en una variable nominal eso no significa nada. Dos clínicos que clasificaron 120 entrevistas coincidieron en el 88.3% de los casos, κ = .71, IC 95% [.57, .85], p < .001. La calculadora de kappa de Cohen devuelve el índice con su intervalo, y la frase exacta y sus trampas están en cómo reportar el kappa de Cohen en APA 7.

En medio queda lo ordinal, que es donde se juega la mitad de la investigación clínica: gravedad en cuatro niveles, estadios, escalas de mejoría. Ahí va la kappa ponderada, que penaliza más los desacuerdos lejanos que los de casilla contigua, y hay que decir con qué pesos, porque cambian el número: con pesos lineales una discrepancia de dos categorías cuenta el doble que una de una; con pesos cuadráticos, el cuádruple. En un ejemplo típico de gravedad en cuatro niveles, la kappa sin ponderar sale .52 y la ponderada cuadrática .78, y las dos son correctas describiendo cosas distintas. El puente con la sección anterior es exacto: la kappa ponderada cuadrática equivale asintóticamente al ICC de acuerdo absoluto calculado sobre esas mismas categorías (Fleiss y Cohen, 1973).

Kappa de Cohen es para dos jueces. Con tres o más y datos nominales va la kappa de Fleiss (1971), y si además tienes casillas vacías, jueces que no puntuaron todos los casos o quieres el mismo índice para nominal, ordinal e intervalo, el alfa de Krippendorff resuelve las tres cosas a la vez. Lo que no vale en ninguno de los tres escenarios es reportar solo el porcentaje de acuerdo bruto: no descuenta lo que habría salido por azar, y un 88% de acuerdo sobre una categoría que aparece en el 6% de los casos se queda por debajo del 88.7% que el azar solo ya predice, es decir, en una kappa negativa.

El aviso serio con kappa es la paradoja de la prevalencia (Feinstein y Cicchetti, 1990). Si dos revisores clasifican 200 historias y solo en 12 marcan «incidente», pueden coincidir en el 92% de los casos y salir κ = .29, IC 95% [−.04, .62], un intervalo que cruza el cero. No es que los revisores no se entiendan: es que con una categoría tan rara el acuerdo esperado por azar ya es del 88.7% y a kappa le queda poquísimo margen. Cuando pase, se reporta el porcentaje de acuerdo y kappa, y se enseñan las marginales de la tabla. Y un error hermano del lado continuo: la correlación de Pearson no mide acuerdo, porque un evaluador que puntúe siempre dos puntos por encima da r = 1.00 con acuerdo absoluto pésimo; para eso está el ICC de acuerdo absoluto o el gráfico de Bland-Altman.

El párrafo entero, y los cinco errores que lo devuelven

Así queda escrito, en el método y sin nada implícito: «Tres psicólogas entrenadas codificaron de forma independiente la alianza terapéutica en las 20 sesiones (M = 5.10, DT = 1.84). La fiabilidad entre evaluadoras se estimó con un coeficiente de correlación intraclase de efectos aleatorios de dos vías, evaluador único, acuerdo absoluto, ICC(2,1) = .87, IC 95% [.72, .94], F(19, 38) = 21.08, p < .001, que según los criterios de Koo y Li (2016) corresponde a un acuerdo bueno, con un límite inferior en el rango moderado. Los análisis posteriores se realizaron sobre la media de las tres codificadoras, cuya fiabilidad fue ICC(2,3) = .95, IC 95% [.89, .98]». Cinco líneas y el lector sabe qué modelo, sobre qué muestra, con cuánta precisión y qué puntuación entró en los análisis.

La versión categórica es igual de corta: «Dos clínicos independientes clasificaron las 120 entrevistas como cumple o no cumple criterios de episodio depresivo mayor. El acuerdo bruto fue del 88.3% y la kappa de Cohen κ = .71, IC 95% [.57, .85], p < .001, un acuerdo sustancial según Landis y Koch (1977). Las 14 discrepancias se resolvieron por consenso con un tercer clínico ciego a la condición». Ese último dato —qué se hizo con los desacuerdos— falta en la mayoría de los manuscritos y es lo primero que pregunta un revisor metodológico, porque de él depende si tu variable final es una codificación o una negociación.

Los cinco motivos por los que este análisis vuelve, en orden de frecuencia. Uno. «ICC = .87» a secas, sin modelo, forma ni definición: es el número sin la pregunta que responde. Dos. Medidas promedio reportadas cuando la puntuación que analizas la puso un solo codificador, que es fiabilidad prestada. Tres. Consistencia donde hacía falta acuerdo absoluto, típico cuando las puntuaciones se comparan luego con un punto de corte. Cuatro. Sin intervalo de confianza, así que nadie sabe si detrás hay 20 casos o 200. Cinco. El adjetivo pegado al estimador puntual mientras el límite inferior del intervalo cae dos tramos más abajo.

Un sexto, menos frecuente pero más caro: reportar el ICC de un subconjunto y dejar entender que cubre todo el material. Si la doble codificación se hizo sobre el 20% de las sesiones elegidas al azar, eso se escribe, con su n, porque el intervalo depende de ese número y no del total del estudio. Y si el subconjunto no se eligió al azar —las primeras, o las que parecían difíciles—, el ICC que sale no es el del procedimiento, y esa frase también se escribe.

Cuando tengas la frase, cuida también lo que la acompaña: las reglas de la tabla están en tablas en APA 7 y las del gráfico, en figuras en APA 7. Y si ya tienes el apartado escrito, pégalo en Revisa una sección: te devuelve la primera objeción que te haría un revisor, con la frase exacta de tu texto en la que aparece.

Preguntas frecuentes

¿Cómo se reporta el ICC en APA 7?

Nombrando primero el modelo, la forma y la definición, y después el número con su intervalo: «efectos aleatorios de dos vías, evaluador único, acuerdo absoluto, ICC = .87, IC 95% [.72, .94], F(19, 38) = 21.08, p < .001». Las siglas ICC van en redonda, no en cursiva, porque son una abreviatura de varias letras y no un símbolo de una sola. El coeficiente y los límites del intervalo no llevan cero delante del punto, ya que el ICC no puede pasar de 1. La línea vive en el método, junto al número de casos codificados y al número de evaluadores.

¿Qué modelo de ICC tengo que elegir, dos vías aleatorio o dos vías mixto?

Depende de si quieres hablar de tus evaluadores concretos o de evaluadores como los tuyos. Dos vías mixto es para cuando los jueces del estudio son los únicos que importan y no pretendes generalizar; dos vías aleatorio es para cuando los tratas como una muestra de una población de codificadores entrenados igual, que es lo que necesitas si defiendes que el procedimiento es replicable en otro equipo. El estimador puntual que imprime SPSS es el mismo en los dos casos: lo que cambia es la afirmación, y por eso hay que declararlo. El de una vía aleatorio es distinto y solo aplica cuando cada caso lo puntuaron jueces diferentes.

¿Qué valor de ICC es bueno?

La convención más citada es la de Koo y Li (2016): por debajo de .50 pobre, de .50 a .75 moderado, de .75 a .90 bueno y por encima de .90 excelente, juzgando por el límite inferior del intervalo de confianza y no por el estimador puntual. Es un acuerdo entre investigadores, no una ley: los baremos de Cicchetti (1994) cortan en otros sitios y clasifican un .72 como bueno donde Koo y Li dicen moderado. Elige uno antes de ver tu resultado, cítalo, y ten en cuenta que decidir sobre personas individuales exige más fiabilidad que comparar grupos.

¿Cuál es la diferencia entre medidas únicas y medidas promedio en el ICC?

Medidas únicas estima la fiabilidad de la puntuación de un solo evaluador; medidas promedio, la de la media de los k que participaron. Como promediar cancela error, la segunda siempre es mayor: con .87 de medidas únicas y tres jueces, el promedio sale .95. Se reporta la que corresponde a la puntuación que después entra en tus análisis. Si tu base de datos guarda la media de los tres codificadores, va el promedio; si cada caso lleva la puntuación de una persona y los demás solo codificaron un subconjunto para comprobar el acuerdo, va la única.

¿Cuándo se usa kappa en vez del ICC?

Cuando los jueces clasifican en categorías en lugar de puntuar cantidades. Para dos evaluadores y categorías nominales, kappa de Cohen; para categorías ordenadas, kappa ponderada declarando si los pesos son lineales o cuadráticos; para tres o más jueces, kappa de Fleiss o alfa de Krippendorff, que además tolera datos ausentes. El ICC se reserva para variables continuas o escalas numéricas con distancias interpretables. El caso frontera son las escalas ordinales de muchos puntos, donde tratarlas como continuas es práctica habitual y la kappa ponderada cuadrática da prácticamente el mismo número que el ICC de acuerdo absoluto.

¿Por qué me sale un ICC bajo si mis evaluadores están de acuerdo?

Casi siempre por una de dos razones. La primera es que tu muestra es homogénea: el ICC lleva en el denominador la varianza entre casos, así que si todas las sesiones que codificaste se parecen, el coeficiente baja aunque los jueces coincidan al décimo. La segunda es que pediste acuerdo absoluto y hay un sesgo sistemático, con un evaluador que puntúa a todo el mundo por encima; la consistencia sale alta y el acuerdo absoluto se hunde. Antes de rehacer el entrenamiento, mira la desviación típica de las puntuaciones y compara las medias de cada juez: el diagnóstico está ahí.

Con el modelo, la forma y la definición nombradas, el coeficiente sin cero inicial, su intervalo de confianza y un baremo citado, tu ICC está reportado como pide APA 7; y si lo que puntúan tus jueces son categorías, la misma disciplina se aplica a kappa con sus pesos declarados. Cuando la duda no es el formato sino si tu diseño de codificación aguanta lo que quieres concluir con él —cuántos casos por partida doble, qué hacer con los desacuerdos, si el acuerdo alcanza para decidir sobre personas—, para eso está mi consultoría estadística.