La frase que busca un revisor es esta: κ = .82, p < .001, IC 95% [.71, .93]. Kappa en minúscula griega y sin cursiva, dos decimales, sin cero delante del punto —no puede pasar de 1— y con su intervalo de confianza, que es la parte que casi todo el mundo se deja.
Pero antes de escribirla hay una cosa que decidir, y es la que de verdad separa un reporte defendible de uno que se cae en revisión: si tu kappa es bajo, ¿es que tus evaluadores no se ponen de acuerdo, o es que kappa está midiendo mal? Porque las dos cosas pasan, y se distinguen mirando la tabla de contingencia.
Qué es kappa y qué no es
El kappa de Cohen (1960) mide el acuerdo entre dos evaluadores descontando el acuerdo que habría salido por azar. Esa resta es todo el asunto. Si dos personas clasifican casos en dos categorías tirando una moneda, coincidirán el 50% de las veces sin haber acordado nada. El porcentaje de acuerdo bruto diría «50% de acuerdo»; kappa dice 0, que es la verdad.
De ahí salen dos consecuencias prácticas:
Kappa no es un porcentaje y no se lee como tal. Un κ de .60 no significa «coinciden el 60% de las veces».
Kappa puede ser negativo. Va de −1 a 1. Un valor negativo significa que el acuerdo observado es menor que el esperado por azar, lo cual normalmente apunta a que un evaluador entendió las categorías al revés.
Qué hay que reportar, exactamente
Un reporte completo de kappa en APA 7 lleva seis piezas, y con cuatro de ellas no cuela:
El número de unidades codificadas y el número de evaluadores. «Dos codificadores independientes clasificaron los 120 fragmentos».
Las categorías y cuántas hay. Kappa con tres categorías y kappa con diez no son comparables.
Si los evaluadores trabajaron de forma independiente y ciega. Si se consultaron entre ellos, kappa no mide lo que dice medir, y hay que decirlo.
El valor de kappa con su intervalo de confianza del 95%. El intervalo es obligatorio en APA 7 desde la sexta edición y sigue faltando en la mayoría de manuscritos.
El porcentaje de acuerdo bruto, junto a kappa. No sustituye a kappa, pero sin él no se puede detectar la paradoja de la que hablo más abajo.
Qué se hizo con los desacuerdos. Resolución por consenso, tercer codificador, o exclusión. Es una decisión metodológica y va escrita.
La frase, lista para copiar
«Dos codificadores independientes y ciegos a las hipótesis clasificaron los 120 fragmentos en tres categorías (evitación, reevaluación, supresión). El acuerdo bruto fue del 91.7% y el acuerdo corregido por azar, sustancial, κ = .82, p < .001, IC 95% [.71, .93]. Los 10 desacuerdos se resolvieron por consenso con un tercer codificador.»
Fíjate en que el porcentaje de acuerdo va con un decimal y kappa con dos. Y en que la p de kappa contrasta si es distinto de cero, que es una hipótesis nula bastante pobre: con 120 casos, casi cualquier kappa sale significativo. Repórtala porque APA lo pide, pero el argumento lo sostiene el intervalo de confianza, no la p.
Los baremos de Landis y Koch, y por qué hay que citarlos
Los adjetivos que se usan para calificar un kappa vienen de Landis y Koch (1977):
Menos de 0: sin acuerdo. De .01 a .20: leve. De .21 a .40: aceptable. De .41 a .60: moderado. De .61 a .80: sustancial. De .81 a 1.00: casi perfecto.
Dos avisos sobre esta tabla. El primero es que los propios autores dijeron que los puntos de corte eran arbitrarios, elegidos para tener un vocabulario común y no derivados de nada. El segundo es que si usas estas etiquetas, tienes que citarlas: escribir «acuerdo sustancial» sin decir de dónde sale el adjetivo es exactamente el tipo de afirmación sin respaldo que un revisor marca.
Hay alternativas más exigentes. Para instrumentos que van a tomar decisiones clínicas sobre personas, .61 no basta, y varias guías piden .80 como mínimo. Si tu kappa cae entre .60 y .80 y estás validando algo que se va a usar en consulta, di explícitamente qué criterio aplicas y por qué.
La paradoja del kappa: acuerdo alto, kappa bajo
Este es el problema que más manuscritos hunde, y tiene solución si lo ves venir.
Imagina que dos clínicos evalúan 100 historias buscando un trastorno raro. Coinciden en 95 casos: 93 «no» y 2 «sí». El acuerdo bruto es del 95%. Y el kappa sale .43, que en la tabla de Landis y Koch es «moderado», rozando lo justito.
No es un error de cálculo. Cuando una categoría es muy poco frecuente, el acuerdo esperado por azar se dispara —casi todo va a caer en «no» por pura base— y la resta se come casi todo el acuerdo observado. Es lo que Feinstein y Cicchetti (1990) describieron como la primera paradoja de kappa.
La segunda paradoja es la opuesta: cuando los evaluadores tienen sesgos contrarios —uno sobrediagnostica y el otro infradiagnostica— kappa puede salir artificialmente alto.
¿Qué se hace con esto? Tres cosas, y las tres se escriben:
Reporta siempre las frecuencias marginales, o directamente la tabla de contingencia. Sin ella, nadie puede saber si tu kappa está afectado por la prevalencia.
Reporta el acuerdo bruto junto a kappa. La distancia entre los dos números es lo que delata la paradoja.
Si la prevalencia es extrema, considera PABAK (prevalence-adjusted bias-adjusted kappa) como medida complementaria, nunca como sustituto. Y explica por qué la añades.
Kappa ponderado, Fleiss e ICC: cuál te toca
Kappa de Cohen simple trata todos los desacuerdos como igual de graves, y muchas veces no lo son.
Si tus categorías están ordenadas (leve, moderado, grave), confundir «leve» con «grave» es peor que confundir «leve» con «moderado». Ahí toca kappa ponderado (Cohen, 1968). Y hay que decir qué pesos: lineales o cuadráticos. Los cuadráticos penalizan mucho más los desacuerdos lejanos y son los más habituales en escalas clínicas. Un kappa ponderado sin decir los pesos es un número que no se puede replicar.
Si tienes más de dos evaluadores, el kappa de Cohen no sirve: es para dos. Toca el kappa de Fleiss (1971). Y si el conjunto de evaluadores cambia entre casos, ni siquiera eso: toca un modelo de efectos aleatorios.
Si lo que codifican es continuo —una puntuación, minutos, una intensidad— kappa no es la medida. Ahí va el coeficiente de correlación intraclase, y hay que elegir la forma correcta según el diseño. Está desarrollado en ICC y concordancia entre evaluadores.
Y un caso frecuente que se resuelve mal: si estás midiendo la consistencia interna de una escala, no es ninguno de estos. Eso es alfa de Cronbach u omega de McDonald, que miden otra cosa.
Para el cálculo, la calculadora de kappa de Cohen devuelve el valor, su error típico y el intervalo de confianza a partir de la tabla de contingencia.
Errores que salen una y otra vez
Reportar kappa sin intervalo de confianza. El más común. Un κ = .70 con 40 casos y otro con 400 son cosas muy distintas, y el intervalo es lo único que lo enseña.
Llamar «sustancial» a un kappa sin citar a Landis y Koch. El adjetivo tiene dueño.
Usar kappa simple con categorías ordinales. Desperdicia información y suele infraestimar el acuerdo.
Usar kappa de Cohen con tres o más evaluadores. Se ve, y es Fleiss lo que toca.
Calcular kappa sobre el subconjunto en el que hubo acuerdo. Parece absurdo escrito así, pero pasa cuando se resuelven los desacuerdos por consenso primero y se calcula kappa después. Kappa se calcula sobre las codificaciones originales e independientes, siempre.
No decir qué pasó con los desacuerdos. Diez desacuerdos resueltos por consenso y diez desacuerdos eliminados de la muestra dan dos estudios distintos.
El kappa no entra en el libro «Reporta tus resultados en APA 7», pero sí la fiabilidad de una escala (capítulo 9) y las reglas de formato y de tablas que también valen para esta frase, sobre un estudio completo con dataset reproducible y scripts de R, SPSS y jamovi.
Antes de enviarlo
El acuerdo entre evaluadores es una de esas secciones cortas en las que un revisor metodológico entra directo, porque en cinco líneas se puede comprobar si el trabajo está bien hecho. Si quieres ver qué te va a objetar antes de enviarlo, sube el manuscrito a Previum: es gratis y te devuelve las críticas pegadas a la frase que las provoca.
Cuando tengas la frase, cuida también lo que la acompaña: las reglas de la tabla están en tablas en APA 7 y las del gráfico, en figuras en APA 7. Y si ya tienes el apartado escrito, pégalo en Revisa una sección: te devuelve la primera objeción que te haría un revisor, con la frase exacta de tu texto en la que aparece.
Referencias
Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37-46.
Cohen, J. (1968). Weighted kappa: Nominal scale agreement with provision for scaled disagreement or partial credit. Psychological Bulletin, 70(4), 213-220.
Feinstein, A. R., y Cicchetti, D. V. (1990). High agreement but low kappa: I. The problems of two paradoxes. Journal of Clinical Epidemiology, 43(6), 543-549.
Fleiss, J. L. (1971). Measuring nominal scale agreement among many raters. Psychological Bulletin, 76(5), 378-382.
Landis, J. R., y Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159-174.