Antes de pasar un cuestionario a cientos de personas, antes de calcular un alfa y antes de ajustar un análisis factorial, hay un paso que decide buena parte de la calidad del instrumento y que se suele despachar en dos líneas: la validez de contenido, es decir, el juicio de un panel de expertos sobre si los ítems representan bien aquello que dices medir. Es la primera evidencia de validez que mira un comité de tesis o un revisor de una revista de salud, la más barata de conseguir bien y la más cara de arreglar tarde.
Esta guía es transversal: sirve igual para una escala de ansiedad en psicología, un cuestionario de calidad de vida en enfermería o un instrumento de adherencia al tratamiento en medicina. Vas a ver cuántos expertos necesitas, qué tienen que valorar y, sobre todo, cómo convertir sus juicios en números defendibles con tres herramientas: la V de Aiken, el CVR de Lawshe y el método Delphi. Si solo quieres calcular la V con tus datos, puedes ir directamente a la calculadora de V de Aiken y CVI.
Qué es la validez de contenido y por qué va primero
La validez de contenido es el grado en que los ítems de un instrumento son una muestra representativa y relevante del constructo que se pretende medir. No la confundas con la validez aparente (face validity), que es solo la impresión superficial de que "parece" medir lo que dice; la validez de contenido es un juicio razonado de expertos sobre la relevancia, la claridad y la suficiencia de los ítems frente a una definición operativa del constructo.
Va primero por una razón práctica: ningún análisis posterior puede rescatar un ítem que no debería estar ahí. Si metes ítems irrelevantes o ambiguos, el análisis factorial te devolverá una estructura sucia, la fiabilidad se resentirá y los revisores lo notarán. El juicio de expertos se hace después de definir el constructo y de redactar el banco inicial de ítems, y antes del estudio piloto y de los análisis psicométricos (estructura, fiabilidad, invarianza).
Cuántos expertos necesitas y cómo elegirlos
La práctica habitual está entre 5 y 10 expertos. Por debajo de 5 los índices son inestables, y por encima de 10 el rendimiento marginal cae mientras la logística se complica. Hay un matiz importante: el CVR de Lawshe tiene tablas de valores críticos que empiezan en 5 jueces, y los umbrales del CVI asumen 6 o más. Si solo consigues 3 o 4 expertos, podrás reportar índices, pero el criterio será más exigente (cercano al acuerdo perfecto) y más difícil de defender.
El panel debe combinar dos perfiles: expertos en el constructo (clínicos o investigadores del área) y expertos en medición (psicometría o metodología). Elígelos por experiencia real (publicaciones, años de práctica, trabajo previo con instrumentos similares), no por disponibilidad. Que sean independientes entre sí y declara cualquier conflicto de interés. Entrégales la definición del constructo y de cada dimensión: un experto no puede juzgar la relevancia de un ítem si no sabe contra qué definición lo evalúa.
Qué deben valorar los expertos
Lo más limpio es pedir a cada juez que puntúe cada ítem en varios criterios con una escala ordinal (lo habitual es de 4 puntos, para evitar el punto medio cómodo):
- Relevancia: el ítem es pertinente para el constructo o la dimensión a la que se asigna.
- Claridad: el ítem se entiende sin ambigüedad y está bien redactado.
- Coherencia: el ítem encaja con la dimensión teórica en la que lo has colocado.
- Suficiencia: este criterio se valora a nivel de dimensión, no de ítem, y pregunta si el conjunto de ítems basta para cubrir esa dimensión.
Acompaña siempre la valoración numérica con un espacio para comentarios cualitativos. Una parte enorme del valor del juicio de expertos está en las sugerencias de redacción y en los ítems que faltan, no solo en las puntuaciones.
Cuantificar el acuerdo 1: la V de Aiken
La V de Aiken resume el acuerdo de los jueces sobre un ítem en un número entre 0 y 1. Su forma es V = S / [n (c − 1)], donde S es la suma de las puntuaciones de los jueces una vez restado el valor mínimo posible de la escala, n es el número de jueces y c es el número de categorías de respuesta. Un valor de 1 significa que todos los jueces dieron la puntuación máxima.
El umbral más usado para retener un ítem es V ≥ .70, y muchos comités piden V ≥ .80 para instrumentos de uso clínico. La recomendación seria es no quedarse en el valor puntual: reporta el intervalo de confianza de la V (por el método de Penfield y Giacobbi), porque con pocos jueces el límite inferior es lo que de verdad indica si el acuerdo es sólido. La calculadora de V de Aiken te devuelve la V con su intervalo y, de paso, el CVI.
Cuantificar el acuerdo 2: el CVI (I-CVI y S-CVI)
El Content Validity Index parte de una escala de relevancia de 4 puntos y dicotomiza: cuenta cuántos expertos puntúan el ítem como relevante (3 o 4). El I-CVI (a nivel de ítem) es esa proporción. El S-CVI/Ave (a nivel de escala) es la media de los I-CVI de todos los ítems.
Los umbrales de referencia (Polit y Beck) son: con 6 a 10 expertos, I-CVI ≥ .78; con 3 a 5 expertos se exige I-CVI = 1.00; y para el conjunto, S-CVI/Ave ≥ .90. El CVI tiene una limitación conocida: no corrige el acuerdo por azar, por lo que conviene acompañarlo de un índice corregido (kappa modificada) cuando el número de jueces es bajo.
Cuantificar el acuerdo 3: el CVR de Lawshe
El Content Validity Ratio sirve cuando pides a los expertos que clasifiquen cada ítem como "esencial", "útil pero no esencial" o "no necesario". Su forma es CVR = (ne − N/2) / (N/2), donde ne es el número de expertos que marcan "esencial" y N es el total de expertos. Va de −1 a +1: si más de la mitad lo considera esencial, el CVR es positivo.
Lo potente del CVR es que tiene valores críticos según el tamaño del panel. Un ítem se retiene si su CVR supera el mínimo de la tabla:
| Expertos (N) | CVR mínimo |
|---|---|
| 5 | .99 |
| 8 | .75 |
| 10 | .62 |
| 15 | .49 |
| 20 | .42 |
| 40 | .29 |
La media de los CVR de los ítems retenidos es el CVI de Lawshe (no confundir con el Content Validity Index anterior, que comparte siglas pero no fórmula). Reportar la tabla de valores críticos junto a tus CVR es una de esas cosas pequeñas que transmiten rigor a un revisor.
El método Delphi: cuando buscas consenso
Las tres herramientas anteriores funcionan con una sola ronda de valoración. El método Delphi es para cuando quieres construir consenso de forma iterativa, normalmente porque el constructo es nuevo o controvertido. Consiste en rondas sucesivas y anónimas: en cada ronda los expertos puntúan, reciben un resumen de las respuestas del grupo (sin saber quién dijo qué) y vuelven a puntuar, de modo que las posiciones convergen sin que un experto dominante arrastre al resto.
El anonimato es la clave (evita el efecto de autoridad y de arrastre) y debes fijar de antemano el criterio de parada: un grado de consenso objetivo (por ejemplo, la W de Kendall o un porcentaje de acuerdo) o la estabilidad de las respuestas entre rondas. Dos o tres rondas suelen bastar; más de eso suele indicar que el constructo no estaba bien definido.
Cómo decidir qué ítems se quedan, se reformulan o se eliminan
La decisión nunca es solo numérica. Combina el umbral cuantitativo con los comentarios cualitativos:
- Se queda: supera el umbral (por ejemplo V ≥ .80 o CVR por encima del crítico) y sin comentarios de fondo.
- Se reformula: relevancia alta pero claridad baja, o comentarios que señalan redacción ambigua. El ítem mide lo correcto pero está mal escrito.
- Se elimina: no supera el umbral de relevancia, o varios expertos coinciden en que es redundante o ajeno al constructo.
Documenta cada decisión y su justificación. Esa tabla de decisiones es exactamente lo que un tribunal o un editor quieren ver, porque demuestra que el instrumento no salió de la intuición sino de un proceso.
Errores frecuentes
Los más habituales: usar muy pocos expertos o que no sean independientes; quedarse en la validez aparente y llamarla validez de contenido; confundir la validez de contenido (juicio de expertos) con la validez de constructo (que se evalúa después con datos, mediante análisis factorial y relaciones con otras variables); no fijar los criterios de retención antes de ver los resultados; ignorar los comentarios cualitativos; y reportar la V de Aiken sin su intervalo de confianza.
Qué viene después del juicio de expertos
El juicio de expertos cierra la fase de contenido, pero la validación no termina ahí. Lo siguiente es un estudio piloto con la población diana y, después, el grueso psicométrico: la estructura factorial con análisis factorial exploratorio y confirmatorio, la fiabilidad con alfa, omega e ICC y, si comparas grupos, la invarianza de medida. El recorrido completo, con código en R, está en la guía de validación de cuestionarios paso a paso.
¿Estás validando un instrumento para tu tesis o tu artículo?
Soy doctor en Psicología y acompaño la validación de cuestionarios de principio a fin (juicio de expertos, V de Aiken, estructura factorial, fiabilidad e invarianza), con el reporte listo para el tribunal o el revisor. Da igual si es psicología, enfermería, medicina o fisioterapia.
Ver la consultoría de validación de cuestionarios →