El comentario aparece con formas muy distintas y todas apuntan a lo mismo: «no evidence is provided that the instrument is valid in this population», «the authors used a Spanish translation that has not been validated», «Cronbach’s alpha is not sufficient evidence of reliability», «the short version was created ad hoc for this study». Si tu método dice «se utilizó la versión española del cuestionario X, que ha mostrado buenas propiedades psicométricas (Autor, 2012)» y no dice nada más, este comentario estaba esperándote.
La objeción es seria y conviene entender por qué. Si el instrumento no mide bien en tu muestra, todo lo que viene después (tus correlaciones, tus diferencias de grupo, tu modelo estructural) hereda ese problema. Un revisor experimentado revisa la sección de medidas antes que la de resultados por eso mismo: si el termómetro está roto, no hace falta discutir la temperatura.
Aquí tienes qué evidencia concreta espera un revisor Q1, por qué el alfa de Cronbach ya no basta y qué se reporta en su lugar, cómo se ejecuta cada análisis en R, jamovi, SPSS y Mplus, el reporte APA 7 completo de una sección de medidas defendible, y tres párrafos de respuesta: cuando la evidencia sale bien, cuando sale regular y cuando la escala que usaste no da la talla.
La idea que subyace a este comentario y que cambia por completo cómo se responde: la validez no es una propiedad del cuestionario. Es una propiedad de las INTERPRETACIONES que haces de sus puntuaciones, en una población y para un uso concretos. Es la definición que fijaron los Standards for Educational and Psychological Testing (AERA, APA y NCME, 2014) siguiendo a Messick, y está en la base de todos los comentarios de esta familia.
De ahí se sigue lo importante: que una escala se validara en 2012 con 400 universitarios madrileños no te autoriza automáticamente a usarla en 2026 con pacientes oncológicos chilenos. La validación anterior es evidencia relevante, pero es evidencia sobre otra interpretación en otra población. El revisor no te está pidiendo que revalides el mundo entero: te está pidiendo que enseñes que en TU muestra el instrumento se comporta como debe.
Los cuatro escenarios que disparan el comentario, de más a menos frecuente. Primero: usaste una traducción propia o una adaptación sin proceso documentado. Segundo: la población de validación y la tuya son claramente distintas en edad, contexto clínico o cultura. Tercero: creaste una versión corta, eliminaste ítems o cambiaste el formato de respuesta y presentaste el resultado como si fuera el instrumento original. Cuarto: reportaste solo el alfa y nada más.
El cuarto merece nota aparte porque es el más extendido: mucha gente cree que reportar alfa es reportar validez. No lo es. El alfa es un indicador de consistencia interna, no de validez, y además es un indicador con problemas propios que veremos enseguida. Un instrumento puede tener un alfa de .93 y estar midiendo un constructo distinto del que dice medir.
Los Standards organizan la evidencia de validez en cinco fuentes. En un artículo empírico normal, que no es un artículo de validación, no hace falta cubrirlas todas: hace falta cubrir las dos o tres que estén en juego en tu caso, y decir por qué esas.
Es la pieza que casi siempre se pide y la que menos cuesta. Se ajusta el modelo de medida propuesto por los autores originales (los factores y sus ítems) a tus datos y se reportan los índices de ajuste y las cargas factoriales estandarizadas.
Los criterios habituales para índices de ajuste aproximado en psicología, con la advertencia de que son orientativos y no umbrales sagrados: CFI y TLI iguales o superiores a .95 (aceptable desde .90), RMSEA igual o inferior a .06 (aceptable hasta .08) con su intervalo de confianza del 90%, SRMR igual o inferior a .08. Las cargas estandarizadas, preferiblemente por encima de .50; una carga de .28 en un ítem indica que ese ítem apenas informa del factor.
Decisión técnica clave: si tus ítems son Likert de cinco o menos categorías, tratarlos como continuos con estimación ML sesga las cargas a la baja y distorsiona los índices. Hay que usar correlaciones policóricas y estimador WLSMV. Es una de las cosas que un revisor psicométrico mira primero, y hacerlo bien es señal inmediata de que sabes lo que haces.
El alfa de Cronbach asume tau-equivalencia, es decir, que todos los ítems contribuyen igual al factor. Ese supuesto casi nunca se cumple en escalas psicológicas reales, y cuando no se cumple, el alfa subestima la fiabilidad. Además el alfa aumenta con el número de ítems y con la unidimensionalidad, de modo que un alfa alto no garantiza que la escala mida una sola cosa.
La alternativa estándar hoy es el omega de McDonald, que se calcula a partir de las cargas del modelo factorial y no exige tau-equivalencia. La recomendación que un revisor reconoce viene de McNeish (2018) y Flora (2020): reportar omega, con su intervalo de confianza, y reportar alfa junto a él si quieres comparabilidad con la literatura previa. Reportar solo alfa es la práctica que el comentario está señalando.
Si tu escala tiene un factor general y factores específicos (estructura bifactor), lo que hay que reportar es el omega jerárquico, que dice qué proporción de la varianza de la puntuación total es atribuible al factor general. Es la cifra que decide si tiene sentido usar una puntuación total.
Si tu manuscrito ya mide otros constructos, esta evidencia sale casi gratis: las correlaciones de tu escala con variables que deberían asociarse (convergente) y con variables de las que debería distinguirse (discriminante) están en tu propia tabla de correlaciones. Basta con nombrarlas como evidencia y decir qué se esperaba.
Para validez discriminante entre factores de un mismo instrumento, el criterio clásico de Fornell y Larcker compara la varianza media extraída de cada factor con el cuadrado de su correlación. La alternativa que hoy prefieren muchos revisores es el ratio heterotrait-monotrait (HTMT) de Henseler, Ringle y Sarstedt (2015), con el umbral de .85 (o .90 para constructos conceptualmente próximos). Se calcula fácilmente en R.
Si tradujiste o adaptaste el instrumento, esta es la evidencia central y no se puede sustituir con estadística. Lo que se espera es el procedimiento de las directrices de la International Test Commission: traducción directa por dos traductores independientes, síntesis, retrotraducción por traductores ciegos al original, revisión por un comité de expertos con criterio de equivalencia semántica, idiomática, conceptual y experiencial, y una prueba cognitiva (entrevistas con 8 a 12 participantes de la población diana sobre cómo entienden cada ítem).
Ese último paso, la prueba cognitiva, es el que casi nadie hace y el que más impresiona cuando aparece en un método, porque es la única evidencia directa de que los participantes entienden los ítems como pretendes.
Si tu artículo compara puntuaciones entre grupos, la evidencia de validez incluye demostrar que el instrumento funciona igual en ambos. Es un tema con entidad propia y lo desarrollamos entero en la página sobre invarianza de medición; aquí basta saber que un revisor puede plantear las dos objeciones en el mismo comentario, y que responder solo a una deja la otra viva.
Todo lo anterior se hace con tus datos actuales. Ninguno de estos análisis requiere recoger nada nuevo, y ese es el mejor argumento para hacerlos en lugar de discutir el comentario.
El AFC con lavaan: cfa(modelo, data = datos, estimator = "WLSMV", ordered = nombres_items) si los ítems son ordinales, y fitMeasures() para los índices. Con WLSMV hay que reportar las versiones escaladas (cfi.scaled, rmsea.scaled) y decirlo en la nota de la tabla.
Omega: semTools::compRelSEM() sobre el modelo ajustado es la ruta más correcta, porque calcula el coeficiente a partir de los parámetros del modelo de medida que has especificado. psych::omega() es la alternativa clásica y da también el omega jerárquico, pero ajusta su propia solución bifactor, así que puede no coincidir con tu modelo. Elige una y explica cuál.
HTMT: semTools::htmt() sobre el modelo y los datos. Devuelve la matriz completa de ratios entre factores.
Un paquete que ahorra mucho trabajo si tu escala es politómica: mirt, para modelos de teoría de respuesta al ítem, con curvas de información que muestran en qué rango del constructo mide bien tu escala. No es imprescindible, pero si tu población es clínica y el instrumento se validó en población general, la curva de información es la evidencia más directa de si el instrumento discrimina en el rango que te interesa.
Es probablemente la ruta más eficiente si no escribes código. En Factor > Confirmatory Factor Analysis defines los factores y sus ítems, y en las opciones de estimación puedes marcar los ítems como ordinales; la sección de Fit Measures da CFI, TLI, RMSEA con IC y SRMR. En Factor > Reliability Analysis, la casilla de McDonald’s ω está junto a la de Cronbach’s α, y también hay estadísticos ítem a ítem (alfa si se elimina el ítem, correlación ítem-total corregida) que sirven para localizar el ítem problemático.
Para la validez convergente y discriminante, la matriz de correlaciones de jamovi con intervalos de confianza es suficiente si la acompañas de las hipótesis previas.
SPSS calcula alfa en Analizar > Escala > Análisis de fiabilidad, y las versiones recientes incluyen también omega de McDonald en ese mismo cuadro, lo cual resuelve el punto sin salir del programa. Lo que SPSS no hace es AFC: se necesita AMOS, donde el modelo se dibuja y se pide en las opciones de salida las estimaciones estandarizadas y los índices de ajuste.
Limitación seria de AMOS para este caso: no maneja indicadores ordinales con correlaciones policóricas. Si tus ítems son Likert de cinco puntos y el revisor es psicométrico, la crítica se traslada del instrumento al estimador. En ese escenario, mover el AFC a lavaan o Mplus es la decisión correcta, y decirlo en la respuesta suma en lugar de restar.
Con CATEGORICAL ARE en el bloque VARIABLE y el estimador WLSMV por defecto, el AFC de ítems ordinales sale bien especificado sin esfuerzo. Para el omega, se calcula en MODEL CONSTRAINT a partir de las cargas y las varianzas residuales etiquetadas. Mplus es también la vía natural si vas a encadenar el AFC con invarianza o con el modelo estructural completo, que es lo eficiente: un solo marco de estimación para todo el artículo.
APA 7 pide que la sección de medidas describa, para cada instrumento: qué mide, número de ítems, formato de respuesta con su anclaje, rango de puntuaciones y dirección, evidencia de validez y fiabilidad de estudios previos EN POBLACIONES COMPARABLES, y evidencia obtenida en la muestra actual. Ese último punto es el que falta en la mayoría de los manuscritos que reciben este comentario.
Una entrada de instrumento bien escrita:
«Sintomatología depresiva. Se evaluó con la versión española del Inventario de Depresión de Beck-II (Beck et al., 1996; adaptación de Sanz et al., 2003), compuesta por 21 ítems con cuatro opciones de respuesta ordenadas por gravedad (0 a 3), donde puntuaciones más altas indican mayor sintomatología (rango 0-63). La adaptación española ha mostrado evidencia de estructura interna y de relación con otras medidas de malestar en población clínica adulta (Sanz et al., 2005). En la muestra actual, el modelo unifactorial mostró un ajuste adecuado mediante AFC con estimador WLSMV y correlaciones policóricas, χ²(189) = 312,45, p < .001, CFI = .961, TLI = .957, RMSEA = .042 [.034, .050], SRMR = .048, con cargas estandarizadas entre .48 y .81. La fiabilidad fue ω = .91, IC 95% [.89, .93] (α = .89).»
Cabe en un párrafo, incluye todo lo que un revisor va a buscar y cierra la puerta a la objeción antes de que se formule. La tabla que acompaña, si tienes varios instrumentos, lleva una fila por escala con nº de ítems, rango, media, DT, ω y α.
Tres escenarios según lo que salga al hacer el análisis. El tercero es el difícil y hay una forma de salir que no consiste en fingir.
«Agradecemos esta observación, que señala una carencia real del manuscrito: presentábamos evidencia de validación previa sin aportar evidencia obtenida en nuestra propia muestra. Hemos ampliado sustancialmente el apartado de instrumentos (pp. 8-10) con la información siguiente.
Para cada una de las tres escalas hemos estimado un AFC en la muestra actual con estimador WLSMV y correlaciones policóricas, dado el carácter ordinal de los ítems. Los tres modelos mostraron un ajuste adecuado (CFI entre .952 y .971, RMSEA entre .038 y .051, SRMR por debajo de .06; detalles en la nueva Tabla 1), con todas las cargas estandarizadas por encima de .45. Hemos sustituido el reporte exclusivo del alfa por el omega de McDonald con su intervalo de confianza, conservando el alfa entre paréntesis para comparabilidad con la literatura previa (McNeish, 2018). Hemos añadido asimismo la evidencia de validez discriminante mediante el ratio HTMT entre los factores, cuyo valor máximo fue de .68, por debajo del criterio de .85 (Henseler et al., 2015). Finalmente, hemos explicitado en el texto que las poblaciones de validación previa y la nuestra son comparables en edad y contexto asistencial, que era el supuesto implícito del manuscrito original.»
El caso más común: el ajuste es aceptable pero no bueno, o una subescala tiene un omega de .68. Lo que funciona es reportarlo tal cual, acotar sus consecuencias y decir qué análisis se ven afectados y cuáles no.
«Agradecemos la sugerencia, cuyo resultado nos ha obligado a matizar parte del manuscrito. El AFC en nuestra muestra arrojó un ajuste aceptable pero no óptimo para la estructura de tres factores propuesta por los autores originales (CFI = .928, RMSEA = .072 [.065, .079], SRMR = .069). La inspección de las cargas identificó dos ítems de la subescala de despersonalización con cargas de .34 y .39, y esa subescala presentó la fiabilidad más baja del instrumento (ω = .68, IC 95% [.62, .74]).
Hemos hecho tres cosas. Primero, hemos incorporado toda esta evidencia al apartado de instrumentos (p. 9) en lugar de presentar solo las propiedades de la validación original. Segundo, hemos añadido a las limitaciones (p. 21) que la fiabilidad moderada de esa subescala atenúa las correlaciones que la implican, y hemos indicado la magnitud del efecto: aplicando la corrección por atenuación, la correlación observada de .31 con agotamiento correspondería a aproximadamente .40 entre constructos. Tercero, hemos revisado el peso que esa subescala tenía en la discusión, rebajando la interpretación de sus resultados y manteniendo el énfasis en las dos subescalas con propiedades sólidas. No hemos eliminado ítems porque hacerlo alteraría el instrumento respecto de todos los estudios previos y comprometería la comparabilidad, que era una de las razones para elegirlo.»
Cuando el AFC se hunde (CFI de .82, cargas dispares, un factor que no se sostiene) hay dos salidas honestas y ninguna es esconderlo. La primera: reorientar el análisis a lo que sí funciona (por ejemplo, usar solo las subescalas que ajustan). La segunda: convertir el problema en resultado y declarar que el instrumento no se comporta como en la población original, lo que es información útil para el campo.
«Agradecemos el comentario, que ha revelado un problema que el manuscrito no había examinado. El AFC de la estructura de cuatro factores propuesta originalmente mostró un ajuste inaceptable en nuestra muestra (CFI = .834, RMSEA = .098 [.091, .105]), con dos factores cuyas cargas fueron sistemáticamente bajas y una correlación entre factores de .94 que sugiere que no son distinguibles en esta población.
Hemos modificado el manuscrito en consecuencia. En primer lugar, hemos añadido esta evidencia al apartado de instrumentos y la hemos incorporado a la Tabla 1. En segundo lugar, hemos abandonado el uso de las puntuaciones de esas dos subescalas en los análisis, que ahora se realizan únicamente con las dos subescalas cuya estructura sí se sostiene (CFI = .958, ω = .87 y .84); todas las tablas y figuras se han rehecho en consecuencia y los resultados principales se mantienen. En tercer lugar, hemos añadido a la discusión (p. 20) un párrafo sobre el hallazgo psicométrico y sus posibles causas: los ítems afectados aluden a un contenido cuya relevancia difiere entre la población de validación original (trabajadores del sector servicios) y la nuestra (personal sanitario en unidades de cuidados intensivos). Consideramos que este resultado, aunque no formaba parte de los objetivos, es una advertencia pertinente para quienes utilicen el instrumento en esta población, y así lo señalamos.»
No tienes que hacer un estudio de validación completo, pero sí tienes que aportar evidencia de que el instrumento funciona en tu muestra. El mínimo razonable en un artículo empírico: AFC del modelo de medida con índices de ajuste, cargas estandarizadas y omega. Son dos análisis y un párrafo, y evitan el comentario. Si además tu artículo compara grupos, añade invarianza.
Puedes, si documentas el proceso y aportas evidencia. Lo que no puedes es traducirla y usarla como si fuera la versión original. El estándar mínimo aceptable es traducción y retrotraducción independientes, revisión por comité con criterios de equivalencia, y evidencia de estructura interna y fiabilidad en tu muestra. Si el proceso fue más ligero, dilo con exactitud y trátalo como limitación; un revisor tolera un procedimiento imperfecto declarado mucho mejor que un procedimiento silenciado.
Los umbrales convencionales (.70 aceptable, .80 bueno) son orientaciones, no leyes, y dependen del uso: para investigación grupal .70 puede bastar, para decisiones individuales sobre una persona hace falta .90 o más. Lo importante es reportar el intervalo de confianza del coeficiente, porque con n = 90 un omega puntual de .78 puede tener un intervalo de [.71, .84], y esa incertidumbre forma parte del resultado.
Puedes, pero deja de ser el mismo instrumento y hay que decirlo en todas partes: método, resultados, tablas y limitaciones. Además pierdes comparabilidad con los estudios previos, que suele ser la razón por la que elegiste una escala publicada. Antes de eliminar, mira si la carga baja tiene explicación sustantiva (un ítem que no aplica a tu población) y considera reportar ambos análisis, con y sin el ítem, como análisis de sensibilidad.
Responde a otra pregunta. El AFC contrasta si la estructura propuesta se sostiene en tus datos, que es lo que el revisor pide cuando usas un instrumento publicado. El AFE explora qué estructura emerge, que es lo que se hace cuando no hay estructura previa o cuando el AFC falla y quieres entender por qué. Hacer AFE con un instrumento ya validado y presentar la solución emergente como resultado principal suele generar más objeciones de las que resuelve. El punto intermedio es el análisis factorial exploratorio en un marco de ecuaciones estructurales (ESEM), útil cuando los ítems tienen cargas cruzadas legítimas.
Es defendible en algunos casos (satisfacción global, autoinforme de salud, intensidad de dolor) y hay literatura que respalda su uso para constructos concretos y unidimensionales. Lo que no puedes hacer es reportar fiabilidad interna, que no existe con un ítem. Lo que se aporta en su lugar: evidencia de validez de criterio o convergente con una medida multi-ítem del mismo constructo, preferiblemente citando estudios que ya la establecieron, y una justificación explícita de por qué se optó por un solo ítem (carga de respuesta, diseño de muestreo intensivo, registro clínico existente).