Sesgo de método común: el test de Harman, por qué ya no basta y qué usar en su lugar

Lo recoges todo en un cuestionario online de veinte minutos, con las mismas escalas Likert de cinco puntos y la misma persona respondiendo a las tres variables. El manuscrito sale, y en la primera ronda llega la frase de siempre: «los datos proceden de una única fuente y una única ola; por favor, aborden el sesgo de método común». Durante quince años la respuesta estándar fue un párrafo con el test de Harman y a otra cosa. Ya no cuela, y conviene entender por qué antes de escribir nada, porque el revisor que te lo pide suele conocer la literatura que lo desmontó. Aquí tienes qué es el sesgo, por qué Harman no lo detecta, qué hacen realmente el factor latente común y la variable marcador, qué remedios de diseño funcionan y cómo se escribe la respuesta cuando los datos ya están en el disco duro. El resto del repertorio lo cubre errores comunes al interpretar resultados estadísticos.

Qué es el sesgo de método común y qué no es

El sesgo de método común es la parte de la covariación entre tus variables que procede del método de medida y no de los constructos que crees estar midiendo. La definición de referencia es la de Podsakoff, MacKenzie, Lee y Podsakoff (2003): varianza atribuible al método de medición más que a los constructos que las medidas representan. Llevado a tu diseño: si preguntas por estrés laboral, apoyo del supervisor y agotamiento emocional en el mismo cuestionario, a la misma persona, con las mismas anclas de cinco puntos y en los mismos diez minutos, una parte de lo que correlaciona son los constructos y otra parte es el hecho de haberlo preguntado todo junto.

Las fuentes están bien catalogadas y no son una sola. Del informante vienen el motivo de consistencia (la gente quiere parecer coherente con lo que acaba de contestar), la deseabilidad social, la aquiescencia y las diferencias estables en afectividad negativa, que tiñen a la vez el informe del estresor y el del síntoma. De los ítems vienen el formato de respuesta común, las anclas comunes, la redacción ambigua y los ítems de doble cañón, que empujan a todo el mundo hacia el mismo lado de la escala. Del contexto de los ítems vienen los efectos de orden y de priming: lo que preguntas primero cambia cómo se contesta lo siguiente. Y del contexto de medida viene lo más obvio, medirlo todo en el mismo momento, en el mismo sitio y por el mismo medio.

Conviene tener claro qué le hace a tus correlaciones, porque la creencia popular es más simple que la realidad. El sesgo puede inflarlas, sí, y ese es el caso que preocupa al revisor; pero también puede atenuarlas cuando el método actúa en direcciones distintas sobre las dos medidas, o cuando la escala tiene ítems invertidos que arrastran la aquiescencia hacia el otro lado. Lo único que no puede hacer es fabricar un efecto de interacción de la nada, y eso resulta más útil de lo que parece: volveremos a ello.

Lo que no es: una razón para dar por malo cualquier estudio con autoinformes. Spector (2006) lo llamó directamente leyenda urbana, y el argumento sigue en pie: hay constructos que solo existen en primera persona —la percepción de apoyo, la intención de abandono, la satisfacción— y medirlos con un informante externo no reduce el sesgo, cambia el constructo. La pregunta útil no es si hay varianza de método, que siempre la hay, sino cuánta, dónde y si es suficiente para explicar el efecto que defiendes.

Por qué el test de un factor de Harman ya no cuela

El procedimiento es conocido: metes todos los ítems de todas las escalas en un análisis factorial exploratorio, extraes sin rotar y miras dos cosas, si emerge un único factor y si el primero explica más del 50% de la varianza. Si no ocurre ninguna de las dos, se escribe la frase «no se detectó sesgo de método común» y a otra cosa. Hay una variante confirmatoria que hace lo mismo con un modelo de un solo factor y enseña que ajusta mal. Las dos comparten los mismos problemas.

El primero es que no es un test. No hay hipótesis nula, no hay distribución de referencia, no hay valor crítico y no hay decisión estadística: hay un porcentaje y un umbral redondo que no procede de ninguna demostración. El segundo es de atribución, y explica bastante: Harman no propuso esto. El procedimiento se popularizó a partir de Podsakoff y Organ (1986), que citaban el manual de análisis factorial de Harman (1967) por la técnica del factor único, no por un diagnóstico de sesgo. Llevamos cuarenta años poniéndole el nombre de alguien que no lo escribió.

El tercero es el que lo mata, y es empírico. Con veinticuatro ítems repartidos en cuatro constructos correlacionados, el primer factor sin rotar casi nunca pasa del 50%: en el ejemplo de agotamiento con 312 profesionales de enfermería que arrastro por todo el artículo, explicó el 31.4% de la varianza total, y ese número habría salido parecido con sesgo grave o sin sesgo ninguno. Fuller et al. (2016) lo comprobaron con simulaciones y su conclusión es la que hay que citar: el procedimiento solo señala sesgo cuando su magnitud supera la de cualquier estudio real. Un diagnóstico que nunca da positivo no informa de nada. Aprobarlo no es evidencia de ausencia de sesgo, es evidencia de que lo has ejecutado.

El cuarto es que, aunque detectara algo, no corrige nada: no hay ningún paso posterior, ninguna estimación depurada, ninguna decisión que tomar con el resultado. Y la versión confirmatoria es igual de vacía. Que un modelo de un factor ajuste peor que tu modelo de cuatro factores es un resultado prácticamente garantizado en cuanto tus escalas tengan validez discriminante mínima, y no dice absolutamente nada sobre si hay un factor de método adicional actuando sobre unos ítems que además miden constructos distintos. Nadie sostiene que la varianza de método sea la única varianza que hay.

El factor latente común: qué hace y por qué tampoco cierra el caso

La técnica del factor latente común, o factor de método no medido, es un paso serio hacia arriba. Se añade al modelo de medida un factor latente sin indicadores propios que carga sobre todos los ítems del estudio, normalmente con las cargas fijadas iguales entre sí para que el modelo esté identificado, y se compara la solución con y sin él. Lo que se mira son las cargas estandarizadas de cada ítem sobre su constructo, las correlaciones entre factores y, si acaso, el ajuste. Si nada de eso se mueve, el argumento es que el método no está haciendo el trabajo pesado.

Con números encima queda más claro. En ese mismo ejemplo, el modelo de medida de los cuatro constructos ajustaba de forma aceptable, χ²(246, N = 312) = 412.35, p < .001, CFI = .941, RMSEA = .047, IC 90% [.040, .054], SRMR = .052. Al añadir el factor latente común, la carga común estandarizada fue de .42, o sea que el método explicaba en torno al 18% de la varianza de los ítems, y las cargas sobre los constructos bajaron entre .02 y .09, ninguna por debajo de .50. Como referencia, las revisiones clásicas sitúan la mediana de varianza de método en medidas de autoinforme alrededor de una cuarta parte (Williams, Cote y Buckley, 1989), así que un 18% no es un valor alarmante. La convención de reportar el modelo de medida completo antes de esto está en cómo reportar un AFC en APA 7.

El problema es conceptual y no se arregla con más muestra. El factor de método no está medido, así que no sabes qué es: absorbe la varianza de método y también cualquier factor general sustantivo que tus constructos compartan por razones teóricas. En un estudio de bienestar donde estrés, ansiedad y agotamiento correlacionan porque hay un malestar general subyacente, el factor latente común se come ese malestar y te devuelve unas estimaciones deprimidas que parecen limpias. Richardson, Simmering y Sturman (2009) lo pusieron a prueba en simulación y su veredicto incomoda: la corrección por factor latente no medido puede dejarte peor que no corregir nada. A eso se le suman los problemas prácticos de siempre, soluciones que no convergen y varianzas negativas en cuanto el modelo se complica.

Si aun así lo usas —y es defendible—, repórtalo entero. Da las cargas con y sin el factor, la magnitud de la varianza de método y las correlaciones entre constructos en las dos soluciones, no la frase suelta «se controló el sesgo mediante un factor latente común», que no permite comprobar nada. Y decide antes de mirar los resultados si el factor se retiene en el modelo estructural: si lo retienes, todos los coeficientes que publicas salen del modelo con factor de método y eso hay que escribirlo en el apartado de análisis, no dejarlo implícito.

La variable marcador, bien hecha

La lógica de Lindell y Whitney (2001) es distinta y más elegante: en lugar de inventar un factor sin medir, mides algo. Se incluye en el cuestionario una variable marcador que no tenga ninguna relación teórica con los constructos del estudio, pero que se mida con el mismo método, el mismo formato de respuesta y en la misma sesión. Como su correlación verdadera con lo demás debería ser cero, lo que observes por encima de cero es una estimación del sesgo compartido, y se parcializa de las correlaciones sustantivas.

La cuenta cabe en una línea. Con la correlación observada entre estrés laboral y agotamiento emocional en r_U = .43 y una correlación marcador de r_M = .12, la correlación ajustada es r_A = (r_U − r_M) / (1 − r_M) = .35, que con N = 312 sigue siendo claramente distinta de cero. Reportar las dos, la observada y la ajustada, junto al marcador que usaste y por qué, es más informativo que cualquier párrafo de Harman que hayas escrito nunca.

La trampa está en cómo se elige el marcador, y es donde se cae casi todo el mundo. Tiene que ser a priori: se decide antes de recoger datos y se incluye en la batería a propósito. Simmering, Fuller, Richardson, Ocal y Atinc (2015) revisaron la práctica publicada y encontraron que la mayoría de los marcadores se seleccionaban después, entre lo que casualmente había en la encuesta, y muchas veces con el atajo de coger la correlación positiva más pequeña de la matriz. Ese atajo es un estimador sesgado a la baja: la correlación mínima de una matriz es, por construcción, la que más ruido muestral negativo lleva encima, así que infraestimas el sesgo justo cuando quieres demostrar que no lo hay.

La versión moderna es la técnica CFA marker de Williams, Hartman y Cavazotte (2010), que mete el marcador en el modelo de medida y compara una serie de modelos anidados en vez de hacer una resta. El modelo base fija a cero el efecto del marcador; Method-C lo deja actuar con cargas iguales sobre todos los ítems; Method-U las libera; Method-R devuelve las correlaciones entre constructos a sus valores originales para ver si eso empeora el ajuste. En el ejemplo de enfermería, Method-C mejoró sobre el base, Δχ²(1) = 6.84, p = .009 —hay efecto de método—, Method-U no aportó nada, Δχ²(23) = 29.61, p = .161 —el efecto es congenérico, igual en todos los ítems— y Method-R tampoco empeoró, Δχ²(6) = 8.12, p = .229, es decir, las relaciones entre constructos no cambian al controlarlo. Esa cadena de comparaciones anidadas es exactamente lo que hace el comparador de modelos SEM, y si trabajas con PLS el equivalente rápido es la colinealidad completa de Kock (2015), con el VIF de 3.3 como umbral de aviso.

Los remedios que funcionan son de diseño, no de análisis

Separación temporal. Mides el predictor en T1 y el criterio dos semanas o un mes después. Corta el motivo de consistencia, el priming y buena parte del estado de ánimo del momento, y es el remedio que un revisor acepta sin discutir. Se paga en pérdida de participantes, y hay que saber qué no arregla: las tendencias estables del respondente —aquiescencia, deseabilidad social, afectividad negativa— siguen ahí en las dos olas, porque son parte de la persona y no del momento.

Fuentes distintas. Es el remedio más potente y el más caro. Basta con romper la cadena en un eslabón: autoinforme del paciente para los síntomas y entrevista clínica estructurada para el diagnóstico, autoinforme del alumno para el clima de aula e informe del tutor para la conducta, cuestionario de estrés percibido y registro de absentismo de la unidad para el resultado. No hace falta cambiar de fuente todas las variables; con que la dependiente venga de otro sitio, la explicación por método común deja de ser plausible para tu efecto principal.

Lo que se puede hacer dentro de un solo cuestionario. Separación proximal, poniendo predictor y criterio en secciones distintas y con páginas de por medio; cambio de formato y de anclas entre bloques, para que el patrón de respuesta no se herede; contrabalanceo del orden de las escalas entre participantes; anonimato real y garantizado por escrito, más la instrucción explícita de que no hay respuestas correctas, que es la palanca conocida contra la aprensión evaluativa; y una revisión de la redacción de los ítems para quitar ambigüedades, jerga y dobles cañones. Está todo en Podsakoff, MacKenzie y Podsakoff (2012), y nada de ello cuesta dinero.

El argumento de la interacción. Siemsen, Roth y Oliveira (2010) demostraron algo que casi nadie usa y que vale oro en una carta de respuesta: la varianza de método común no puede generar un efecto de interacción espurio. Al contrario, tiende a atenuarlo, así que un término de moderación significativo con datos de una sola fuente es un efecto que sobrevivió al sesgo, no uno creado por él. Sirve para moderaciones y para términos cuadráticos, no para efectos principales ni para mediaciones simples; si tu hipótesis central es una moderación, ese párrafo vale más que cualquier test post hoc. Cómo montar y reportar ese modelo está en mediación y moderación con PROCESS.

Cómo se responde al revisor cuando los datos ya están recogidos

Lo que no funciona es el párrafo de Harman rematado con «por lo tanto, el sesgo de método común no es un problema en este estudio». Conway y Lance (2010) escribieron el texto que conviene tener a mano aquí, porque va dirigido justo a esa situación: lo que un revisor razonable debe esperar no es un test aprobado, sino un argumento de por qué el autoinforme es el método apropiado para esos constructos, evidencia de validez de constructo de las escalas, y una descripción de los remedios de diseño que sí aplicaste. El sesgo no se aprueba ni se suspende, se acota.

Un párrafo modelo, que puedes adaptar cambiando los detalles: «Agradecemos la observación. Los datos proceden de una sola fuente y una sola ola, de modo que no podemos descartar el sesgo de método común, y no presentamos ningún procedimiento post hoc como si lo descartara. Hemos añadido tres elementos. Primero, el diseño incluyó separación proximal —las escalas de predictor y criterio aparecían en secciones separadas y con formatos de respuesta distintos—, anonimato garantizado y la instrucción explícita de que no había respuestas correctas, siguiendo a Podsakoff et al. (2012) para reducir la aprensión evaluativa. Segundo, incorporamos una variable marcador incluida a priori en la batería y sin relación teórica con los constructos del modelo; la técnica CFA marker de Williams et al. (2010) indica un efecto de método congenérico de magnitud pequeña, y las correlaciones entre constructos se mantienen tras controlarlo (Tabla S2). Tercero, la hipótesis central es una interacción, y la varianza de método común no puede generar efectos de interacción espurios, sino atenuarlos (Siemsen et al., 2010). Hemos incorporado todo esto a las limitaciones y hemos retirado el test de un factor de Harman de la versión anterior, dado que su capacidad de detección es insuficiente (Fuller et al., 2016).»

En el manuscrito, la limitación se escribe corta y sin coartadas: «Todas las medidas son autoinformadas y se recogieron en una única sesión, por lo que parte de la covariación observada puede deberse al método común. Los procedimientos de marcador aplicados sugieren un efecto de método pequeño, pero no lo descartan; la replicación con medidas separadas en el tiempo o procedentes de otra fuente sigue siendo necesaria.» Un revisor que lee eso ve a alguien que entiende su propio diseño. Un revisor que lee «no se detectó sesgo de método común» ve a alguien que copió un párrafo.

Y la coherencia, que decide más rondas de las que parece. No llames test a lo que no lo es. No digas que controlaste el sesgo si solo lo estimaste. Si retienes el factor latente común en el modelo final, todas las estimaciones que reportas vienen de ahí y debe decirlo el apartado de análisis. Si el marcador lo elegiste después de ver los datos, dilo así, como análisis exploratorio, porque tratarlo de a priori es el tipo de detalle que un revisor comprueba mirando el cuestionario que subiste al material suplementario.

Preguntas frecuentes

¿Qué es el sesgo de método común?

Es la parte de la correlación entre dos variables que procede de haberlas medido con el mismo método y no de la relación real entre los constructos (Podsakoff et al., 2003). Aparece sobre todo cuando la misma persona responde a todo, en el mismo momento, con el mismo formato de respuesta. Sus fuentes van desde el motivo de consistencia y la deseabilidad social hasta las anclas comunes y los efectos de orden de los ítems. Puede inflar las correlaciones y también atenuarlas, aunque lo que preocupa al revisor es lo primero.

¿Cómo se hace el test de un factor de Harman en SPSS?

En Analizar > Reducción de dimensiones > Factor, metes todos los ítems de todas las escalas, eliges extracción por componentes principales o ejes principales, fijas el número de factores en 1 o pides la solución sin rotar, y miras el porcentaje de varianza del primer factor. Se tarda dos minutos, y esa facilidad es parte del problema: el procedimiento se generalizó porque es barato, no porque funcione. Si lo ejecutas, hazlo sabiendo que un resultado por debajo del 50% no demuestra ausencia de sesgo.

¿El test de Harman sigue siendo válido?

No como evidencia de que no hay sesgo. No es un contraste estadístico —no tiene hipótesis nula, ni distribución de referencia, ni valor crítico—, el umbral del 50% es una convención sin demostración detrás, y las simulaciones de Fuller et al. (2016) muestran que solo señala problema cuando el sesgo es más grande que en cualquier estudio real. Hay editoriales de revista que lo desaconsejan de forma explícita, siguiendo el argumento de Conway y Lance (2010). Si lo incluyes, no lo presentes como prueba de nada; en la mayoría de los casos es mejor sustituirlo.

¿Qué alternativas hay al test de Harman?

Dos post hoc y una de diseño. El factor latente común añade un factor de método sin indicadores que carga sobre todos los ítems y compara la solución con y sin él. La variable marcador (Lindell y Whitney, 2001) mide algo teóricamente no relacionado con tu modelo y parcializa su correlación; su versión moderna es la técnica CFA marker de Williams et al. (2010), con modelos anidados. Y la alternativa que de verdad reduce el sesgo es el diseño: separación temporal, fuentes distintas y anonimato real.

¿Cómo se elige una variable marcador?

A priori, antes de recoger los datos, y con una justificación teórica de por qué no debería correlacionar con ninguno de tus constructos. Tiene que medirse con el mismo método, el mismo formato de respuesta y en la misma sesión, porque si no, no capta el método que quieres estimar. Lo que hay que evitar es el atajo de coger la correlación positiva más pequeña de la matriz: infraestima el sesgo por construcción, ya que esa celda es la que más ruido muestral negativo acumula.

¿Cuánta varianza de método común es demasiada?

No hay un punto de corte defendible, y desconfía de quien te dé uno. Como referencia descriptiva, las revisiones clásicas sitúan la mediana de varianza de método en autoinformes en torno a una cuarta parte (Williams, Cote y Buckley, 1989), así que un factor de método que explique el 15% o el 18% de la varianza de los ítems está dentro de lo esperable. Lo que decide no es el porcentaje, sino si tus conclusiones cambian al controlarlo: si las correlaciones entre constructos se mantienen, tienes un argumento; si se hunden, tienes un hallazgo distinto del que creías.

Con la limitación reconocida, un marcador elegido a priori o un factor latente reportado entero, y los remedios de diseño que sí aplicaste puestos por escrito, esa petición del revisor deja de costarte una ronda. Si lo que tienes delante no es cómo redactarlo sino cómo montar el modelo de medida con el marcador dentro, eso lo vemos en mi consultoría estadística.