No me fío de los resultados de este cuestionario: cinco comprobaciones antes de analizar

Tienes la matriz delante y no te la crees. El alfa de una escala sale α = .94 cuando en el piloto costaba pasar de .70. Dos variables que no tienen por qué ir de la mano correlacionan r = .61. Y al bajar por el fichero aparece una fila de treses de principio a fin, y unas cuantas más debajo. Esa sensación de que ahí hay algo torcido suele ser correcta, y no se arregla con otro contraste: se arregla mirando cinco cosas concretas en los datos crudos, todas antes del primer análisis. Van en orden, con el umbral que se usa en cada una, con lo que le hacen a tus resultados si las dejas pasar y con la frase que hay que escribir después en el manuscrito.

La correlación ítem-total: el ítem inverso que sigue sin recodificar

La correlación ítem-total corregida es la correlación entre un ítem y la suma de los demás ítems de su escala, sin contar ese ítem. Lo de «corregida» es lo que la hace útil: si el ítem entra en la suma, correlaciona en parte consigo mismo y todo sale más alto de lo que es. En SPSS la tienes en Analizar > Escala > Análisis de fiabilidad, marcando el cuadro de estadísticos «Escala si se elimina el elemento»; en R la devuelve psych::alpha() en la columna r.drop; en jamovi está en el módulo de fiabilidad como «item-rest correlation». Y lo que buscas ahí, antes que cualquier valor bonito, es un signo. En una escala cuyos ítems miden lo mismo, una correlación negativa significa que ese ítem va al revés del resto.

Casi siempre va al revés porque es un ítem invertido y nadie lo recodificó. La recodificación se hace con (máximo teórico + mínimo teórico) − puntuación: en una Likert de 1 a 5 es 6 − x, y en una de 0 a 4 es 4 − x. Usar máximo − x en una escala que empieza en 1, que es el error frecuente, deja un cero donde debería haber un uno y te desplaza la escala entera un punto hacia abajo. Con eso resuelto, la comprobación se vuelve trivial: recodificas, vuelves a pedir la tabla y ninguna correlación ítem-total puede quedarse en negativo. El paso previo entero, con la métrica y los perdidos dentro de la escala, está en ítems inversos, suma o promedio y perdidos.

Conviene ver la magnitud del estropicio, porque explica el alfa raro que te trajo hasta aquí. Toma una escala de 20 ítems, 12 directos y 8 invertidos, con una correlación media de .35 dentro de cada bloque. Si esos 8 se quedan sin recodificar, correlacionan −.35 con los otros doce, la correlación media de la escala completa se va a cero y el alfa sale α = −.08. Un alfa negativo no es un fallo del programa ni una muestra rara: con ítems que apuntan al mismo sitio es aritméticamente imposible, así que siempre está diciendo que una parte de la escala apunta al contrario. En el caso más suave, tres ítems invertidos de diez sin tocar dejan el alfa alrededor de α = .17 cuando la escala bien recodificada anda por α = .81, y todos los datos están ahí, ninguno falta.

Con todo recodificado, la convención más extendida pide una correlación ítem-total corregida de .30 o más (Nunnally y Bernstein, 1994); entre .20 y .30 el ítem es débil, y por debajo de .20 casi no comparte nada con sus compañeros. Es una convención, no una ley, y tiene un límite claro: borrar ítems hasta que suba el alfa es una manera rápida de quedarte con una escala más corta, más redundante y sin el contenido que justificaba usarla. Si el ítem es teóricamente central, lo que se reporta es que funcionó mal en esta muestra, no un hueco silencioso. Cómo se escribe la tabla completa está en cómo reportar un análisis de ítems en APA 7, y si solo quieres la tabla con las correlaciones ítem-total y el alfa si se elimina cada ítem, la saca la calculadora de análisis de ítems.

Líneas rectas: quien contestó lo mismo de arriba abajo

Abre el fichero crudo y mira filas, no columnas. Una fila con el mismo número repetido cuarenta veces seguidas no es una persona muy coherente: en un cuestionario que mezcla tres escalas distintas, con anclas distintas y algún ítem invertido, es alguien que dejó de leer en el ítem cinco. El fenómeno tiene nombre en la literatura, respuesta con esfuerzo insuficiente, y una prevalencia que ronda el 10 % o el 12 % en muestras universitarias con variación grande entre estudios (Meade y Craig, 2012). Con paneles en línea y créditos de asignatura de por medio, dar por hecho que no te ha tocado ninguno es optimista.

Cuatro señales bastan para detectarlos, y todas se calculan con lo que ya tienes. Cadena larga. El índice longstring (Johnson, 2005) es la racha más larga de respuestas idénticas consecutivas de una persona; hay que interpretarlo contra la estructura del cuestionario, porque veinte ítems seguidos de la misma subescala pueden contestarse igual con toda legitimidad. Variabilidad intraindividual. La desviación típica de las respuestas de cada participante a lo largo del cuestionario: un valor de cero es la línea recta perfecta, y los valores muy bajos son la línea recta con algún temblor. Tiempo. Huang et al. (2012) proponen un corte de dos segundos por ítem; por debajo de eso no da tiempo material a leer y responder. Sinónimos y antónimos psicométricos. Meade y Craig (2012) usan pares de ítems casi idénticos o casi opuestos y calculan la correlación dentro de cada persona: quien responde en serio correlaciona alto y positivo en los sinónimos.

Lo que hacen esas filas a tus números depende de dónde se hayan quedado. Si unos contestan todo 1 y otros todo 5, esas personas aportan la misma puntuación a todos los ítems y suben la covarianza entre ellos: tu alfa mejora y tus correlaciones también, sin que nadie haya medido nada. Si todos se quedan en el punto medio, aportan varianza cero, y las correlaciones se atenúan. Y si hay ítems invertidos, la línea recta los rompe en los dos sentidos a la vez. En cualquiera de los tres casos el número que estás mirando ya no es el de tu constructo, y el problema no es que sea alto o bajo, es que no depende de lo que preguntaste.

La regla de uso es la que separa la limpieza de datos del dragado. El criterio se fija antes de mirar las hipótesis: qué señales cuentan, cuántas hacen falta para excluir a alguien y qué se hace con los casos dudosos. Después se reporta el número de excluidos, el motivo y, si el revisor es exigente, el resultado con y sin ellos. Eliminar participantes cuando ya has visto que el efecto no sale, y volver a mirar el valor p, es otra cosa distinta y se nota desde fuera: la muestra final no cuadra con la reclutada y nadie explica el hueco. Un ítem de control de atención explícito («marca 4 en este ítem») ayuda, pero no sustituye a los índices, porque hay quien lo acierta por azar y quien lo falla por despiste estando atento al resto.

Un alfa alto no prueba que la escala sea buena: prueba que es larga

El alfa de Cronbach sube con dos cosas: lo que los ítems comparten entre sí y cuántos ítems hay. La segunda es la que engaña. Con una correlación media entre ítems de .15, que es el suelo de lo recomendable, 40 ítems dan α = .88. Con una correlación media de .50, que es el techo, 6 ítems dan α = .86. La escala floja gana por dos centésimas a la buena solo por ser siete veces más larga, y si lo único que reportas es el alfa nadie puede distinguirlas. Por eso ese α = .94 de una escala de 45 ítems no dice lo que parece decir: dice que la escala es larga, y todavía no sabes si mide una cosa o cuatro.

El número que sí distingue es la correlación media entre ítems, y cabe en la misma línea del manuscrito. Clark y Watson (1995) recomiendan que se mueva entre .15 y .50, y hacia .40 o .50 cuando el constructo es estrecho: por debajo la escala está midiendo cosas dispersas y por encima los ítems son casi el mismo ítem repetido. La demostración clásica del problema es de Cortina (1993), que mostró que una escala de 18 ítems con tres dimensiones que ni siquiera correlacionan entre sí puede superar α = .70 sin despeinarse. Un alfa alto es compatible con una escala multidimensional; lo único que garantiza es que hay covarianza suficiente entre los ítems, no de dónde viene.

Al alfa le pasa además algo que casi nunca se comprueba: asume tau-equivalencia, es decir, que todos los ítems pesan igual sobre el constructo. Cuando no se cumple, y no suele cumplirse, subestima la fiabilidad, y la alternativa es omega de McDonald, que se calcula desde el modelo factorial y no exige esa igualdad. En una escala unidimensional razonable los dos valores se parecen; cuando se separan mucho, el que está avisando de algo es omega. Todo lo que hay que declarar junto al coeficiente (el estadístico, la muestra en la que se calculó, el intervalo si lo das) está en cómo reportar el alfa de Cronbach en APA 7.

Y por arriba también hay un límite. Un α = .97 en una escala de veinte ítems no es una noticia excelente, es redundancia: los ítems están preguntando lo mismo con palabras distintas, y esa escala ocupa cuatro minutos del participante para recoger lo que recogerían seis ítems. La lectura práctica: reporta el alfa, reporta al lado el número de ítems y la correlación media entre ellos, y si el constructo es multidimensional reporta el coeficiente por subescala, nunca uno global que promedia dimensiones distintas y las esconde.

Si lo mediste todo igual, parte de esa correlación es el método

La correlación que te chirría entre dos variables tiene un sospechoso obvio cuando las dos salen del mismo sitio. Un formulario en línea de quince minutos, la misma persona respondiendo a estrés percibido, apoyo del supervisor y agotamiento, las mismas anclas de cinco puntos en las tres escalas y todo en la misma sesión. Una parte de lo que correlaciona son los constructos y otra parte es haberlo preguntado todo junto: el deseo de parecer coherente con lo que acabas de contestar, la deseabilidad social, la aquiescencia, el afecto negativo que tiñe a la vez el informe del estresor y el del síntoma. Se llama varianza del método común y está catalogada desde Podsakoff et al. (2003).

El reflejo habitual es el test de un factor de Harman, y ese reflejo ya no vale como defensa. No tiene hipótesis nula ni valor crítico, el umbral del 50 % no sale de ninguna demostración y, cuando se ha simulado, solo detecta sesgo de una magnitud que no aparece en estudios reales. Aprobarlo no demuestra nada, y el revisor que te pide que abordes el sesgo de método suele saberlo. Lo que hay detrás y qué se pone en su lugar está en sesgo de método común y el test de Harman.

Para tu comprobación de hoy vale con una pregunta y dos consecuencias. La pregunta: ¿hay alguna de mis variables que no venga del mismo cuestionario, de la misma persona y del mismo momento? Si la respuesta es no, todas las correlaciones de tu tabla comparten una fuente de covariación que no es teórica. La primera consecuencia es que las correlaciones entre autoinformes recogidos a la vez no son comparables con las de estudios que separaron fuentes o momentos, y no se pueden discutir como si lo fueran. La segunda es que el efecto que peor sobrevive a este problema es el más pequeño: si tu hallazgo depende de una correlación de r = .18 entre dos escalas del mismo formulario, la conclusión se apoya justo en el trozo más frágil.

Lo que sí reduce el sesgo es de diseño y hay que decidirlo antes: separar en el tiempo el predictor y el criterio, cambiar de fuente al menos una variable (un registro, un informante, una tarea conductual), garantizar el anonimato de verdad para bajar la aprensión evaluativa y evitar que todas las escalas compartan formato y anclas. Si los datos ya están recogidos, la respuesta honesta no es un test aprobado: es reconocer la limitación con nombre y apellidos, decir qué remedios de diseño sí aplicaste y no vender como robusto lo que descansa en una única fuente.

Suelo y techo: cuando la escala no tiene sitio para tu muestra

Hay efecto suelo o efecto techo cuando una parte grande de la muestra se acumula en la puntuación mínima o máxima posible. El criterio más citado lo fija en el 15 %: si más de ese porcentaje obtiene el mínimo o el máximo, se considera que el instrumento tiene ese problema en esa muestra (Terwee et al., 2007). Y es en esa muestra, no en el instrumento para siempre: una escala de sintomatología depresiva construida para población clínica se comporta perfectamente en una consulta y se amontona en el suelo cuando la pasas a estudiantes de segundo de carrera, donde mucha gente contesta el mínimo en casi todos los ítems.

Lo que hace a tus resultados es discreto y sistemático. Restringe el rango, y con el rango restringido las correlaciones se atenúan: una relación real aparece más pequeña de lo que es, y a veces desaparece del todo. Deforma la distribución hacia una asimetría fuerte que después intentas arreglar con una transformación, tratando el síntoma. En medidas repetidas quita margen de cambio: quien ya está en el máximo no puede mejorar, así que tu intervención parece funcionar menos de lo que funciona, y quien está en el mínimo no puede empeorar, con lo que un grupo control se ve artificialmente estable. Y a nivel de ítem, uno donde el 90 % elige la misma opción tiene una desviación típica minúscula y arrastra su correlación ítem-total hacia cero aunque el ítem esté bien escrito.

Verlo cuesta dos minutos y casi nadie lo hace, porque la media y la desviación típica lo ocultan. Pide la tabla de frecuencias de cada ítem y mira dónde se apelotona la gente; calcula el porcentaje de participantes en el mínimo posible y en el máximo posible de la puntuación total; y mira la desviación típica ítem a ítem buscando las que se hunden. Un histograma de la puntuación total ayuda, pero el diagnóstico fino está en los ítems: puede haber cuatro ítems con techo dentro de una escala cuya puntuación total parece razonable.

Cuando aparece, se reporta y se discute, no se esconde. La frase útil dice el porcentaje exacto en el mínimo, reconoce que las correlaciones con esa variable están atenuadas y explica que el instrumento no fue construido para el rango de esta población. Si estás en fase de diseño y todavía puedes elegir, la solución es un instrumento con más recorrido en el extremo donde vive tu muestra, no añadir opciones de respuesta a una escala validada, que cambia la métrica y te deja sin poder compararte con nadie.

El orden de las cinco comprobaciones y qué se reporta

Hazlas en este orden, porque cada una limpia el terreno de la siguiente. Uno. Las filas: tiempos de respuesta, cadenas largas y variabilidad intraindividual, con el criterio de exclusión decidido antes de mirar nada más. Dos. Los ítems invertidos: recodificar y comprobar que ninguna correlación ítem-total se queda en negativo. Tres. Las distribuciones por ítem: frecuencias, desviación típica y porcentaje en el mínimo y el máximo. Cuatro. La fiabilidad, ya con los datos limpios y en el orden correcto: alfa u omega, con el número de ítems y la correlación media entre ellos al lado. Cinco. El método: de dónde sale cada variable y cuánto comparten por venir del mismo sitio. Calcular el alfa antes de recodificar es el error clásico detrás de un «esta escala no funciona en mi muestra».

Del manuscrito no hace falta un apartado nuevo: caben seis frases en Método y Resultados. El criterio de exclusión por calidad de respuesta y cuántos casos se fueron. El rango de las correlaciones ítem-total corregidas. El coeficiente de fiabilidad con el número de ítems y la correlación media entre ellos. El porcentaje en el mínimo y el máximo si supera el 15 %. Y una limitación honesta si todo procede de un autoinforme recogido de una vez. Nada de eso ocupa espacio y todo eso es lo que un revisor busca para decidir si se fía del resto del artículo.

El revisor que no encuentra esas frases no concluye que las comprobaciones estén mal hechas: concluye que no sabe si están hechas, y con eso empieza a leer los resultados con otra cara. Es una diferencia de párrafo, no de estudio. Lo que estás enseñando cuando reportas la correlación media entre ítems o el porcentaje en el suelo no es que tus datos sean perfectos, sino que los miraste antes de creerte lo que salió.

Preguntas frecuentes

¿Cómo sé si un ítem está sin recodificar?

Por la correlación ítem-total corregida. En una escala cuyos ítems miden lo mismo, esa correlación tiene que ser positiva; si sale negativa (r = −.38, por ejemplo) ese ítem va al revés del resto y casi siempre es un ítem invertido que nadie recodificó. La segunda pista es el alfa: un valor absurdamente bajo o directamente negativo en una escala publicada y con buen historial apunta al mismo sitio. Se recodifica con (máximo teórico + mínimo teórico) − puntuación y se vuelve a pedir la tabla para confirmar.

¿Qué correlación ítem-total se considera aceptable?

La convención más extendida pide .30 o más para la correlación ítem-total corregida (Nunnally y Bernstein, 1994). Entre .20 y .30 el ítem es débil y conviene mirarlo con la teoría delante; por debajo de .20 apenas comparte nada con los demás ítems. Es una convención, no un umbral demostrado, y no autoriza a borrar ítems hasta que el alfa suba: si el ítem es central para el constructo, se reporta que funcionó mal en esta muestra y se discute, no se elimina en silencio.

¿Puedo eliminar a los participantes que contestan siempre lo mismo?

Sí, si el criterio estaba fijado antes de mirar las hipótesis y lo reportas. Lo habitual es combinar señales: una cadena larga de respuestas idénticas, una desviación típica intraindividual cercana a cero, un tiempo de respuesta por debajo de dos segundos por ítem (Huang et al., 2012) y el fallo de los ítems de control. Con dos señales o más y el criterio escrito de antemano, la exclusión se defiende. Lo que no se sostiene es depurar la muestra después de ver que el efecto no salía; si lo haces, reporta el resultado con y sin los casos excluidos.

¿Un alfa de .95 es bueno?

Es sospechoso de redundancia. Un alfa muy alto en una escala larga suele significar que los ítems preguntan lo mismo con otras palabras, o simplemente que hay muchos: 40 ítems con una correlación media entre ellos de .15 ya dan α = .88 sin que la escala mida bien nada. La franja habitual de referencia va de .70 a .90, y por encima de .95 conviene revisar el contenido de los ítems. Reporta siempre el alfa con el número de ítems y la correlación media entre ítems al lado, que es lo que permite interpretarlo.

¿Cuándo hay efecto techo en un cuestionario?

El criterio más citado es el 15 %: si más del 15 % de la muestra obtiene la puntuación máxima posible hay efecto techo, y lo mismo con la mínima para el efecto suelo (Terwee et al., 2007). Es una propiedad de la escala en tu muestra, no del instrumento en abstracto. Cuando aparece, las correlaciones con esa variable salen atenuadas por restricción del rango, la distribución se vuelve muy asimétrica y en diseños pre-post desaparece el margen de cambio.

¿Cómo sé si mis correlaciones son varianza del método común?

No hay un test que lo separe, y ese es el punto. Si todas tus variables salen del mismo cuestionario, de la misma persona y del mismo momento, parte de la covariación es método y no puedes cuantificar cuánta con un procedimiento post hoc fiable; el test de un factor de Harman en particular no sirve como prueba de ausencia. Lo que se puede hacer es reconocer la limitación, aportar una variable marcador elegida a priori o un factor latente común como evidencia parcial, y no apoyar la conclusión principal en la correlación más pequeña de la tabla.

Con los inversos recodificados, las líneas rectas fuera con criterio escrito, el alfa acompañado de su correlación media entre ítems y el suelo declarado, ya sabes qué mide tu cuestionario en tu muestra y qué no. Si lo que queda después de las cinco comprobaciones es una escala que no funciona aquí y no un error de recodificación, eso ya no es limpieza de datos sino un problema de medida: se declara en Método y se discute como limitación, no se tapa con el análisis.