Cómo reportar los datos perdidos en APA 7

Tu matriz tiene agujeros. Alguien se saltó la pregunta de los ingresos, tres personas dejaron en blanco la última página de la batería, dos abandonaron entre la primera y la segunda medida, y una puntuación total falta porque falta un solo ítem. Después el programa analiza 322 de tus 412 participantes sin decir nada, imprime unos grados de libertad que ya no cuadran con la muestra que describiste en el método y no te avisa de ninguna de las dos cosas. Ese desajuste es la primera comprobación aritmética que un revisor puede hacer sin tus datos, y le lleva cuatro segundos. Aquí tienes qué reportar, cómo se argumenta un mecanismo que no se puede contrastar y cómo se describe la eliminación por lista, la imputación múltiple o la máxima verosimilitud con información completa para que otra persona pueda repetir el análisis. Si estás montando el apartado desde cero, la casa de todo esto es cómo reportar resultados en APA 7.

Qué se reporta, y dónde va

El lector tiene tres preguntas y las contestas por orden: cuánto falta y dónde, por qué crees que falta y qué hiciste con ello. Las normas de reporte que APA incorpora en el manual (las JARS) piden explícitamente la frecuencia o el porcentaje de datos perdidos y el método empleado para tratarlos, así que esto no es un párrafo de cortesía que añades si sobra sitio. Los perdidos forman parte de la descripción de tu muestra igual que la edad y el sexo.

Las piezas viven en dos sitios. El método lleva los recuentos y el plan: cuántos valores faltaban en cada variable, cuántos participantes tenían datos completos y el procedimiento que elegiste con sus ajustes. Los resultados llevan la consecuencia: la N realmente analizada y, si la hiciste, el análisis de sensibilidad. Si la muestra analizada es más pequeña que la reclutada, dilo donde aparece por primera vez el número pequeño, no tres páginas después.

El formato es el de siempre, aplicado a los símbolos que salen aquí. La N, la n, la t, la d, la M, la DT y la m (el número de imputaciones) van en cursiva; la χ del test de Little va en redonda porque es una letra griega, y lleva el tamaño muestral dentro del paréntesis como cualquier chi-cuadrado: χ²(24, N = 412) = 31.06, p = .152. El cero inicial sigue la regla de si el estadístico puede pasar de 1: la p y la fracción de información perdida lo pierden (p = .152, FMI = .18), la d y los coeficientes no estandarizados lo conservan (d = 0.33).

Una distinción te ahorra un porcentaje que no significa nada: personas enteras y valores sueltos no son el mismo problema. Quien retiró su consentimiento, quedó excluido o no volvió para la segunda medida va en el flujo de participantes, con el motivo. Los huecos dentro de un protocolo por lo demás completo son perdidos a nivel de ítem. Promediar los dos en una sola cifra esconde cuál de los dos tienes, y se tratan de forma distinta.

Cuántos faltan y dónde

Da el porcentaje y el recuento, variable a variable, y luego la cifra por casos. En una muestra de 412 estudiantes universitarios queda así: los perdidos iban del 1.9% (8) en la escala de depresión y el 4.4% (18) en ansiedad al 7.8% (32) en apoyo social percibido y el 15.0% (62) en ingresos del hogar; 322 participantes (78.2%) tenían datos completos en todas las variables del análisis y 90 (21.8%) tenían al menos un valor perdido. Esas dos capas contestan preguntas distintas. Una variable con el 15% de sus valores ausentes es un problema de medida; un 21.8% de casos incompletos es lo que te costaría de verdad borrar por lista.

El patrón importa tanto como la cantidad. Di si los huecos están repartidos entre variables o concentrados en un bloque, si son monótonos (quien deja de contestar ya no vuelve, la forma habitual en los diseños longitudinales) o arbitrarios, y si un solo ítem está arrastrando el total de una escala. Explicita la regla de puntuación si usaste alguna: prorratear el total cuando falta menos del 10% de sus ítems es una convención defendible, pero es una decisión, y una decisión no declarada parece un descuido.

El umbral que se cita siempre, el 5% por debajo del cual casi cualquier método da lo mismo, viene de Schafer (1999) y es una regla práctica sobre las consecuencias, no un permiso. Dice poco cuando la ausencia es sistemática: un 4% perdido justo entre los participantes con más sintomatología hace más daño que un 12% repartido al azar. Y un 5% en cada una de seis variables puede dejarte con la cuarta parte de los casos incompletos, que es exactamente por lo que se reportan las dos capas.

Con más de tres o cuatro variables, esto va en una tabla: una fila por variable, columnas de n observados, n perdidos y porcentaje, y una nota con el número de casos completos. En un estudio de intervención, añade una columna por grupo, porque una pérdida diferencial entre condiciones amenaza a la comparación en sí y un porcentaje global la tapa. El generador de tablas APA universal te deja las filas y la nota puestas.

El mecanismo: MCAR, MAR, MNAR y cómo se argumenta

La clasificación de Rubin (1976) va sobre de qué depende la probabilidad de que un valor falte. Los datos son perdidos completamente al azar (MCAR) cuando esa probabilidad no depende de nada, observado o no: los huecos son una moneda al aire. Son perdidos al azar (MAR) cuando depende de cosas que sí mediste: los hombres se saltan más la pregunta de los ingresos, y tú tienes el sexo en la matriz. Son perdidos no al azar (MNAR) cuando depende del propio valor ausente: quien más gana es quien deja los ingresos en blanco. Los nombres se parecen demasiado entre sí, así que define en una frase el que reclamas en vez de fiarlo todo a las siglas.

Solo el MCAR se puede contrastar, y a medias. El test MCAR de Little compara las medias de las variables observadas entre los patrones de ausencia y devuelve un chi-cuadrado: χ²(24, N = 412) = 31.06, p = .152. Conviene saber dos límites antes de apoyarte en él. Un resultado no significativo no demuestra el MCAR, es un fallo al rechazar, y con muestras modestas el test tiene poca potencia. Y con una muestra grande casi todo sale significativo: un χ²(38, N = 1.204) = 61.44, p = .009 puede corresponder a un par de puntos de diferencia en una escala. El test además solo mira medias, así que no ve una ausencia ligada a las varianzas o a las asociaciones.

El argumento que de verdad convence es un conjunto de comparaciones entre quienes tienen y quienes no tienen el dato, en todo lo que sí observaste. Repórtalas: la ausencia en ingresos no se relacionó con el sexo, χ²(1, N = 412) = 0.84, p = .359, ni con la edad, t(410) = 0.62, p = .536, d = 0.09, pero quienes no informaron de sus ingresos puntuaron más alto en depresión, t(402) = 2.41, p = .016, d = 0.33 (los grados de libertad bajan a 402 porque ocho personas no tienen puntuación de depresión). Léelo bien: una diferencia significativa es evidencia en contra del MCAR, y es un argumento a favor del MAR precisamente porque la variable que predice la ausencia es una que mediste y que, por tanto, puedes meter en el modelo de imputación.

El MAR es un supuesto, y la frase honesta lo dice: «se asumió que los datos eran perdidos al azar condicionados a las variables del análisis y a dos variables auxiliares». Ningún test distingue MAR de MNAR, porque hacerlo exigiría los valores que no tienes. Lo que sí puedes hacer es volver el MAR más creíble —incluir variables auxiliares correlacionadas con la ausencia o con la variable incompleta, aunque no aparezcan nunca en el modelo sustantivo— y, cuando el MNAR está encima de la mesa de verdad (el abandono lo causa el síntoma que mides), hacer un análisis de sensibilidad que desplace los valores imputados una cantidad plausible y contar si tu conclusión sobrevive.

Qué hiciste, y por qué

La eliminación por lista es defendible cuando falta muy poco y el MCAR es plausible, y es lo que hace tu programa por defecto lo hayas decidido o no. Repórtala como decisión: «los análisis se hicieron con casos completos (n = 322); se excluyeron 90 participantes por tener al menos un valor perdido en las variables del análisis». Te cuesta potencia, y te mete sesgo en cuanto el mecanismo deja de ser MCAR. La eliminación por pares cuesta más de lo que parece: cada correlación se calcula sobre una submuestra distinta, las N de tu tabla dejan de coincidir entre sí y la matriz resultante puede no ser definida positiva, lo que revienta el análisis factorial que ibas a hacer con ella.

La imputación múltiple necesita cinco datos o no es reproducible: el programa y el paquete, el número de imputaciones m y cómo lo elegiste, el método de imputación, qué variables entraron en el modelo de imputación y que los resultados se combinaron con las reglas de Rubin. El viejo m = 5 solo es generoso con el ordenador; una convención que funciona (White, Royston y Wood, 2011) es poner m al menos igual al porcentaje de casos incompletos, que con un 21.8% da m = 25. El modelo de imputación tiene que incluir la variable dependiente y todas las del análisis, más las auxiliares: si dejas fuera el resultado, imputas predictores que no se relacionan con él y atenúas justo el efecto que estás probando. Reportar la fracción de información perdida (FMI = .18) le dice al lector cuánta de tu incertidumbre viene de los agujeros. La mecánica en SPSS y en R está contada en imputación de datos faltantes en SPSS y R.

La máxima verosimilitud con información completa (FIML) no genera ninguna matriz imputada: estima el modelo usando todos los casos que aportan alguna información, bajo el mismo supuesto MAR. Es lo que te da cualquier programa de ecuaciones estructurales en cuanto se lo pides —en Mplus viene por defecto, en lavaan es un argumento, missing = 'fiml'— y suele ocupar una línea del método: «los modelos se estimaron por máxima verosimilitud con información completa, que utiliza todos los datos disponibles bajo el supuesto de pérdida al azar (N = 412)». La N que reportas es la entera, y ese es el objetivo. Si quieres variables auxiliares, entran como correlatos saturados y no como predictores, y hay que decir cuáles. Con indicadores no normales el estimador pasa a ser la máxima verosimilitud robusta, y eso también se nombra.

Tres cosas no pueden entrar en el artículo sin avisar. La sustitución por la media coloca a todos los casos perdidos en el centro de la distribución, encoge la varianza y empuja las correlaciones hacia cero. La imputación única por regresión o por EM da un valor plausible pero lo trata como si lo hubieras observado, así que los errores típicos salen demasiado pequeños y los intervalos demasiado estrechos. Y cualquier decisión que tomaras después de ver los resultados —quitar una variable porque su porcentaje de perdidos era incómodo— se cuenta por lo que fue. Lo que desactiva todo esto es un análisis de sensibilidad: corres el modelo de las dos formas y pones los dos números. Con casos completos salió B = -0.41, EE = 0.11, IC 95% [-0.63, -0.19], y con imputación múltiple B = -0.34, EE = 0.09, IC 95% [-0.52, -0.16], p < .001: misma conclusión, y ya nadie tiene que preguntárselo.

Lo que delata el 78.4%

Una revisión de 37 tesis doctorales que analizaban datos de NHANES —la gran encuesta de salud de Estados Unidos— encontró que el 78.4% no declaraba ni siquiera si tenía datos perdidos. No que no los tuviera: NHANES, como cualquier encuesta de salud grande, está llena de ellos, y algunas de sus medidas se recogen sobre submuestras por diseño. Veintinueve de esos 37 documentos sencillamente no mencionaban el asunto, en el apartado donde se describe la muestra y con una base de datos cuya documentación le dedica páginas.

El silencio no es neutro, porque el lector lo rellena con el valor por defecto. No decir nada significa eliminación por lista, y la eliminación por lista en una encuesta grande puede llevarse un tercio de la muestra y, con él, a las personas cuyos datos cuestan más de recoger. Después llega la aritmética: tu método dice N = 412, tu regresión imprime F(4, 317) = 12.44, p < .001, y esos grados de libertad significan que se analizaron 322 casos. Noventa personas desaparecieron y el artículo no lo cuenta. Eso es una pregunta en el informe de revisión y una vuelta más.

Arreglarlo son dos frases y unos números que ya tienes en pantalla. Escríbelas antes de correr el análisis, en el plan de análisis, donde la decisión todavía es metodológica y no una manera de rescatar un valor p: qué casos vas a excluir, qué vas a imputar y con qué modelo, y qué harás si los dos enfoques no coinciden. Va en el mismo documento que el resto de tus decisiones, y de eso trata el plan de análisis de datos de una tesis.

La parte que te compra credibilidad es la última. Si el análisis con casos completos y el imputado coinciden, una frase lo dice y el lector deja de preocuparse. Si no coinciden, esa discrepancia es un hallazgo sobre tus datos y no un accidente que esconder: significa que la ausencia está haciendo trabajo, y la discusión tiene algo real que decir sobre quién no está en tu muestra y qué le hace eso a la estimación.

El párrafo entero, escrito

La versión de método, con imputación múltiple: «De los 412 participantes, 90 (21.8%) tenían al menos un valor perdido en las variables del análisis. Los perdidos iban del 1.9% (8) en la escala de depresión al 15.0% (62) en los ingresos del hogar. El test MCAR de Little no fue significativo, χ²(24, N = 412) = 31.06, p = .152, pero quienes no informaron de sus ingresos puntuaron más alto en depresión que quienes sí lo hicieron, t(402) = 2.41, p = .016, d = 0.33; la ausencia no se relacionó con el sexo, χ²(1, N = 412) = 0.84, p = .359, ni con la edad, t(410) = 0.62, p = .536. Se asumió por tanto que los datos eran perdidos al azar y se trataron con imputación múltiple por ecuaciones encadenadas (R, paquete mice), con m = 25 imputaciones, emparejamiento por media predicha para las variables continuas y un modelo de imputación que incluía todas las variables del análisis —también la dependiente— más dos auxiliares (estrés percibido y años de carrera). Las estimaciones se combinaron con las reglas de Rubin; los grados de libertad combinados siguen a Barnard y Rubin (1999) y se reportan redondeados.»

La versión de resultados, con el análisis de sensibilidad pegado: «En los datos imputados (N = 412), el apoyo social predijo menos sintomatología depresiva, B = -0.34, EE = 0.09, IC 95% [-0.52, -0.16], p < .001, FMI = .18. El análisis con casos completos (n = 322) produjo una estimación del mismo signo y magnitud, B = -0.41, EE = 0.11, IC 95% [-0.63, -0.19], F(4, 317) = 12.44, p < .001, R² = .14, de modo que la conclusión no depende de cómo se trataran los datos perdidos.» Para ver dónde encaja este párrafo respecto al resto, hay un apartado entero desarrollado en el apartado de resultados en APA 7, con ejemplo.

Y la versión corta, para cuando el problema es de verdad pequeño: «Los valores perdidos afectaron al 1.2% de los datos y ninguna variable superó el 2.4%. El test MCAR de Little no fue significativo, χ²(9, N = 412) = 11.83, p = .223, y los análisis se realizaron con casos completos (n = 401).» Tres frases, tres números, ninguna imputación y nada que un revisor pueda pedirte después. Lo que separa esto del 78.4% no es sofisticación: es haber escrito las frases.

El número va en el texto; si son muchos, a una tabla, y si lo que hay que ver es un patrón, a una figura. Las reglas de las dos están en tablas en APA 7 y figuras en APA 7. Y si ya tienes el apartado escrito, pégalo en Revisa una sección: te devuelve la primera objeción que te haría un revisor, con la frase exacta de tu texto en la que aparece.

Preguntas frecuentes

¿Cómo se reportan los datos perdidos en APA 7?

En tres movimientos. La cantidad, como porcentaje más recuento en cada variable y en los casos completos: «los perdidos iban del 1.9% (8) al 15.0% (62); 322 participantes (78.2%) tenían datos completos». El mecanismo que asumes, con las pruebas que lo sostienen: el test MCAR de Little, χ²(24, N = 412) = 31.06, p = .152, y las comparaciones entre casos completos e incompletos. Y el método, con sus ajustes: imputación múltiple con m = 25, FIML, o casos completos con la n excluida. Los recuentos y el plan van en el método; la N analizada y el análisis de sensibilidad, en los resultados.

¿Cuántos datos perdidos son aceptables?

No hay un umbral que haga válido o inválido un análisis, y el 5% que se cita siempre (Schafer, 1999) es una regla práctica sobre cuándo los métodos empiezan a separarse, no un límite. Importa más el patrón que la cantidad: un 4% concentrado entre los participantes con más síntomas sesga más tu estimación que un 12% repartido al azar. Reporta el porcentaje por variable y también el de casos —un 5% en cada una de seis variables puede dejarte la cuarta parte de los casos incompletos— y ten presente la convención que se aplica en la práctica: cuando una variable clave pierde más de un 10% de sus valores, casi ningún revisor se conforma con casos completos y lo que se espera es imputación múltiple o FIML.

¿Qué son MCAR, MAR y MNAR y cómo sé cuál tengo?

MCAR significa que la probabilidad de que falte un valor no depende de nada, observado ni no observado. MAR significa que depende de variables que mediste (los hombres se saltan más el ítem de ingresos, y tú tienes el sexo en la matriz). MNAR significa que depende del propio valor ausente (quien más gana es quien lo deja en blanco). El MCAR se puede contrastar de forma imperfecta con el test de Little; MAR y MNAR no se distinguen con tus datos, porque hacerlo exigiría los valores que no tienes. En la práctica argumentas el MAR: enseñas qué variables observadas predicen la ausencia, las metes en el modelo de imputación y declaras el supuesto como supuesto.

¿Cómo se reporta el test de Little en APA?

Como un chi-cuadrado, con el tamaño muestral dentro del paréntesis: χ²(24, N = 412) = 31.06, p = .152. La χ va en redonda por ser griega, la N en cursiva y la p sin cero inicial. Interprétalo con cuidado: un resultado no significativo no demuestra el MCAR, solo no lo rechaza, y con muestras grandes el test marca diferencias triviales —un χ²(38, N = 1.204) = 61.44, p = .009 puede ser cosa de dos puntos de escala—. Compara además solo medias, así que una ausencia ligada a las varianzas o a las asociaciones se le escapa.

¿Cuántas imputaciones múltiples hago?

Más de las cinco clásicas. Una convención que funciona (White, Royston y Wood, 2011) es poner m al menos igual al porcentaje de casos incompletos: con un 21.8% de casos incompletos, m = 25. Hacer más solo cuesta tiempo de cálculo y hace tus resultados reproducibles hasta más decimales, porque cada tanda de imputaciones lleva su propia variación aleatoria. Reporta la m, el método de imputación (emparejamiento por media predicha, ecuaciones encadenadas), las variables del modelo de imputación —incluida la dependiente— y que las estimaciones se combinaron con las reglas de Rubin.

¿Puedo borrar los casos con datos perdidos?

Sí, cuando falta muy poco y el MCAR es plausible: ahí el análisis con casos completos es insesgado y la pérdida de potencia es pequeña. Deja de ser defendible cuando desaparece una quinta parte de tus casos o cuando la ausencia se relaciona con tus variables, porque entonces estás analizando una submuestra autoseleccionada. En los dos escenarios hay dos cosas que hacer. Repórtalo como decisión y con los números («casos completos, n = 322; 90 excluidos») en vez de dejar que el programa lo haga en silencio. Y si los excluidos difieren de los retenidos en algo que mediste, corre el análisis de las dos formas y pon las dos estimaciones.

Con los recuentos por variable, la cifra de casos completos, un mecanismo declarado como supuesto y respaldado por comparaciones, y el método con sus ajustes, tus datos perdidos están reportados como pide APA 7 y el lector puede cuadrar todas las N del artículo. Cuando el problema se complica —abandono causado por el síntoma que mides, un fichero longitudinal cuyo modelo de imputación necesita la estructura temporal dentro, o un análisis de sensibilidad MNAR que hay que defender—, lo vemos juntos en mi consultoría estadística.