Cuando el Revisor Pide un Análisis Que No Dominas: Qué Hacer

La primera vez que me pasó tenía una muestra de cien personas y un modelo en el que llevaba meses. Lo había recogido yo, lo había analizado yo, lo había escrito yo, y lo envié a una revista Q1 con bastante esperanza. El editor me había escrito personalmente diciéndome que el tema le interesaba y que esperaba el manuscrito. Volvió con dos rondas de revisores. En la segunda, el revisor 2 me pidió algo aparentemente simple: ¿habían comprobado los valores atípicos?

No los había comprobado. Cuando lo hice, encontré siete. Recalculé el modelo sin ellos. Los efectos significativos desaparecieron. Lo que tenía no era un artículo, era una ilusión. Tuve que retirar el manuscrito y nunca llegó a publicarse en aquella revista.

Esa historia tiene unos años. La cuento porque desde entonces no he dejado de pensar en ella, y porque la versión exterior de mi recorrido: “se obsesionó con la estadística, hizo un máster en metodología, monta una consultoría”: empieza con esa fila de outliers que dejé sin mirar. Aquel rechazo me empujó a meterme a fondo en metodología, a dedicar la tesis a esto y a empezar a ayudar a investigadores que llegaban a mí con el mismo escenario en el que estuve yo.

Si estás leyendo esto seguramente algo así, no exactamente, te está pasando ahora. El revisor 2 te ha pedido un análisis que no sabes hacer. La fecha de la major revision se acerca. Y entre tu ego, tu director, y la duda de si la revista te dará otra oportunidad si tardas, no sabes por dónde empezar. Lo que sigue no es una guía abstracta. Son los pasos exactos que aplico ahora con los investigadores que me escriben en pánico, con la carta del revisor abierta en una pestaña y el manuscrito en otra.

Lo primero, antes que nada: el revisor a veces tiene razón

Hay un instinto inicial muy humano cuando lees el comentario del revisor: pensar que se equivoca, que no entiende tu diseño, que es injusto. A veces es así. Pero antes de defenderte, hazte una pregunta honesta: ¿lo que pide es razonable?

En mi caso, lo era. Comprobar los outliers en una muestra de cien personas no era un capricho metodológico: era un paso básico que yo no había dado. El revisor no me estaba pidiendo nada exótico, me estaba señalando un agujero real en mi reporte. Asumir eso desde el principio cambió por completo cómo redacté la respuesta.

Antes de escribir nada, dedica veinte minutos a leer el comentario tres veces y a preguntarte: si yo fuera revisor de este manuscrito, ¿esta petición me parecería razonable? Si la respuesta es sí, vas por el camino correcto. Si es no, tendrás que defender: pero solo si puedes hacerlo con literatura en la mano.

Clasifica la petición en una de tres categorías

Una vez aceptas que la petición existe y hay que responder a ella, lo siguiente es clasificarla. En mi experiencia trabajando con manuscritos de psicología, medicina, enfermería y fisioterapia, casi todo lo que pide un revisor metodológico cae en una de tres categorías. Saber en cuál estás determina lo que haces a continuación.

El error más caro es confundir las dos primeras. Hay investigadores que intentan ejecutar en cuatro semanas un modelo de ecuaciones estructurales con indicadores categóricos cuando no han hecho un AFC en su vida. El resultado es un análisis que el siguiente revisor o un metodólogo del tribunal van a cazar al primer vistazo. Mejor no entregar nada que entregar algo mal hecho.

Categoría 1: lo que puedes aprender en 48-72 horas

Aquí entran muchas peticiones reales del día a día: comprobar supuestos (normalidad, homocedasticidad, esfericidad), calcular tamaños del efecto y reportarlos correctamente, añadir intervalos de confianza al 95%, hacer una prueba no paramétrica equivalente, ejecutar un análisis de sensibilidad con y sin outliers, justificar el tamaño muestral con un análisis de potencia post hoc.

El outlier check de mi anécdota era exactamente esto. La habilidad técnica era googleable. Lo que yo no tenía era la disciplina de hacerlo sistemáticamente, sin que nadie me lo pidiera. Si eres tú quien está en este escenario, tienes dos cosas que hacer y un consejo:

Lo que tienes que hacer: ejecuta el análisis adicional con la mejor referencia que encuentres a mano (un tutorial firme de un metodólogo con autoridad, no el primer Stack Overflow), reporta los resultados con honestidad incluso si te perjudican, y documenta cada decisión metodológica que tomes para justificarla en la respuesta.

El consejo: antes de tocar el modelo principal, comprueba todos los supuestos básicos a la vez. Si te has dejado los outliers, probablemente también te has dejado normalidad o linealidad. La guía de cómo verificar supuestos que tengo en el blog es el primer sitio donde mando a la gente cuando llegan en este escenario, y puedes apoyarte en herramientas como el intérprete de pruebas de normalidad para cubrir el grupo más básico de comprobaciones sin tener que recordar los puntos de corte de memoria.

Categoría 2: cuando lo que pide no es viable que aprendas

Aquí es donde cambia el plan. Si el revisor te pide un modelo SEM con bootstrap robusto e indicadores categóricos, un Cox con riesgos competitivos, un modelo multinivel con tres niveles anidados, o un análisis de redes con comparación entre grupos, no estás en una situación de “con un fin de semana lo saco”. Estás en una situación donde un mal análisis es peor que ningún análisis: el revisor lo vio una vez, lo va a ver otra.

Tienes dos caminos honestos. El primero es contactar con un metodólogo de tu departamento y proponerle co-autoría a cambio del análisis y la redacción de esa parte del método. Es la opción ortodoxa y probablemente la mejor si conoces a alguien y hay tiempo. El segundo es contratar a un consultor estadístico externo que ejecute el análisis y te ayude a redactar la respuesta: sin co-autoría, en formato servicio, declarándolo en agradecimientos si tu institución lo exige. Ese es el escenario que más veo en mi consultoría: un investigador con un buen estudio que ha llegado a un análisis fuera de su zona y necesita soporte rápido.

Lo que no es opción es entregar algo improvisado. La revista lo va a cazar en la segunda ronda y vas a haber gastado el crédito de la major revision en algo que no convenció.

Categoría 3: cuando el revisor está equivocado

Pasa. Una revisión publicada en BMJ hace años estimaba que cerca de la mitad de los comentarios estadísticos de revisores temáticos contenían algún tipo de error o sobreinterpretación. No es que los revisores sean torpes: es que la mayoría son expertos en el tema, no en metodología avanzada, y cuando el editor no asigna a un revisor metodológico la cosa pasa.

Patrones que veo donde el revisor se equivoca:

• Pide una prueba que no aplica a tu diseño. Por ejemplo, te exige un test de normalidad en una muestra de N>500, donde casi cualquier test va a rechazar normalidad por potencia y no por sustancia.
• Pide aumentar el N porque “es pequeño” sin justificación, cuando tu N está justificado a priori con un análisis de potencia adecuado al tamaño del efecto esperado en tu campo.
• Pide una alternativa más exigente sin razón. “¿Por qué no han hecho SEM?” cuando tu hipótesis no requiere variables latentes y un Path Analysis con variables observadas es defendible.
• Confunde dos métodos. Pide “análisis bayesiano” como si fuera una cosa, cuando depende del contexto si tiene sentido un factor de Bayes, una regresión bayesiana o un análisis exploratorio con priors.

Cuando estás aquí, defender es legítimo. Lo importante es hacerlo con respeto y con literatura en la mano. Cita un paper metodológico de referencia que respalde tu decisión, explica por qué tu enfoque es defendible para tu diseño concreto, y reconoce el punto del revisor (“entendemos la preocupación, sin embargo en este diseño la práctica habitual es…”). Nunca con tono confrontacional.

Cómo redactar la respuesta: patrón punto por punto

Independientemente de la categoría, la estructura de la carta de respuesta es siempre la misma. Numera cada comentario del revisor y para cada uno escribe cuatro elementos en este orden:

1. Reconocimiento. Empieza agradeciendo el comentario y reformulándolo brevemente para que el revisor sepa que lo entendiste. Una frase corta basta.
2. Lo que has hecho (o por qué no). Describe la acción concreta. Si has ejecutado un análisis nuevo, di cuál y con qué software. Si has decidido no hacerlo, justifícalo aquí.
3. El resultado o la justificación. Reporta los nuevos números (o la cita bibliográfica si defiendes). En el primer caso, no escondas resultados desfavorables: la transparencia es lo que mantiene la credibilidad ante el editor.
4. Dónde está en el manuscrito revisado. Cita la página y la línea donde el cambio aparece (ej. “Sección 2.3, página 7, líneas 12-19”). Esto le ahorra al revisor buscar y demuestra que el cambio existe de verdad.

Para la categoría 1, una respuesta tipo se parece a esto: “Agradecemos la observación. Hemos comprobado los valores atípicos siguiendo el criterio de Mahalanobis (umbral χ² con p<.001) y hemos identificado 7 casos. Hemos reanalizado el modelo sin estos casos como análisis de sensibilidad y reportamos ambos resultados (Tabla 3). El patrón principal de hallazgos se mantiene/no se mantiene. Esta sección está en el manuscrito revisado, página 9, líneas 14-22.”

Para la categoría 2, una respuesta tipo: “Agradecemos la sugerencia. Dada la complejidad del modelo solicitado y para asegurar el rigor del análisis, hemos contado con la colaboración de [nombre/co-autor metodológico] que ha ejecutado el SEM con bootstrap robusto. Los resultados se reportan en la Tabla 4 y la Figura 2. La sección de método incorpora la justificación detallada del enfoque (página 6, líneas 5-21).”

Para la categoría 3, una respuesta tipo: “Agradecemos la observación y entendemos la preocupación del revisor. En diseños como el nuestro (transversal, N=120, tres grupos), la práctica habitual en la literatura es priorizar [método X] frente a [método Y] por [razón concreta], como argumentan [autor, año] y [autor, año]. Hemos añadido una breve justificación de esta elección en la sección 2.4 (página 8, líneas 9-16) para que el lector tenga el razonamiento metodológico explícito.”

Lo que aprendí del outlier que me dejó sin Q1

La primera lección parece la obvia: comprueba los outliers. Pero esa lección es demasiado pequeña. La lección real fue otra: el rigor metodológico no es algo que haces porque te van a pillar, es algo que haces porque tu propio trabajo lo merece. Cuando uno escribe pensando “si no me lo piden, no lo reporto”, está construyendo un manuscrito frágil aunque salga publicado.

La segunda lección: y esta solo la entendí años después: es que tener un metodólogo a mano es un seguro barato. La diferencia entre el primer y el segundo manuscrito que envías a Q1 no es un golpe de suerte: es saber a quién llamar cuando aparece un comentario que no sabes responder. Mis doctorandos hoy llaman antes de enviar, no después de recibir la major revision. La carta del revisor se vuelve mucho menos aterradora cuando tu plan analítico ha sido leído por un par de ojos metodológicos antes del submit.

Si estás en mitad de una major revision ahora mismo y la petición del revisor te ha bloqueado, esa es exactamente la conversación que tengo cada semana en mi servicio de respuesta a revisor 2. Plazo habitual: 48-72 horas desde que recibo el manuscrito y la carta. Mejor antes de retirar el manuscrito que después.

Y si todavía no has enviado, la otra conversación útil: la que más se evita y más sirve: es revisar el plan analítico antes del submit. Es lo que diferencia a los doctorandos que reciben rechazo directo de los que reciben major revision: en muchos casos, el primer grupo cometió en el plan exactamente el error que yo cometí con mis cien participantes y mis siete outliers. Eso, hoy, es perfectamente evitable. Lee aquí los errores que más veo antes del submit, o registra tu plan en OSF antes de empezar: las dos cosas reducen el coste de aprender lo que yo aprendí tarde. Y si quieres una simulación de la revisión antes de enviar, prueba el Revisor Q1: pega tu Método y Resultados y recibe las críticas que probablemente te hará el Reviewer 2.