Leer la sección de Resultados de un paper y saber si te la están colando

Te toca presentar el paper del viernes, tienes cuarenta minutos entre pacientes y ocho páginas con seis tablas. El problema del journal club no es que no domines una regresión de Cox: es que el artículo está escrito para llevarte a la conclusión que sus autores quieren, y el orden en que lo leas te lo pone más fácil o más difícil. Hay un recorrido de siete paradas que no exige saber más estadística de la que ya sabes y que caza casi todo lo que se cuela. Empieza en un sitio que no es la primera tabla.

Primera parada: el diseño, que decide qué verbos se pueden usar

Antes de mirar un solo número, busca en Métodos la frase que dice qué tipo de estudio es. Suele estar en la primera línea y suele leerse como un trámite: «estudio transversal multicéntrico», «cohorte retrospectiva», «ensayo aleatorizado de grupos paralelos», «serie de casos». Esa frase es el techo de todo lo que viene después. Un diseño transversal puede enseñarte que dos cosas van juntas y poco más: no puede decirte cuál va delante, y desde luego no puede decirte qué pasaría si intervinieras.

Traducido a verbos, que es como se detecta el problema. Un transversal autoriza «se asoció con» y «fue más frecuente en». Una cohorte prospectiva autoriza además «precedió a» y, con cuidado, «predijo». Solo la asignación aleatoria autoriza de entrada «redujo», «mejoró» y «causó». Cuando la Discusión de un estudio transversal dice que el programa «mejora la adherencia», ya tienes el primer hallazgo de la sesión, y lo has encontrado sin leer una tabla.

La segunda pregunta del diseño es contra qué se compara. Un estudio de un solo brazo antes-después mide el efecto de la intervención sumado al paso del tiempo, a la regresión a la media y a lo que el paciente esperaba que pasara, y los tres empujan en la misma dirección. El comparador cambia el tamaño del efecto tanto como la propia intervención: el mismo programa frente a lista de espera sale espectacular y frente a la atención habitual sale modesto. Cuando dos ensayos de lo mismo dan efectos muy distintos, mira los comparadores antes de buscar explicaciones más finas.

La tercera pregunta la contesta la tabla de criterios de inclusión, y es la que más pesa en la consulta: ¿se parecen esos pacientes a los tuyos? Un ensayo de insuficiencia cardiaca que excluye a mayores de 75 años, a los que tienen el filtrado glomerular bajo y a los que toman más de cinco fármacos ha excluido a media planta. El resultado puede ser impecable y no aplicarse a casi nadie que veas el lunes. Esa distancia entre la muestra y tu población no es un error del estudio, es una limitación, pero tiene que salir en la sesión y casi nunca sale. Hay más trampas de este tipo en los errores comunes al interpretar resultados estadísticos.

Segunda parada: la N del resumen no es la N que se analizó

El resumen dice 240 participantes. El diagrama de flujo dice que se aleatorizaron 240, que 186 completaron el seguimiento y que se analizaron 186. Esos tres números casi nunca coinciden, y la diferencia entre ellos es información, no ruido administrativo. En un ensayo, el diagrama de flujo lo exige CONSORT y lo piden casi todas las revistas: está en la primera figura. En un estudio observacional, el equivalente lo recomienda la guía STROBE y a veces hay que reconstruirlo a mano desde el texto.

Lo que se mira no es solo cuánto se perdió, sino si se perdió igual en los dos brazos. Con 120 por grupo, 32 pérdidas en la intervención y 22 en el control no es lo mismo que 27 y 27, aunque el total se parezca. Si en el brazo de intervención se va más gente, y se va porque el programa era exigente o porque tuvo efectos adversos, los que quedan son los que mejor lo toleraron, y lo que mide el estudio es el efecto en los que aguantaron. La pregunta que se hace en voz alta en la sesión es sencilla: ¿los que se fueron se parecen a los que se quedaron?

La regla del 5 y el 20 que se enseña en epidemiología clínica (por debajo de un 5% de pérdidas es difícil que cambien las conclusiones, por encima del 20% hay que preocuparse) es una convención docente, no un umbral con base teórica: sirve para saber cuándo mirar de cerca, no para descartar un estudio. Lo decisivo es qué hizo el equipo con los que faltan. Analizar solo los casos completos asume que quien falta falta por puro azar, y esa es una asunción fuerte que casi nadie defiende de forma explícita. Lo que un artículo debería contar sobre esto está en cómo reportar datos perdidos en APA 7, y es exactamente lo que tú buscas aquí: cuántos, por qué y qué se hizo con ellos.

Dos comprobaciones de treinta segundos cierran esta parada. La primera: compara la n del pie de cada tabla con la del diagrama de flujo. Los denominadores que bailan entre tablas sin explicación suelen ser variables con datos perdidos que nadie declaró. La segunda: mira si el análisis principal es por intención de tratar, con todos los aleatorizados en el grupo que les tocó, o por protocolo, solo con los que cumplieron. Un ensayo cuyo titular sale del análisis por protocolo te está enseñando el número más favorable; el de intención de tratar, que suele ser el conservador, aparece más abajo y en letra más pequeña.

Tercera parada: cuál era el desenlace principal, y cuántos hay en realidad

Un ensayo tiene un desenlace principal. Uno. Si el protocolo declara dos co-primarios, tiene que decir además qué hace con el alfa: repartirlo entre los dos, o exigir que salgan los dos para dar la hipótesis por buena. Eso también se comprueba. Se define antes de recoger un dato y se deja escrito en un registro público, con su instrumento y su momento de medición: ClinicalTrials.gov, el ISRCTN británico, el ANZCTR australiano y neozelandés. Comprobarlo cuesta dos minutos, porque el número de registro va al final del artículo y la ficha es pública. En revisiones sistemáticas el equivalente es PROSPERO, y en lo demás, un protocolo preregistrado; por qué eso cambia la fuerza de lo que puedes concluir está en el preregistro en OSF.

Lo que buscas se llama cambio de desenlace y tiene tres formas. La primera: el resumen destaca un desenlace que no es el registrado. La segunda: el desenlace registrado aparece en el artículo sin números, despachado con un «no se observaron diferencias». La tercera, la más difícil de ver, es que se mueva la ventana de medición, y lo que iba a medirse a los doce meses se informe a los seis, que es donde el efecto todavía aguantaba. El proyecto COMPare se dedicó a comparar registro y publicación en revistas de primera línea y a mandar cartas al editor cuando no coincidían; la lección práctica para ti es que la discrepancia no es rara ni es cosa de revistas malas.

Cuenta los contrastes. Un ensayo con un desenlace principal y catorce secundarios que informa de uno significativo a p = .04 no ha encontrado gran cosa: si esos catorce fueran independientes y ninguno tuviera efecto real, la probabilidad de que al menos uno bajara de .05 solo por azar rondaría el 51%. No son independientes y el cálculo exacto es otro, pero el orden de magnitud es ese, y explica por qué un secundario aislado se trata como hipótesis para el siguiente estudio y no como resultado. Lo mismo vale para los subgrupos: «el efecto fue significativo en mujeres mayores de 65 años» significa algo solo si el contraste de interacción estaba preespecificado y aparece en la tabla.

Un detalle pequeño que delata el nivel de la revisión: los valores p en la Tabla 1 de un ensayo aleatorizado. Comparar los grupos al inicio con contrastes de hipótesis no tiene sentido, porque ahí no hay hipótesis que contrastar; sabes con certeza que cualquier desequilibrio viene del azar, que es justo lo que hizo la aleatorización. Lo que importa es el tamaño del desequilibrio y si cae sobre una variable pronóstica fuerte, y eso se juzga mirando la magnitud, no el p. CONSORT lo desaconseja desde hace años y se sigue publicando.

Cuarta parada: el efecto y su intervalo, puestos en la escala del paciente

Aquí se pierde la mayoría de los journal clubs, y no por falta de estadística sino por exceso de valor p. El p te dice cómo de improbables serían unos datos como estos, o más extremos, si en la población no hubiera efecto ninguno; no te dice cuánto cambia el paciente. Las dos preguntas clínicas son otras: cuánto, y con qué precisión. La primera la contesta el tamaño del efecto, la segunda la anchura del intervalo de confianza, que no se interpreta como se suele interpretar.

Ejemplo con un desenlace binario, del tipo reingreso a 90 días. En el control reingresan 96 de 800 (12.0%) y en la intervención 67 de 800 (8.4%): RR = 0.70, IC 95% [0.52, 0.94], chi²(1, N = 1600) = 5.74, p = .017. El resumen escribirá «redujo el riesgo un 30%», que es cierto y es la reducción relativa. En términos absolutos son 3.6 puntos porcentuales, y el número que se lleva a la cabecera es el NNT: 28 pacientes tratados para evitar un reingreso. Su intervalo va de 15 a 150, y esa cola de 150 es la parte que casi nunca aparece en el resumen.

Ejemplo con un desenlace continuo. Un programa de rehabilitación mejora el dolor en una escala de 0 a 100 con una diferencia de medias de 6.2 puntos a su favor, IC 95% [1.0, 11.4], p = .019. Es significativo. Ahora pon al lado la diferencia mínima clínicamente importante de ese instrumento, que hay que buscar y no deducir de la longitud de la escala; en escalas de dolor de 0 a 100 los valores publicados rondan los 15 puntos y se mueven con la población y con el método que los estimó; con esa referencia el intervalo entero queda por debajo. El estudio ha demostrado que el efecto no es cero y, a la vez, que es demasiado pequeño para que el paciente lo note. Las dos frases son verdad y solo una sale en el resumen.

Cuando el artículo no da el tamaño del efecto y solo da el contraste, se puede reconstruir. Con la t y sus grados de libertad, o con las medias y las desviaciones típicas de la tabla, sale una d comparable con la de otros estudios: eso lo hace el calculador de tamaño del efecto desde el texto pegando la frase tal cual viene. Y cuando lo que da el artículo es una razón de odds de una regresión logística, conviene traducirla antes de repetirla en voz alta, porque con desenlaces frecuentes exagera respecto al riesgo relativo y la diferencia no es cosmética; para eso está la calculadora de odds ratio.

Quinta parada: el salto de la tabla a la Discusión

Este es el paso más rentable de todos y el que menos se hace. Lee el primer párrafo de la Discusión, subraya cada afirmación y vuelve a Resultados a buscar el número que la sostiene. No el argumento: el número, con su tabla y su línea. Lo que no puedes anclar en una tabla no es un hallazgo del estudio, es una opinión de los autores con formato de hallazgo, y eso es legítimo cuando se marca como tal y es un problema cuando no se marca.

Los saltos se repiten tanto que tienen nombre propio. El principal no salió y la Discusión habla de tendencia. «Tendencia al beneficio», «se aproximó a la significación», «resultados prometedores», con un desenlace principal no significativo detrás. Un secundario asciende a titular. El resumen y la Discusión giran alrededor de un desenlace que no era el principal, y el principal aparece una vez, en pasado y sin cifras. El desenlace es intermedio y se vende como clínico. El fármaco baja la hemoglobina glicosilada o el colesterol, y la Discusión habla de eventos cardiovasculares que el estudio no midió. El compuesto lo mueve la pata blanda. Un desenlace compuesto de mortalidad, infarto y hospitalización sale significativo, y al abrirlo la diferencia está entera en las hospitalizaciones, que es el componente más blando y el más sensible a cómo se organiza cada hospital.

Esto tiene nombre en la literatura metodológica, spin, y se ha medido. El trabajo de referencia revisó ensayos publicados cuyo desenlace principal no había salido significativo y encontró spin en una proporción alta de ellos, concentrado sobre todo en el resumen, que es lo único que lee casi todo el mundo (Boutron et al., 2010). Que sea frecuente no lo hace inocuo: la conclusión del resumen es la que acaba en la sesión clínica, en la guía y en la consulta.

Dos filtros más y cierras. El primero es cómo se enmarca la magnitud: si el beneficio se cuenta en relativo, un 30% menos, y el daño en absoluto, un 1.2% de efectos adversos, la comparación está trucada aunque los dos números sean correctos por separado. El segundo es hasta dónde se estira la muestra: «estos hallazgos apoyan la implantación del programa a escala nacional» necesita bastante más que un ensayo en dos hospitales universitarios con pacientes seleccionados. En la sesión, esa frase se contesta con una pregunta y no con un debate: ¿en qué tabla está eso?

El recorrido completo, en el orden en que se hace

Diez minutos bien gastados, en este orden. Uno, el diseño. Qué tipo de estudio es y qué verbos autoriza. Dos, quién entró. Criterios de inclusión y parecido con tus pacientes. Tres, el diagrama de flujo. Aleatorizados, completados, analizados, y si las pérdidas fueron simétricas. Cuatro, el registro. Cuál era el desenlace principal preespecificado y si el artículo está hablando de ese. Cinco, el efecto. Magnitud con intervalo de confianza, traducida a la escala del paciente: NNT, puntos de la escala, diferencia absoluta. Seis, el recuento. Cuántos contrastes se hicieron en total y cuántos se destacan. Siete, el salto. Cada frase de la Discusión contra su número en Resultados.

En la sesión conviene separar tres cosas que se mezclan siempre. Un fallo fatal invalida la conclusión: el análisis principal es por protocolo en un ensayo con un 25% de pérdidas asimétricas, o el desenlace que se informa no es el que estaba registrado. Una limitación acota hasta dónde llega el resultado sin tumbarlo: la muestra excluye a los mayores de 75 años, el seguimiento se queda en tres meses. Una preferencia es lo que tú habrías hecho de otra manera y no cambia la conclusión: un modelo mixto en vez del ANOVA, otra escala igual de validada. Quien trata las tres categorías como si fueran la misma acaba siendo la persona que hunde todos los papers y a la que dejan de invitar.

Si en la sala nadie se dedica a la metodología, hay tres preguntas que no requieren saber estadística y que ordenan la sesión entera. ¿Cuál era el desenlace principal registrado, y es del que estamos hablando? ¿Cuántos de los que entraron acabaron en el análisis? ¿Cuánto cambia esto en la escala del paciente, y no en porcentaje relativo? Con esas tres se caza más de lo que parece, y ninguna te obliga a defender un tecnicismo delante de toda la sala.

Preguntas frecuentes

¿Por dónde empiezo a leer un paper si tengo poco tiempo?

Por el diseño, no por el resumen. Una línea de Métodos te dice qué tipo de estudio es, y eso ya limita lo que la Discusión puede afirmar. Luego el diagrama de flujo, para saber cuántos de los que entraron llegaron al análisis, y luego el número de registro para ver cuál era el desenlace principal. Los números vienen los cuartos. Leyendo en ese orden llegas a las tablas sabiendo qué buscar, y el resumen deja de decidir por ti.

¿Cuántas pérdidas de seguimiento son demasiadas?

No hay un umbral con base teórica. La convención que se enseña en epidemiología clínica dice que por debajo de un 5% es difícil que las conclusiones cambien y que por encima del 20% hay que mirarlo de cerca, pero es una regla de aula, no una ley. Lo que importa de verdad son otras dos cosas: si las pérdidas fueron simétricas entre brazos y por qué se fue la gente. Un 15% que se pierde entero en el brazo de intervención por efectos adversos hace más daño que un 25% repartido por mudanzas.

¿Qué diferencia hay entre análisis por intención de tratar y por protocolo?

Por intención de tratar se analiza a todos los aleatorizados en el grupo que les tocó, hayan cumplido o no. Por protocolo se analiza solo a los que completaron la intervención como estaba previsto. El segundo suele dar un efecto mayor, porque al excluir a quien abandonó rompe la aleatorización y deja dentro a los que mejor respondieron. En un ensayo de eficacia terapéutica, el análisis principal debería ser por intención de tratar y el de protocolo, como mucho, un análisis de sensibilidad.

¿Cómo sé si un resultado es clínicamente relevante y no solo significativo?

Compara el tamaño del efecto y su intervalo con una referencia clínica, no con el valor p. En desenlaces binarios, traduce a diferencia absoluta y a NNT: un 30% de reducción relativa puede ser 3.6 puntos porcentuales y un NNT de 28. En escalas, pon al lado la diferencia mínima clínicamente importante del instrumento. Si el intervalo entero queda por debajo de esa diferencia, el estudio ha demostrado a la vez que el efecto existe y que es demasiado pequeño para notarse.

¿Cómo compruebo si han cambiado el desenlace principal?

Busca el número de registro, que suele estar al final del artículo o en la nota de financiación, y abre la ficha en ClinicalTrials.gov, en el ISRCTN o en el registro nacional que corresponda. Ahí figura el desenlace principal con su instrumento y su momento de medición. Compáralo con lo que destaca el resumen. Si no coinciden, si el registrado aparece sin cifras, o si la ficha se editó después de empezar el reclutamiento, ya tienes el punto más fuerte de tu presentación.

¿Qué digo en el journal club si no sé estadística?

Tres preguntas, y ninguna requiere método. Cuál era el desenlace principal registrado y si es del que estamos hablando. Cuántos de los que entraron acabaron en el análisis. Cuánto cambia el resultado en la escala del paciente, en absoluto y no en porcentaje relativo. Son preguntas que no se pueden contestar con un tecnicismo y que obligan a mirar la tabla, que es justo lo que hace útil una sesión.

Leer bien unos Resultados no es desconfiar de todo: es saber en qué orden mirar, y aceptar que un estudio puede estar bien hecho, bien publicado y aun así no decir lo que su resumen dice que dice. Empieza por el diseño y termina en el salto a la Discusión; entre medias, la N que se analizó de verdad, el desenlace que estaba registrado y el efecto puesto en la escala del paciente. Con eso llegas a la sesión del viernes con algo que aportar aunque no hayas tocado un modelo en tu vida.