Las preguntas del tribunal sobre tu estadística (y cómo se contestan)

Hay un hilo en r/GradSchool titulado «Just failed my defense» con 778 votos y 177 comentarios. Que un post así reúna esa cantidad de respuestas dice bastante del miedo con el que se llega al aula, y ese miedo casi nunca es al capítulo teórico: es a los diez minutos en los que alguien del tribunal se ajusta las gafas, mira tu página de resultados y pregunta por qué hiciste eso. Sabes ejecutar el análisis, lo hiciste, salió y lo escribiste, pero justificarlo en voz alta delante de tres personas que llevan veinte años publicando es un ejercicio distinto que nadie te ha entrenado. Este artículo es solo ese bloque: nueve preguntas de estadística que se repiten defensa tras defensa, con la respuesta que las desactiva.

El tribunal no comprueba si sabes estadística, comprueba si la decisión fue tuya

Casi ninguna pregunta estadística de un tribunal tiene una respuesta correcta única. Te preguntan «¿por qué una regresión y no un modelo multinivel?» sabiendo perfectamente que las dos son defendibles. Lo que quieren averiguar es otra cosa: si elegiste, o si te dejaste llevar por el tutorial que encontraste a las dos de la mañana. Un doctorando que dice «apliqué Bonferroni» ha ejecutado. Uno que dice «apliqué Bonferroni porque mis seis contrastes eran confirmatorios y prefería perder potencia antes que inflar el error de tipo I» ha decidido. La diferencia se nota en tres segundos.

Por eso las nueve se contestan con la misma estructura, y merece la pena memorizarla. Uno: qué hice. La decisión, en una frase, sin rodeos. Dos: con qué criterio. El motivo real, ligado a tu pregunta y a tus datos, no a la costumbre del área. Tres: qué se pierde. Lo que tu elección deja fuera, dicho por ti antes de que lo diga el tribunal. Ese tercer tiempo es el que convierte una respuesta en una respuesta buena: quien nombra la limitación por su nombre está demostrando que la vio venir.

Las dos maneras de estropearlo son simétricas. Una es la respuesta corta y defensiva, «es lo que se usa en el área», «me lo dijo mi directora», que traslada la responsabilidad a otro y deja al tribunal con la sensación de que no entiendes tu propio análisis. La otra es la avalancha: cinco minutos de detalle técnico para tapar que no tienes el criterio. Treinta o cuarenta segundos por pregunta bastan; si quieren más, preguntan más. Aquí va solo el bloque de estadística, porque las generales de una defensa, diseño, aportación, generalización, están en las 12 preguntas que hace el tribunal.

«¿Por qué esta prueba y no otra?» y «¿cómo justificó la muestra?»

1. ¿Por qué esta prueba y no otra? La respuesta se construye con cuatro piezas y en este orden: cuál es tu unidad de análisis, en qué escala está tu variable dependiente, cómo están estructurados tus datos (independientes, emparejados, anidados) y qué supuestos podías sostener. «Comparé dos grupos independientes en una puntuación continua, con varianzas desiguales según Levene, así que usé una prueba t de Welch en lugar de la de Student» es una respuesta completa en quince segundos. Lo que no vale es el orden inverso: elegir la prueba y buscarle la justificación después.

Casi siempre viene una segunda parte, y es la que descoloca: alguien del tribunal propone el modelo que él habría usado. No es una emboscada, es lo que hace cualquier investigador cuando lee un trabajo ajeno. Reconoce la alternativa sin pelearla, di qué habría aportado y por qué la tuya seguía siendo razonable con lo que tenías delante: «un modelo de odds proporcionales habría respetado mejor que la respuesta fuera ordinal de cinco puntos; comprobé que la conclusión no cambiaba al tratarla como continua, y por eso mantengo el análisis original». Discutir la premisa de la pregunta es el peor camino de todos.

2. ¿Cómo justificó el tamaño de la muestra? Es la pregunta estrella del bloque. Si hiciste el cálculo antes, cuéntalo con sus tres parámetros y su resultado: «para detectar d = 0.50 con potencia .80 y alfa de .05 a dos colas necesitaba 64 por grupo; recluté 51 y 47 porque el centro cerró las derivaciones en marzo». La segunda mitad de esa frase importa tanto como la primera, porque un tribunal acepta bien una limitación de campo explicada y muy mal un número que aparece sin origen. El procedimiento entero está en la guía de cómo calcular el tamaño muestral de una tesis.

Lo que no debes hacer, aunque te lo pidan en la sala, es calcular la potencia observada a posteriori con tu propio efecto: es una transformación uno a uno del valor p y no añade información nueva (Hoenig y Heisey, 2001). La alternativa correcta se llama análisis de sensibilidad y responde a la pregunta de verdad: con 51 y 47 participantes, el efecto más pequeño que podías detectar con potencia .80 era d = 0.57. Dicho así, la conversación la llevas tú: «mi diseño veía efectos medianos, los pequeños se me escapaban, y por eso no afirmo nada sobre ellos».

«¿Comprobó los supuestos?» y «¿por qué no usó un modelo mixto?»

3. ¿Comprobó los supuestos de sus análisis? Casi nadie falla en el sí o el no; se falla en la pregunta que llega justo detrás, que es qué hiciste cuando uno falló. Ten localizado qué pedía cada prueba y vigila dos puntos donde se cae medio tribunal de doctorandos: la normalidad que importa en una regresión es la de los residuos, no la de la variable dependiente, y en muestras grandes Shapiro-Wilk declara no normal cualquier desviación trivial, así que la decisión se toma mirando el gráfico y no solo el valor p.

La respuesta que funciona es la que incluye lo que no cambió. «Levene salió p = .03, así que pasé a Welch, que además es una buena elección por defecto aunque Levene no salga significativo (Delacre, Lakens y Leys, 2017), y repetí el contraste con la U de Mann-Whitney como comprobación: la conclusión era la misma.» Un análisis de sensibilidad hecho en paralelo desarma la pregunta antes de que se formule del todo. La redacción exacta para el manuscrito la tienes en cómo escribir los resultados cuando los supuestos fallan.

4. ¿Por qué no usó un modelo mixto? Aparece siempre que hay medidas repetidas y pérdidas de seguimiento, y detrás tiene una razón numérica muy concreta. Imagina 84 participantes medidos en tres momentos, con 19 que faltaron a alguna sesión y 26 medidas perdidas en total. Un ANOVA de medidas repetidas elimina por lista y se queda con 65 personas: F(2, 128) = 4.31, p = .015, eta cuadrado parcial = .063. Un modelo mixto usa las 226 observaciones disponibles de las 252 posibles, no tira a nadie entero por una casilla vacía y estima el cambio con más precisión: -2.8 puntos, IC 95% [-4.9, -0.7].

Si no lo hiciste, la peor salida es inventarte un criterio en la sala. La buena tiene dos frases: por qué el ANOVA era defendible entonces (esfericidad cumplida, pérdidas escasas y aparentemente aleatorias, diseño equilibrado) y qué habría aportado el mixto (recuperar los casos incompletos en lugar de borrarlos enteros, y modelar la variabilidad individual en las pendientes). Y si lo has corrido después de depositar, dilo: «lo repetí con un modelo mixto al preparar la defensa y el efecto se mantiene» cierra el tema y suma. La comparación completa está en modelos mixtos frente a ANOVA de medidas repetidas.

«¿Cómo sé que esto no es un artefacto?»

«Artefacto» es la palabra que usa un tribunal cuando sospecha que tu resultado lo ha producido el procedimiento y no el fenómeno. Detrás de esa única palabra hay tres sospechas distintas, y conviene saber cuál te están planteando porque las respuestas no se parecen en nada: un caso concreto que está moviendo el resultado, un sesgo introducido por medirlo todo del mismo modo, o un efecto que ha aparecido porque miraste muchas veces.

5. ¿Cómo sabe que no lo está produciendo un solo caso? Esta se contesta con el análisis ya hecho, no con una intuición. En una correlación con N = 96 que da r = .34, p < .001, quitar el caso de mayor distancia de Cook la deja en r = .21, p = .041 con N = 95: sigue siendo significativa, pero ha perdido casi el 40% de su tamaño, y eso hay que decirlo tú primero. Lleva los diagnósticos de influencia hechos y una diapositiva de reserva con el resultado con y sin ese caso. La frase es «el efecto no depende de ningún caso individual, aunque su magnitud sí es sensible a uno», y vale infinitamente más que «revisé los atípicos».

La segunda sospecha aparece en cuanto todo tu estudio es un cuestionario autoinformado contestado de una sentada: parte de la correlación entre tus variables puede venir del método y no del constructo (Podsakoff, MacKenzie, Lee y Podsakoff, 2003). Si presentas la prueba de un factor de Harman, presenta también su límite, porque es una prueba débil que casi nunca detecta nada y su resultado limpio no demuestra ausencia de sesgo. Lo que convence es el control de diseño, separación temporal entre medidas, un informante distinto, un marcador no relacionado; y si no lo tuviste, decir en qué dirección sesga tus estimaciones. Está desarrollado en el sesgo de método común y la prueba de Harman.

6. ¿Corrigió las comparaciones múltiples? Con nueve variables en una matriz salen 36 correlaciones, y si todas las hipótesis nulas fueran ciertas, al nivel de .05 se esperarían 1.8 significativas solo por azar. Si te salieron cinco, con valores p de .0007, .009, .021, .038 y .041, el procedimiento de Benjamini y Hochberg (1995) aplicado a las 36 deja sobrevivir una sola: la primera. Eso no significa que las otras cuatro sean mentira, significa que no son un hallazgo confirmatorio. Si no corregiste, la respuesta correcta no es defender las cinco, es reetiquetar: «este bloque es exploratorio, lo presento como generador de hipótesis y solo la primera aguanta un control de la tasa de falsos descubrimientos». Un tribunal perdona el análisis exploratorio declarado; el exploratorio disfrazado de confirmatorio, no.

«Sus datos son transversales» y «es significativo, pero ¿es relevante?»

7. Con datos transversales, ¿por qué habla de efecto o de mediación? Es la pregunta que más manuscritos hunde después, en revisión, así que el tribunal la usa como aviso. El bootstrap de un efecto indirecto, ab = .14, IC 95% [.05, .26], es una técnica de inferencia, no una máquina causal: no convierte una foto en una película. Maxwell y Cole (2007) mostraron que la mediación estimada en corte transversal puede estar seriamente sesgada respecto del proceso longitudinal que pretende representar. Y hay un argumento más simple todavía: con tres variables medidas a la vez el modelo está saturado, así que la versión con la X y la M intercambiadas ajusta exactamente igual. El ajuste no puede distinguirlas, y por tanto no es prueba de nada.

La salida no es retirar el análisis, es acotar el verbo. «Con este diseño no puedo establecer la secuencia temporal; lo que muestro es un patrón de asociación compatible con el modelo teórico, y también con su versión invertida, que ajusta exactamente igual.» Si además llevas el modelo alternativo comprobado y sabes decir cuál sería el estudio que distingue entre los dos, esa pregunta se convierte en tu mejor minuto de la tarde.

8. Es significativo, pero ¿es relevante? Aquí no sirve repetir el valor p: hay que traducir el efecto a las unidades del instrumento. Un d = 0.44 sobre un inventario con desviación típica de 9.4 puntos son 4.1 puntos de diferencia entre grupos. Y como el intervalo del efecto va de 0.04 a 0.84, la traducción honesta es incómoda: tus datos son compatibles con una mejora de 0.4 puntos y con una de 7.9. Si el cambio mínimo que tus clínicos considerarían útil son 5 puntos, tu estudio ni lo confirma ni lo descarta, y decirlo tú es mucho mejor que oírlo.

Dos avisos para esa respuesta. Los cortes de Cohen (1988) son convenciones que él propuso a falta de referentes de campo, no leyes: en una intervención breve y barata aplicada a miles de personas un d = 0.20 puede ser enorme, y en un ensayo farmacológico caro puede no valer nada. Y la frase que resuelve la pregunta es siempre la misma: «el efecto puntual es este, el intervalo llega hasta aquí, y en las unidades que le importan al clínico eso significa esto». Un número traducido vale por tres párrafos de defensa.

«¿Qué haría distinto?», la pregunta que decide el tono del final

9. ¿Qué haría distinto si empezara mañana? Llega casi al final y parece amable. No lo es del todo: es la comprobación de que tienes criterio propio sobre tu propio trabajo, y se responde mal de dos maneras opuestas. Si dices «nada, lo haría igual», estás diciendo que no has aprendido nada en cuatro años. Si abres el pecho y confiesas seis errores seguidos, le acabas de escribir el acta al tribunal.

La respuesta buena tiene una forma reconocible: dos cambios concretos, de diseño o de medida, nunca de esfuerzo. «Habría medido en cuatro momentos en lugar de tres, porque con tres no puedo modelar una trayectoria no lineal» es un cambio de diseño y demuestra dominio; «habría trabajado más» no dice nada. Y el criterio para elegir cuáles nombrar es este: aquello que cambiarías y que no invalida lo que hiciste. Si el cambio que se te ocurre invalida tu tesis, esa no es la respuesta a esta pregunta, es una limitación que ya debería estar escrita en tu discusión.

Hay una variante más incómoda de la misma pregunta, formulada como «¿no cree que debería haber hecho X?». La salida es idéntica: reconoce el punto, di qué habría aportado X y sostén por qué lo tuyo respondía a tu pregunta. Y puedes no saber algo, y decirlo. «No domino ese procedimiento; lo que sé de él es esto, y lo estudiaría antes de aplicarlo a estos datos» es una respuesta perfectamente aceptable en una defensa. Fingir dominio y que la siguiente pregunta lo destape, no.

Ensayarlo en voz alta es la mitad del trabajo

Leer las nueve preguntas no es prepararlas. La distancia entre tenerlas claras por escrito y contestarlas de pie, con tres personas mirándote y sin poder consultar nada, es exactamente lo que se rompe el día de la defensa. Lo que funciona es una tarjeta por decisión: en un lado la decisión (la prueba, la N, la corrección, el modelo que descartaste), y en el otro las tres frases, qué hice, con qué criterio, qué se pierde, escritas enteras. Si no te caben en tres frases, todavía no sabes por qué lo hiciste.

Después ensáyalas en voz alta y con cronómetro. Treinta o cuarenta segundos por pregunta. Las que te lleven minuto y medio son justo las que el tribunal va a repreguntar, porque el titubeo se oye desde la primera fila. Y grábate una vez: es incómodo, y es el método más rápido que conozco para descubrir que llevas cuatro años diciendo «se supone que» delante de la palabra supuesto.

Si quieres las preguntas de tu tesis concreta en lugar de las genéricas de esta lista, con tu diseño, tu N, tu modelo y la limitación que tú ya sospechas, tienes un simulador de defensa que las genera a partir de tu resumen y te deja contestarlas antes de que te las haga alguien con voto.

Preguntas frecuentes

¿Qué preguntas de estadística hace el tribunal en una defensa de tesis?

Nueve se repiten defensa tras defensa: por qué esa prueba y no otra, cómo justificaste la N, si comprobaste los supuestos y qué hiciste cuando fallaron, por qué no un modelo mixto, si el resultado puede ser un artefacto de un caso o del método, si corregiste las comparaciones múltiples, por qué hablas de efecto con datos transversales, si el efecto es relevante además de significativo y qué harías distinto. Ninguna busca una respuesta correcta única: buscan si la decisión fue tuya y si conoces su coste.

¿Cómo justifico el tamaño de mi muestra si no hice cálculo de potencia?

Con un análisis de sensibilidad, nunca con potencia post hoc. La potencia calculada a posteriori con tu propio efecto observado es una función uno a uno del valor p y no añade nada (Hoenig y Heisey, 2001). Calcula el efecto más pequeño que tu muestra detectaba con potencia .80 (con 51 y 47 participantes, d = 0.57) y explica el motivo real del reclutamiento que conseguiste. Un límite de campo explicado se acepta; un número sin origen, no.

¿Qué respondo si el tribunal pregunta por qué no usé un modelo mixto?

Dos frases. Por qué el modelo que usaste era defendible con tus datos (esfericidad cumplida, pérdidas escasas, diseño equilibrado) y qué habría aportado el mixto: aprovechar los casos incompletos en lugar de eliminarlos por lista y modelar la variabilidad individual en las pendientes. Si lo has corrido después de depositar y el efecto se mantiene, dilo, porque cierra el tema. Lo que no funciona es inventarse un criterio metodológico sobre la marcha.

¿Puedo decir que no sé algo en la defensa de tesis?

Sí, y bien contestado suma. La fórmula es reconocer el límite, aportar lo que sí sabes y decir qué harías para resolverlo: «no domino ese procedimiento; lo que sé es para qué se usa, y lo estudiaría antes de aplicarlo a estos datos». Lo que hunde una defensa no es un «no lo sé», es fingir dominio y que la siguiente pregunta lo destape.

¿Qué hago si un miembro del tribunal me propone otro análisis?

No discutas la premisa. Reconoce la alternativa, di qué habría aportado y por qué la tuya era razonable para tu pregunta y tus datos. Y si te queda tiempo antes de la defensa, corre el análisis alternativo: llegar pudiendo decir «lo comprobé y las conclusiones no cambian» convierte la crítica más incómoda de la sesión en tu mejor respuesta.

¿Suspenden una tesis por la estadística?

Es raro que una tesis suspenda solo por el análisis, pero sí es frecuente que la estadística sea el motivo de las correcciones mayores que retrasan meses. Y lo que dispara ese resultado casi nunca es un análisis equivocado: es un análisis que el doctorando no sabe justificar en voz alta, o una conclusión que va más allá de lo que permiten los datos.

Una defensa se juega en dos sitios: en lo que hiciste, que ya está escrito y no se puede cambiar, y en cómo lo justificas, que se prepara en una semana. Las nueve preguntas de este artículo cubren el segundo. Escríbete las tres frases (qué hice, con qué criterio, qué se pierde) para cada decisión estadística de tu tesis, dilas en voz alta y cronómetralas: el día de la defensa esa es toda la diferencia entre una respuesta y un silencio.