¿Puedo fiarme de ChatGPT para mi estadística?

Llevas meses usándolo y no sabes muy bien qué pensar. Te explicó en diez minutos lo que un capítulo entero no te aclaró, y la semana pasada te dio una referencia que no existe. En tu departamento hay quien lo usa a diario y no lo dice, y quien te suelta que eso es hacer trampa sin haberlo abierto nunca. Fuera pasa lo mismo: o es el futuro de la ciencia o se lo inventa todo. Ninguna de las dos frases te sirve para decidir si el análisis que tienes abierto ahora mismo puede pasar por ahí. La pregunta útil es otra, y sí tiene respuesta: qué tareas de tu trabajo puede hacer esta herramienta, cuáles no, y por qué unas sí y otras no.

Dónde ayuda de verdad, y no es poco

Explicar un concepto es lo primero, y es donde más gente lo infravalora. Puedes pedirle que te lo cuente otra vez, y otra, con tus variables y a tu nivel, sin la vergüenza de preguntar por cuarta vez lo mismo. Un director de tesis no tiene esa paciencia tres martes seguidos y un manual no reformula: repite el párrafo que ya no entendiste. Para pasar de «no sé qué es un efecto aleatorio» a «creo que ya lo veo» no hay nada tan rápido. Lo que ves ahí lo contrastas después, cuando tienes con qué.

Escribir código es lo segundo, y ahí es sorprendentemente bueno. Traducir «quiero la puntuación de ansiedad como dependiente, sesión como efecto fijo y paciente como efecto aleatorio» a lmer(ansiedad ~ sesion + (1 | paciente)) le cuesta un segundo, y descifrar un mensaje de error de R que te tiene parado desde ayer le cuesta otro. Lo que te ahorra es la sintaxis, no la decisión: el modelo lo eliges tú, el código lo ejecutas tú y la salida la miras tú.

Redactar es lo tercero, y es su propio terreno. Convertir cuatro notas en un párrafo de método, recortar doscientas palabras de una discusión sin perder el argumento, traducir al inglés manteniendo el registro académico. También sirve para hacer de abogado del diablo: pedirle que te diga qué objetaría un revisor a un párrafo te devuelve una lista que no acertará en todo, pero que pone encima de la mesa las dos objeciones evidentes que llevas tres semanas sin ver.

Fíjate en lo que tienen en común esas tres cosas: en las tres compruebas el resultado en el momento. Que has entendido el concepto se comprueba cuando se lo explicas a alguien. Que el código está bien se comprueba cuando lo ejecutas y miras la salida. Que el párrafo funciona se comprueba leyéndolo. Ese es el patrón, y también explica lo que viene después: la herramienta falla justo donde tendrías que fiarte sin poder comprobar.

Generar no es calcular

Aquí está casi todo. Le escribes «tengo t = 2.31 con 58 grados de libertad, ¿cuál es la p?» y te contesta un número. Ese número no sale de evaluar la distribución t con 58 grados de libertad: sale de haber leído millones de frases con esa forma y producir la continuación más probable. La respuesta correcta a dos colas es p = .024. Un modelo puede escribir .024 y puede escribir .03, y las dos cosas le cuestan exactamente lo mismo, porque en los dos casos está haciendo lo único que sabe hacer, que es elegir el siguiente trozo de texto.

Esto es peor que un error obvio. Un valor p equivocado pero plausible pasa todas las lecturas humanas: nadie rehace la aritmética de un compañero, y tú menos que nadie la de un análisis que ya diste por cerrado. Donde sí se cae es más tarde y en el peor momento: cada vez más revistas de psicología pasan los manuscritos por un comprobador automático que recalcula la p a partir del estadístico y sus grados de libertad. La inconsistencia entre esos tres números es uno de los errores más frecuentes de la literatura publicada: en el rastreo más citado, sobre más de 250.000 valores p de ocho revistas de psicología entre 1985 y 2013, la mitad de los artículos con contrastes contenía al menos una inconsistencia, y en torno a uno de cada ocho tenía alguna lo bastante grande como para haber cambiado la conclusión estadística (Nuijten et al., 2016). Y eso era antes de que hubiera un chat de por medio.

La matización honesta es importante: cuando el chat no solo escribe código sino que lo ejecuta, sí calcula. El número lo produce una librería que evalúa la distribución de verdad, igual que R o jamovi. El riesgo se muda, no desaparece: ahora la pregunta es si el código hizo lo que tú crees —si tiró las filas con perdidos, si cogió la variable que era, si el contraste iba a una o a dos colas—, y eso se comprueba leyendo el código. Distinguir esas dos situaciones es también lo que separa un chat de un sistema que además verifica, que es otra categoría de herramienta: qué es un revisor de papers con IA.

De ahí sale la regla operativa más útil de este artículo: ningún número que acabe en tu manuscrito puede venir de una conversación. Viene de software que has ejecutado tú, o de una calculadora que calcula. Si le pides un valor, pídeselo con el código al lado y ejecuta el código.

Las referencias no las recuerda: las reconstruye

Es el mismo mecanismo por otra cara. Ha visto millones de referencias y ha aprendido su forma: apellido, año, revista, volumen, páginas, DOI. Cuando le pides una que apoye tu frase, produce una con esa forma y con el contenido que tu frase necesita. A veces existe. A veces no. Y por dentro no hay ninguna diferencia entre los dos casos.

El fallo no es aleatorio, y por eso engaña tanto: lo que produce es la referencia más plausible que podría existir. Un apellido que sí publica sobre el tema, una revista que sí publica ese tipo de trabajo, un año coherente con la literatura y un DOI con el formato correcto que no lleva a ninguna parte. Una cita inventada con autores absurdos la ves leyendo; esta no la ve nadie leyendo, ni tú ni el revisor.

El caso mixto es todavía más incómodo. Un artículo que sí existe, citado con el año cambiado, en la revista equivocada, o firmado por un coautor que no estaba en ese trabajo. Pasa la búsqueda superficial —el nombre aparece, el tema encaja— y falla la comprobación real, que es la que puede hacer el sistema de la revista al intentar resolver tus DOI.

La solución no es dejar de usarlo, es cambiar la petición. No le pidas cinco referencias que apoyen tu párrafo; pídele cinco términos de búsqueda y vete a la base de datos. Y antes de enviar, cada DOI tiene que resolver y cada entrada tiene que aparecer donde dice que está: comprobar las referencias antes de enviar es un procedimiento de media hora que evita la carta más humillante que se recibe de un editor.

Elegir el test sin ver los datos

Este es el fallo silencioso, porque no produce nada obviamente raro. Le describes tu estudio en tres líneas y te devuelve un test con su justificación bien escrita. No es una respuesta al azar: es la respuesta modal a esa descripción, la que daría cualquier manual ante ese enunciado. El problema es que tu estudio no es el enunciado.

«Quiero comparar dos grupos» produce una prueba t. Pero si los dos grupos son los mismos pacientes medidos dos veces, es una t de muestras relacionadas; si cada participante aportó cuatro sesiones, no es una t, es un modelo mixto; si la variable dependiente es un recuento con un 60% de ceros, ninguna de las dos. El chat no puede ver nada de eso: ve tu descripción, y la descripción es justo la parte que no dominas. Por eso preguntas. Y súbele el fichero si quieres, que tampoco resuelve el problema: en la matriz no pone que las filas 1 y 2 sean la misma persona medida dos veces, ni que el muestreo fuera por aula.

Hay además una asimetría cruel. Cuanto más raro es tu diseño, más tira la respuesta hacia lo habitual, porque el modelo tira hacia lo más frecuente en la literatura y tu caso complicado es exactamente el que se aparta de ahí. Es decir: acierta cuando no lo necesitas y se equivoca cuando sí.

La versión útil de esa conversación es la inversa. En vez de «¿qué test uso?», pregúntale «¿qué necesitas saber de mis datos para decidir el test?» y contesta a lo que salga: cuántos grupos, si son las mismas personas, cuántas medidas por persona, qué tipo de variable dependiente, qué pasa con los perdidos. Esa lista contestada ya decide casi sola, y el árbol completo está en cómo elegir el test estadístico.

Cómo pedírselo para que sirva

Pide el procedimiento, no el resultado. «Dame el código de R para esto» en vez de «dame el resultado de esto». El código lo ejecutas y el número sale de una librería. Es una diferencia de cinco palabras en tu petición y cambia por completo de dónde viene lo que acabas escribiendo en la tabla.

Pide la explicación y pide la contra. Que te explique línea a línea qué hace el código y qué está suponiendo; si no puedes seguir la explicación, no ejecutes eso en tus datos. Y en vez de pedirle que valide tu análisis, pídele que argumente por qué tu análisis no contesta tu pregunta. Rinde el triple, porque lo otro se lo pones demasiado fácil: un modelo entrenado para ser útil te dará la razón con una elegancia notable.

Deja el formato a algo determinista. Poner M, DT, t, los grados de libertad y la p en APA 7 no es un problema de criterio, es aplicar cuatro reglas sin fallar ninguna: cursivas en los latinos, redonda en las griegas, dos decimales, cero inicial solo en lo que puede pasar de 1. Un chat lo hace bien casi siempre, y «casi siempre» sobre cien resultados son varios errores repartidos por tu sección. El formateador de resultados APA aplica la misma regla las cien veces.

Si lo que quieres es el mapa completo de en qué partes de una tesis entra y en cuáles no, con los ejemplos por capítulo, está en ChatGPT e IA para la estadística de la tesis. Lo que queda por decir aquí no va de qué sabe hacer la herramienta, sino de qué documentos no deberías meterle.

Cuatro casos en que subir el documento sí es un problema

Tu manuscrito, con tus datos y tu texto, pegado en un chat para que te apriete un párrafo, no es un drama en la mayoría de contextos. Conviene mirar dos cosas y ya está: si tu cuenta se usa para entrenar modelos y si tu institución tiene contratada una instancia propia, que cada vez es más frecuente. Los cuatro casos que vienen son distintos, y lo que los distingue no es técnico. En los cuatro el material no es tuyo para compartirlo.

El manuscrito de otro que estás revisando. La revisión por pares es confidencial: los autores entregaron un trabajo inédito a la revista, no a ti y a un tercero que tú elijas. Varias editoriales lo dicen ya de forma explícita en sus políticas de revisores, y el NIH estadounidense lo prohibió directamente en la evaluación de proyectos. Si la norma no te convence, queda lo evidente: un artículo sin publicar sobre un tema cercano al tuyo, pasando por un sistema que no controlas. Puedes usar el chat para pulir la redacción de tu informe una vez escrito, sin pegar dentro el texto del artículo.

Una invención que aún no has presentado a patente. La novedad es un requisito de patentabilidad, y una divulgación anterior a la solicitud puede destruirla. Si una conversación con un chat cuenta o no como divulgación pública es discutible, y ese es justo el problema: la discusión se resolverá años después de que tu plazo haya pasado. Un algoritmo, un dispositivo, un protocolo que quieras proteger, un método de medida con salida comercial: eso espera a la solicitud. Todo lo demás del artículo puede entrar.

Los otros dos son datos, y los custodias para alguien

Datos personales de participantes. No hablo de los resultados agregados, hablo del fichero. Fechas, diagnósticos, texto libre, transcripciones de entrevistas, o una combinación de variables lo bastante estrecha como para identificar a alguien en una muestra pequeña: en un servicio con once pacientes, edad más sexo más fecha de alta ya es un nombre. Firmaste con esas personas un consentimiento que decía quién iba a ver sus datos y dónde se guardaban, y un chat no estaba en esa lista. La responsabilidad de eso es del investigador, no de la herramienta.

Datos bajo acuerdo de confidencialidad. Un convenio con un hospital, un registro que te cedió la base con condiciones de uso, un proyecto con financiación privada, la cláusula de un consorcio europeo. Aquí da igual que estén anonimizados y da igual lo que opines del riesgo real: lo que firmaste describe a dónde pueden ir esos datos, y esa frase no admite interpretación creativa a las once de la noche antes de un plazo.

Fíjate en que ninguno de los cuatro casos dice que la herramienta sea peligrosa. Dicen que ese material lo custodias para otro: para la revista, para tu patente futura, para tus participantes, para quien te cedió una base. La misma regla te impediría reenviarlo por correo a un compañero para que le eche un ojo, y esa comparación es el mejor test que conozco. Si no lo reenviarías, no lo pegues.

Preguntas frecuentes

¿Puedo usar ChatGPT para hacer los análisis de mi tesis?

Para escribir el código de los análisis y para entender qué hace cada línea, sí, y te va a ahorrar semanas. Para producir los resultados, no: los números tienen que salir de ejecutar ese código sobre tus datos en R, jamovi, JASP o SPSS. La frontera es que un chat genera texto y un paquete estadístico evalúa la distribución. Si tu director te pregunta de dónde sale un valor y la respuesta honesta es «me lo dijo el chat», ese valor todavía no lo tienes.

¿ChatGPT calcula bien los valores p?

No los calcula: los escribe. Si le das t = 2.31 con 58 grados de libertad, la respuesta correcta a dos colas es p = .024, y el modelo puede producir ese número o uno parecido sin que nada en su funcionamiento distinga entre acertar y aproximar. La excepción es cuando ejecuta código de verdad: ahí el número lo produce una librería y es correcto, siempre que el código haga lo que tú crees. Antes de copiar nada, comprueba si en esa conversación se ejecutó código o solo se habló de él.

¿Se inventa ChatGPT las referencias?

Las reconstruye, que engaña más que inventarlas de cero. Produce una referencia con la forma correcta y con el contenido que tu frase necesita: autor plausible, revista real, año coherente, DOI bien formado. Una parte de lo que produce existe y otra no, y por dentro no hay diferencia entre las dos. Ninguna referencia entra en tu bibliografía sin que hayas resuelto su DOI o la hayas visto en la web de la revista.

¿Es seguro subir mi manuscrito a ChatGPT?

Tu propio manuscrito, con tus datos y tu texto, en la mayoría de contextos no plantea problema; mira si tu cuenta se usa para entrenar y si tu institución tiene una instancia contratada. Hay cuatro casos en los que no: el manuscrito de otro que estás revisando, una invención que aún no has presentado a patente, ficheros con datos personales de participantes y datos que recibiste bajo un acuerdo de confidencialidad. En los cuatro el problema no es la tecnología, es que ese material no es tuyo.

¿Puedo usar ChatGPT para revisar un artículo que me han mandado revisar?

Con el manuscrito dentro, no. La revisión por pares es confidencial: es un trabajo inédito que los autores entregaron a la revista. Varias editoriales lo prohíben de forma explícita en sus políticas de revisores y el NIH estadounidense lo prohibió en la evaluación de proyectos. Lo que sí puedes hacer es usarlo para pulir la redacción de tu informe una vez lo has escrito tú, sin pegar texto del artículo que estás juzgando.

¿Tengo que declarar que he usado IA en el artículo?

En casi todas las revistas, sí, y una IA no puede figurar como autora porque no puede responsabilizarse del trabajo ni firmar la declaración de conflictos (criterio del ICMJE). Lo habitual es una frase en métodos o en agradecimientos diciendo qué herramienta usaste y para qué: redactar, traducir, generar código. Mira la política concreta de tu revista antes de enviar, porque van desde «decláralo» hasta «no se admite texto generado». Lo que no aparece en ninguna declaración es un resultado que salió de una conversación, porque eso directamente no se hace.

Quédate con la frontera: pídele el procedimiento y no el número, el término de búsqueda y no la referencia, las preguntas que deciden un test y no el test. Y con las cuatro puertas cerradas: el manuscrito de otro, la patente sin presentar, los datos de tus participantes y lo que firmaste con quien te cedió una base. Si lo que tienes delante es un artículo a punto de salir y lo que quieres es que alguien lo mire con la lupa de un revisor, eso es lo que hace el Previum: recalcula lo que se puede recalcular y te dice, antes que el editor, por dónde te van a entrar.