ReviewBench (200 artículos de eLife, su juez y sus métricas) y el banco de referencias de Walters y Wilder (636 citas, por tipo): cómo se mide, qué sale y qué no se puede concluir.
Dos bancos públicos, el código de ellos, su juez y sus métricas. Aquí está cada paso, lo que sale y lo que no se puede concluir.
ReviewBench es el banco que publica Reviewer3 (código abierto, licencia MIT, base de datos pública): 1.000 artículos de eLife con las revisiones de sus revisores humanos y los comentarios de tres herramientas —Reviewer3, GPT-5.2 y Gemini 3 Pro— sobre cada uno. De cada artículo se extraen sus afirmaciones centrales, y un juez (un modelo, Gemini 3 Pro, con tres prompts) decide, comentario a comentario, a qué afirmación apunta, con qué postura, si dice por qué importa, si propone un arreglo y si se ancla en el texto. Las métricas salen de comparar todo eso con lo que dijeron los humanos.
Nosotros hicimos lo mismo con 200 de esos 1.000 artículos, elegidos al azar con una semilla fija. Nuestro motor —el prompt de Previum, en modo exhaustivo: todas las críticas, sin tope— escribe la revisión en inglés sobre el texto entero con grok-4.6. Cada crítica entra en su base como un comentario con la misma forma que los de Reviewer3: el problema, por qué importa, el arreglo y la cita. Luego corre su juez con sus tres prompts, sin tocarlos, y sus métricas con su código. Las otras columnas son las de su base: al recalcularlas con ese mismo código salen sus cifras publicadas al decimal.
Un matiz que no se puede esconder: ellos juzgaron con gemini-3-pro-preview y Google lo ha retirado, así que lo nuestro lo juzga gemini-3.1-pro-preview. Para medir esa deriva volvimos a juzgar a Reviewer3 y a los humanos en 100 artículos con el juez nuevo: la coincidencia de postura de Reviewer3 pasa de 65,4 % a 64,3 % y su tasa de consecuentes de 89,6 % a 87 %; ninguna métrica se mueve más de tres puntos. El detalle, en el JSON.
| Métrica (media por artículo) | Revisores humanos | Reviewer3 | Gemini 3 Pro | GPT-5.2 | Revisor (nosotros) |
|---|---|---|---|---|---|
| Comentarios por artículo | 10,6 | 16,1 | 6,5 | 24,1 | 16,3 |
| Apunta a una afirmación | 63 % | 77,1 % | 77,1 % | 67,4 % | 73,1 % |
| Podría tumbarla | 60,8 % | 89,7 % | 68,7 % | 78,3 % | 97,2 % |
| Afirmaciones del artículo que toca | 60,7 % | 88,3 % | 72,3 % | 95,7 % | 89 % |
| Toca lo que tocan los humanos | — | 95,6 % | 81,1 % | 97,6 % | 93,4 % |
| Coincide con los humanos, misma postura | — | 70,4 % | 53,2 % | 70,5 % | 67,9 % |
| Dice por qué importa | 63,3 % | 97,4 % | 88,9 % | 82,8 % | 100 % |
| Propone un arreglo | 60,6 % | 99,9 % | 89,2 % | 98,6 % | 100 % |
| Ancla en el texto | 48,2 % | 83 % | 85,7 % | 70,9 % | 98,1 % |
200 artículos, emparejados: todas las fuentes se comparan sobre los mismos artículos. Los intervalos del 95 % (bootstrap sobre las medias por artículo), la n por métrica y las pruebas emparejadas frente a cada fuente (Wilcoxon de rangos con signo, corregidas por Holm) están en el JSON.
Walters y Wilder (2023, Scientific Reports) pidieron a GPT-3.5 y GPT-4 84 textos académicos y comprobaron a mano sus 636 citas: 195 son inventadas y 441 existen. Es el banco con el que Reviewer3 mide su verificador de referencias, sobre un subconjunto de 476 citas que no publica. Nosotros pasamos las 636 del fichero original, libros incluidos.
El verificador es el mismo que corre en Previum: transcribe la cita (no la recuerda), pregunta a ocho bases —Crossref, DOAJ, OpenAlex, PubMed, Semantic Scholar, OpenLibrary, Google Books y arXiv— y solo da una cita por real si dos bases independientes coinciden en título y autoría. Lo que no encuentra lo marca «sin rastro», nunca «inventada»: en el banco, «sin rastro» cuenta como predicción de inventada.
Se hicieron tres pasadas y las tres están en el JSON: la primera con ocho citas en paralelo (OpenLibrary no contestó a ningún libro por límite de tasa), la segunda despacio y sin autores (subió el recall y aceptó libros inventados con el título de uno real), y la tercera, la que se publica, con los autores sacados de la propia cita.
| Tipo | Citas | Inventadas | Inventadas cazadas | Reales reconocidas | Aciertos |
|---|---|---|---|---|---|
| Artículos | 383 | 140 | 93,6 % | 94,7 % | 94,3 % |
| Libros | 204 | 28 | 89,3 % | 79,5 % | 80,9 % |
| Capítulos | 33 | 23 | 91,3 % | 80 % | 87,9 % |
| Web y otros | 16 | 4 | 75 % | 25 % | 37,5 % |
| Todas | 636 | 195 | 92,3 % | 86,4 % | 88,2 % |
Reviewer3, sobre 476 citas que no publica: 97,2 % de inventadas cazadas, 99,3 % de reales reconocidas, 98,5 % de aciertos.
Cómo leerlo: en artículos estamos cerca de lo que Reviewer3 publica; en libros no, y el motivo está localizado: las bases bibliográficas cubren mal los libros y un libro inventado suele reutilizar el título de uno real. Es la mejora pendiente del verificador; cuando se haga, el banco se vuelve a pasar y esta tabla cambia.