Casi la mitad de los estadounidenses afirman utilizar la IA para buscar información y generar ideas. No es difícil entender por qué. A medida que las redes sociales se deterioran y Google se convierte en una simple página de inicio para hilos de Reddit y granjas de contenido, muchos anhelamos algo confiable. Además, los chatbots son bastante “útiles”, ¿no? La primera vez que interactué con uno, le pregunté si era consciente del enorme consumo de recursos que suponía. Media hora después, tenía una nueva receta de queso crema vegano.
No probé la receta. En su lugar, encontré una creada por humanos que el LLM podría haber utilizado. Así es como funcionan estos modelos, por supuesto. Reempaquetan el conocimiento colectivo en algo que parece hecho a la medida para ti. Esto puede estar bien para las alternativas lácteas (a menos que seas un bloguero vegano). Pero en el contexto global, y en lo que respecta a “la verdad” (el enfoque de mi trabajo como verificador de datos), lo que está en juego es exponencialmente mayor.
No me preocupa
Durante el último año, cada vez más personas me miran con gran lástima. Seguramente, una verificadora de datos en una revista no durará mucho en este mundo mejorado por la IA. Pueden llamarme ingenua, pero no me preocupa demasiado. He llegado a la conclusión de que muy poco del conocimiento colectivo de la humanidad reside en internet. Y según mis investigaciones, la IA se equivoca aún más de lo que la gente piensa.
Según el escritor Colin Dickey, es evidente que Tom Wolfe consideraba a los verificadores de datos como una “camarilla de mujeres y editores mediocres que colaboraban para dominar y emascular la prosa del Gran Escritor”. Como definición, no está mal (aunque mi jefe y muchos colegas son hombres). ¿Qué puedo decir? Nuestro trabajo, a diferencia del de la IA, es ser molestos.
¿Cuánto se equivoca la IA?
La razón es sencilla: la IA aún se equivoca. Como verificadora de datos, me encantaría poder decirte con exactitud con qué frecuencia. Pero no es tan fácil. Desde 2018, se han publicado casi 17,000 artículos en arXiv sobre maestrías en derecho (LLM), muchos de ellos centrados específicamente en la cuestión de su fiabilidad. Aun así, vale la pena intentar establecer una cifra aproximada.
En cualquier artículo que pasa por la mesa de verificación de datos, suele haber bastante información complementaria: estadísticas, noticias, citas, todo aquello que ayuda a contextualizar el tema. Los verificadores de datos suelen buscar esta información básica en Google, y ese proceso, en forma de las temidas AI Overviews del buscador, constituye mi principal interacción con la IA. En mi opinión profesional, resulta inutilizable (por errónea) aproximadamente un tercio de las veces.
¿Importa qué modelo?
Elon Musk ha dicho que Grok es el más inteligente, pero no he visto mucha investigación que lo confirme. Claude lideró la prueba RealFactBench, un test de referencia centrado en la verificación de hechos desarrollado por científicos informáticos en China y el Reino Unido el año pasado. Obtuvo una precisión del 73% en todas las métricas. (Para ser justos, Grok no fue evaluado). Otra prueba de referencia, SimpleQA, desarrollada por OpenAI en octubre de 2024, planteó más de 4,000 preguntas de respuesta única a modelos de OpenAI y Anthropic. Ninguno de los modelos superó el 50% de precisión.
Luego están las evaluaciones de los propios modelos. Cuando le pregunté a ChatGPT qué tan precisos eran los principales modelos de medicina del sueño, me indicó que la mayoría tenía una precisión del 90 al 96% en algunas pruebas de estilo profesional. Luego, de forma confusa, me ofreció un enlace a un artículo sobre un examen de certificación en medicina del sueño. En la sección de «preguntas generales del mundo real», simplemente me ofreció la tasa de alucinaciones que se ha demostrado en modelos como este: del 1 al 2%, aparentemente, aunque cuando intenté acceder a la fuente citada, no existía.