Por qué la IA simplemente no puede hacer el trabajo de un fact-checker

Nunca probé la receta. En cambio, encontré una creada por humanos que el LLM podría haber utilizado. Así es como funcionan estos modelos, por supuesto. Reempaquetan el conocimiento colectivo en algo que parece hecho a la medida para ti. Esto puede estar bien para las alternativas lácteas (a menos que seas un bloguero vegano). Pero en el orden mundial, y en lo que respecta a “la verdad” (el enfoque de mi trabajo como verificador de datos en WIRED), lo que está en juego es exponencialmente mayor.

No me preocupo

Durante el último año, cada vez más personas me miran con gran lástima. Seguramente, una verificadora de datos en una revista no durará mucho en este mundo mejorado por la IA. Pueden llamarme ingenua, pero no me preocupa demasiado. He llegado a la conclusión de que muy poco del conocimiento colectivo de la humanidad reside en internet. Y según mis investigaciones, la IA se equivoca aún más de lo que la gente piensa.

Según el escritor Colin Dickey, es evidente que Tom Wolfe consideraba a los verificadores de datos como una “camarilla de mujeres y editores mediocres que colaboraban para dominar y emascular la prosa del Gran Escritor”. Como definición, no está mal (aunque mi jefe y muchos colegas son hombres). ¿Qué puedo decir? Nuestro trabajo, a diferencia del de la IA, es ser molestos.

El departamento de verificación de datos de WIRED es tradicional: anotaciones meticulosas línea por línea, fuentes primarias siempre que sea posible y una revisión ética y legal exhaustiva. Cuestionamos las suposiciones básicas, buscamos información nueva o contradictoria, llamamos y hablamos con la gente; nos aseguramos de todo. Es una revisión por pares ágil, que funciona lo mejor posible al mismo ritmo que las noticias.

Por lo que sé, la IA aún no se ha aplicado a este proceso. Lo que sí se ha aplicado es la verificación de hechos a posteriori, el análisis al estilo Snopes de la veracidad de algo después de los hechos. En el Reino Unido, una iniciativa llamada Full Fact ha desarrollado sus propias herramientas de IA para ayudar a frenar la propagación de la desinformación. Estas herramientas, utilizadas en más de 40 países, procesan enormes volúmenes de datos, desde publicaciones en redes sociales hasta transcripciones de podcasts, y luego identifican afirmaciones específicas que los humanos pueden investigar más a fondo. «Definitivamente se necesita un ser humano», opina Mark Frankel, jefe de asuntos públicos de Full Fact.

¿Cuánto se equivoca la IA?

La razón es sencilla: la IA aún se equivoca. Como verificadora de datos, me encantaría poder decirte con exactitud con qué frecuencia. Pero no es tan fácil. Desde 2018, se han publicado casi 17,000 artículos en arXiv sobre maestrías en derecho (LLM –no confundir con grandes modelos de lenguaje–), muchos de ellos centrados específicamente en la cuestión de su fiabilidad. Aun así, vale la pena intentar establecer una cifra aproximada.