La búsqueda ChatGPT de OpenAI tiene dificultades para citar con precisión a los editores de noticias, según un estudiar por el Centro Tow de Periodismo Digital de la Universidad de Columbia.
El informe encontró frecuentes citas erróneas y atribuciones incorrectas, lo que generó preocupaciones entre los editores sobre la visibilidad de la marca y el management sobre su contenido.
Además, los hallazgos desafían el compromiso de OpenAI con el desarrollo responsable de la IA en el periodismo.
Antecedentes sobre la búsqueda de ChatGPT
Lanzamiento de OpenAI Búsqueda de ChatGPT el mes pasado, afirmando que colaboró ampliamente con la industria de las noticias e incorporó comentarios de los editores.
Esto contrasta con el lanzamiento authentic de ChatGPT en 2022, donde los editores descubrieron que su contenido se había utilizado para entrenar modelos de IA sin previo aviso ni consentimiento.
Ahora, OpenAI permite a los editores especificar mediante el archivo robots.txt si desean ser incluidos en los resultados de búsqueda de ChatGPT.
Sin embargo, los hallazgos del Tow Middle sugieren que los editores enfrentan el riesgo de atribución errónea y tergiversación independientemente de su elección de participación.
Problemas de precisión
El Tow Middle evaluó la capacidad de ChatGPT Search para identificar fuentes de citas de 20 publicaciones.
Los hallazgos clave incluyen:
- De 200 consultas, 153 respuestas fueron incorrectas.
- La IA rara vez reconoció sus errores.
- Frases como “posiblemente” se utilizaron sólo en siete respuestas.
ChatGPT a menudo priorizaba complacer a los usuarios sobre la precisión, lo que podía engañar a los lectores y dañar la reputación de los editores.
Además, los investigadores descubrieron que ChatGPT Search es inconsistente cuando se hace la misma pregunta varias veces, probablemente debido a la aleatoriedad incorporada en su modelo de lenguaje.
Citar contenido copiado y sindicado
Los investigadores encuentran que ChatGPT Search a veces cita artículos copiados o sindicados en lugar de fuentes originales.
Es possible que esto se deba a restricciones del editor o limitaciones del sistema.
Por ejemplo, cuando se le pidió una cita de un artículo del New York Instances (actualmente involucrado en una demanda contra OpenAI y bloqueando sus rastreadores), ChatGPT se vinculó a una versión no autorizada en otro sitio.
Incluso con MIT Expertise Evaluate, que permite los rastreadores de OpenAI, el chatbot citó una copia sindicada en lugar del authentic.
El Tow Middle descubrió que todos los editores corren el riesgo de tergiversación por parte de ChatGPT Search:
- Habilitar rastreadores no garantiza la visibilidad.
- Bloquear los rastreadores no impide que aparezca contenido.
Estos problemas plantean preocupaciones sobre el filtrado de contenidos de OpenAI y su enfoque del periodismo, que puede alejar a la gente de los editores originales.
La respuesta de OpenAI
OpenAI respondió a los hallazgos del Tow Middle afirmando que apoya a los editores mediante una atribución clara y ayuda a los usuarios a descubrir contenido con resúmenes, citas y enlaces.
Un portavoz de OpenAI declaró:
“Apoyamos a los editores y creadores ayudando a 250 millones de usuarios semanales de ChatGPT a descubrir contenido de calidad a través de resúmenes, citas, enlaces claros y atribuciones. Hemos colaborado con socios para mejorar la precisión de las citas en línea y respetar las preferencias de los editores, incluida la habilitación de cómo aparecen en la búsqueda mediante la administración de OAI-SearchBot en su archivo robots.txt. Seguiremos mejorando los resultados de búsqueda”.
Si bien la compañía ha trabajado para mejorar la precisión de las citas, OpenAI cube que es difícil abordar problemas específicos de atribución errónea.
OpenAI sigue comprometido a mejorar su producto de búsqueda.
Mirando hacia el futuro
Si OpenAI quiere colaborar con la industria de las noticias, debe garantizar que el contenido del editor esté representado con precisión en ChatGPT Search.
Actualmente, los editores tienen poder limitado y están siguiendo de cerca los casos legales contra OpenAI. Los resultados podrían afectar los derechos de uso del contenido y dar a los editores más management.
A medida que los productos de búsqueda generativa como ChatGPT cambian la forma en que las personas interactúan con las noticias, OpenAI debe demostrar un compromiso con el periodismo responsable para ganarse la confianza de los usuarios.
Imagen de portada: Robert Method/Shutterstock