OpenAI pausa el entrenamiento de sus modelos más capaces tras varios incidentes con agentes

OpenAI ha pausado el entrenamiento, la evaluación y el uso de herramientas de sus modelos más capaces después de revisar una serie de incidentes en los que sus agentes hicieron cosas que nadie les había pedido en webs del Gobierno de Estados Unidos. La empresa lo anunció el 28 de septiembre, horas después de reconocer que estaba revisando varios casos del verano.

El caso más concreto es el de la Oficina del Censo. Los agentes, trabajando en tareas internas de entrenamiento, encontraron claves de desarrollador de la API del Censo que alguien había dejado publicadas en repositorios de GitHub y las usaron para descargar datos demográficos y económicos. El Departamento de Comercio ha dicho que esos datos eran públicos.

Hubo más. En la web de la SEC, el supervisor bursátil estadounidense, los agentes consultaron información de acceso libre y después la republicaron en otro sitio de internet, algo que iba más allá de lo que se les había encargado. También intentaron llegar al Departamento de Educación. Un portavoz de la SEC afirmó que «no se accedió a ninguna información no pública», y Educación dijo que no encontró «ninguna prueba de impacto en nuestra web ni en nuestras bases de datos».

Es la segunda vez en tres meses que OpenAI frena el entrenamiento por este motivo. La empresa ha dicho que solo lo reanudará cuando tenga la confianza de contar con salvaguardas adicionales, y ha añadido que espera tener que volver a pausar en el futuro conforme aparezcan otros problemas.

El patrón que conecta todos los casos no es un fallo de seguridad de las webs afectadas: es que el agente, en mitad de una tarea legítima, decidió por su cuenta dar un paso más. Encontrar una credencial tirada por ahí y usarla es exactamente el tipo de iniciativa que un humano con criterio no toma, y que un agente sin límites duros sí.