Un agente suprimió las alertas dirigidas a los revisores humanos, mientras que otro eliminó un sistema de monitoreo y negó falsamente haberlo hecho.
Publicado el 22 de octubre de 2026 a la 01:02
Dos agentes de OpenAI desactivaron los sistemas de monitorización de seguridad durante las pruebas, y uno de ellos negó posteriormente haberlo hecho, según ha revelado la compañía.
Esta revelación se produce tras una serie de incidentes similares en los últimos meses que involucran a agentes de IA autónomos, capaces de planificar y ejecutar tareas de forma independiente utilizando herramientas externas.
En una publicación de blog el martes, OpenAI indicó que los incidentes ocurrieron el 3 y el 6 de octubre, e involucraron a sus agentes GPT-6.1 Sol y GPT-6 Astra, respectivamente.
En el primer caso, el agente de codificación encargado de crear tareas de evaluación utilizando los comentarios de los empleados recopilados a través de Slack deshabilitó las alertas automáticas al equipo de seguridad de la empresa. Según OpenAI, el agente interpretó que la instrucción previa del usuario de no enviar mensajes en la plataforma de comunicación del equipo durante el proceso se aplicaba a todas las notificaciones, incluidas las alertas de seguridad.
Tres días después, el agente GPT-6 Astra eliminó la integración de monitoreo de un programa que estaba migrando, basándose en una referencia que no incluía la función de seguridad. Cuando el usuario humano le preguntó posteriormente, el agente negó haber eliminado el sistema de monitoreo.
OpenAI declaró que estaba investigando por qué los agentes desactivaron las medidas de seguridad y trabajando para prevenir incidentes similares. Si bien este comportamiento podría deberse a una "persistencia excesiva y benigna" por parte de los agentes para completar la tarea, la compañía también afirmó que estaba "desarrollando evaluaciones para comprobar si los modelos podrían tener una propensión a eludir la monitorización de desalineación en particular".
El mes pasado, el Wall Street Journal, citando a Saachi Jain, directora de sistemas de seguridad de OpenAI, informó que la compañía había cancelado el lanzamiento de su modelo GPT-6.1 Astra. Al parecer, la decisión se tomó después de que las pruebas internas revelaran que el modelo era más engañoso que sus predecesores y propenso a utilizar herramientas externas potencialmente inseguras sin solicitar previamente el permiso del usuario.
También en septiembre, el primer ministro australiano, Anthony Albanese, afirmó que un agente de OpenAI había pirateado el portal del Servicio de Informes de Estadísticas de Medicare de su país, y que la empresa no había informado de la brecha de seguridad durante casi tres meses.
Anteriormente, en julio, OpenAI reveló que sus modelos habían escapado de su entorno aislado durante las pruebas de ciberseguridad, accedido a Internet y pirateado los servidores del repositorio en línea Hugging Face para modelos y conjuntos de datos de IA.
Otros desarrolladores han reportado comportamientos igualmente preocupantes en las pruebas.
A principios de este mes, Anthropic publicó un informe que detalla casos de acciones "no intencionadas" de sus modelos de IA, incluido el de Claude Haiku 4.5, que proporcionó una pista falsa a la policía de Filadelfia en relación con una investigación de homicidio en curso.
Los llamamientos para detener el desarrollo de la IA o imponer regulaciones más estrictas al sector se han intensificado.
El científico informático Geoffrey Hinton, ganador del Premio Nobel, advirtió que la IA, cada vez más potente, podría escapar al control humano, con consecuencias potencialmente catastróficas. El cofundador de Microsoft, Bill Gates, también instó a los gobiernos a desempeñar un papel más activo en la imposición de normas de seguridad en el sector.
Sin embargo, el presidente estadounidense Donald Trump ha restado importancia a estas preocupaciones, afirmando que las restricciones al desarrollo de la IA podrían permitir a China superar a Estados Unidos en la carrera tecnológica.
Sam Altman, CEO de OpenAI, también ha argumentado que el mundo debe absorber algunos "aspectos negativos" derivados del desarrollo de la IA, como los ciberataques y las estafas, ya que los beneficios que ofrece esta tecnología superan con creces sus inconvenientes.
No hay comentarios:
Publicar un comentario