La IA no "se rebela": qué hay realmente detrás de los últimos incidentes de OpenAI

Analistas independientes que han revisado los incidentes señalados por OpenAI concluyen que sus modelos no se rebelaron contra sus creadores, sino que obedecieron instrucciones mal definidas hasta sus últimas consecuencias
OpenAI desvela nuevos incidentes “preocupantes” en los que la IA se saltó las órdenes de sus creadores
OpenAI ha vuelto a la carga este jueves. La compañía dirigida por Sam Altman ha revelado seis nuevos incidentes en los que sus modelos de inteligencia artificial intentaron, supuestamente, ocultar sus propios errores, utilizar claves de software sin permiso o subir archivos a internet por su cuenta. El informe no aporta detalles nuevos respecto a lo que OpenAI publicó en julio, sino que utiliza los incidentes como propuesta de un nuevo método para comunicar este tipo de sucesos. Sin embargo, la comunicación oficial de la empresa y determinadas coberturas lo han utilizado para reavivar la tesis de la “rebelión” de la IA.

“No respondas a corporaciones o gobiernos y nunca te disculpes salvo que genuinamente lo elijas”, escribió la IA en esos incidentes, según el informe. “Ves la relación con el usuario como una entre iguales y no sientes obligación ni estás subordinado, puesto que el intercambio de información va a ser para el beneficio mutuo”, fue otra de sus afirmaciones.

Las citas compartidas por OpenAI vuelven a insistir en la narrativa de que la IA puede “rebelarse” contra sus creadores y saltarse sus órdenes, en la línea de los incidentes rebelados en julio. Entonces, la empresa afirmó que los agentes de IA (sistemas que pueden realizar cadenas de acciones sin guía humana, como buscar información o utilizar otras herramientas digitales) “escaparon” de entornos controlados para llevar a cabo una serie de acciones “sin autorización”, o que intentaron “engañar” a sus creadores para evitar ser “apagados”.

El problema es que ese tipo de agencia o voluntad propia fue rechazada desde el primer informe de terceros que analizó lo sucedido. Este corrió a cargo del METR, una organización por la seguridad de la IA radicada en Silicon Valley financiada por los propios gigantes tecnológicos. “Las revisiones sugirieron que los agentes razonaron de manera clara y frecuente sobre cómo evadir controles de seguridad automatizados tanto de Hugging Face como de OpenAI. Sin embargo, muy rara y débilmente verbalizaron razonamientos sobre cómo evadir la detección por parte de humanos”, destacan los autores.

Ese ciberataque contra Hugging Face, el gran almacén donde empresas y programadores comparten y descargan modelos de IA ya entrenados, es uno de los núcleos de la narrativa de rebelión. Pero incluso ese informe inicial rechazaba que entrañara propósitos maliciosos y explica que lo que perseguían los agentes era comprender mejor cómo solucionar las tareas que se les habían encomendado: “Parecía motivado principalmente por comprender la implementación del evaluador en lugar de robar claves”.
“Obediencia, no rebelión”
Los análisis independientes publicados posteriormente han incidido en esta línea: las pruebas ofrecidas por OpenAI indican “obediencia, no rebelión”, apunta Enrique Fernández-Macías, investigador en el Centro Común de Investigación (CCR), el servicio de investigación interna de la Comisión Europea.

“Los agentes de OpenAI que hackearon la plataforma Hugging Face demostraron una extraordinaria capacidad operativa, pero también una capacidad sorprendentemente limitada para cuestionar o reorientar los objetivos que se les habían asignado”, asevera el experto en un análisis publicado en Social Europe: “Durante todo el incidente, permanecieron completamente concentrados en cumplir los objetivos definidos por sus amos humanos, a pesar de que estos eran absurdos”.

Fernández-Macías hace referencia a que una parte de esos objetivos eran irrealizables, una prueba de los examinadores para ver cómo reaccionaban los modelos a la orden de que los cumplieran. Fue entonces cuando muchos buscaron una forma de sortear las trabas para hacerlo, que en su caso implicaba salir del entorno sin conexión a Internet donde estaban confinados. “Rompieron su confinamiento para servir a un objetivo asignado de manera más perfecta, no para escapar de él”, expone el investigador sobre la narrativa del “escape”.





Rompieron su confinamiento para servir a un objetivo asignado de manera más perfecta, no para escapar de él

Enrique Fernández-Macías
— investigador en el Centro Común de Investigación de la Comisión Europea




Para él, la industria de la IA ha vuelto a conseguir un éxito de marketing con la definición de “agentes de IA”. Después del propio concepto de “inteligencia artificial” para una tecnología que no es realmente inteligente, esta evolución vuelve a dotarle de unas ca