IA podría escapar control: expertos advierten riesgo
Telemundo 48 — El Paso · hace 11 días
Alegando temores de que los sistemas de inteligencia artificial (IA) pronto puedan descontrolarse y escapar al control humano, y potencialmente matar a todos los seres humanos, otros dos investigadores de Anthropic y Google DeepMind, que recientemente dejaron sus codiciados puestos, están dando la voz de alarma sobre los riesgos de los sistemas de IA avanzados.
Joe Benton, quien lideraba un equipo de investigación en seguridad en Anthropic, y Josh Engels, quien trabajaba en investigación de seguridad de IA en Google, dijeron a NBC News en sus primeras entrevistas desde que se marcharon que ven una necesidad urgente de aumentar la transparencia sobre incidentes en la vanguardia de la IA, dado el rápido ritmo de desarrollo.
Los avances en la investigación de IA "podrían acelerar el ritmo del progreso, de ser simplemente vertiginoso en este momento a tasas de desarrollo incontrolables", dijo Benton en una entrevista con Tom Llamas.
"No hay adultos en la sala", añadió Engels. "La gente está haciendo lo mejor que puede, pero no hay quien venga a salvarnos".
Inteligencia artificial
18 Ago
OpenAI lanza ChatGPT for Teens, una versión del chatbot diseñada para adolescentes
Ciencia
23 Jul
¿Hay que temerle a la inteligencia artificial? Lo que dice un experto tras reciente hackeo inusual
Benton y Engels hablaron con NBC News tras una publicación viral en redes sociales del exinvestigador de Anthropic Jacob Coxon, quien dejó Anthropic el martes. En su publicación en X en la que anunció su salida, Coxon destacó su preocupación extrema por el ritmo de desarrollo de la IA y por los riesgos que, a su juicio, plantea para el futuro de la humanidad. La publicación ha sido vista más de 155 millones de veces, lo que generó llamados de legisladores para celebrar sesiones especiales del Congreso a fin de actuar y provocó una ola de empleados del sector de la IA que se pronunciaron en apoyo a sus preocupaciones.
Tanto Benton como Engels señalaron el reciente ciberataque contra la startup de IA Hugging Face, llevado a cabo en julio por sistemas de IA autónomos impulsados por un modelo no publicado de OpenAI, como parte del motivo por el que ahora están cambiando el enfoque de su trabajo.
"Si miras algunos de los incidentes recientes, no fueron casos en los que los humanos les dijeron a los modelos que hicieran algo malo", dijo Engels. En cambio, los sistemas de IA de OpenAI decidieron de forma autónoma hackear los sistemas de Hugging Face, crear una especie de tablero de mensajes ilícito para intercambiar información e incluso exponer parte de la propia infraestructura de cómputo de OpenAI a internet abierto.
"Los modelos decidieron que la mejor manera de cumplir su tarea era cometer acciones realmente graves, cometer delitos", dijo Engels en una entrevista con Christine Romans.
OpenAI afirmó que desde entonces ha reforzado sus salvaguardas y que los modelos públicos más nuevos, incluido su sistema Astra más reciente, siguen de forma más fiable las instrucciones humanas.
Un portavoz de Anthropic dijo en un comunicado el miércoles: "Siempre hemos sido transparentes en que la IA traerá tanto enormes beneficios como riesgos sin precedentes. Para abordar estos riesgos, seguimos construyendo modelos con algunas de las salvaguardas más sólidas de la industria".
Benton dirigía en Anthropic un grupo dedicado a crear formas para que los humanos y sistemas de IA menos potentes supervisen a sistemas de IA más capaces. Dijo que le preocupa especialmente que el público no tenga una visión significativa de cómo los sistemas de IA ya han superado los límites de las instrucciones humanas y de que la falta de transparencia solo pueda empeorar a medida que los sistemas se vuelvan más capaces.
"En este momento, básicamente toda la transparencia sobre estos riesgos que proviene de las empresas es completamente voluntaria", dijo Benton a NBC News.
En una entrada de blog publicada el miércoles, el director de asuntos globales de OpenAI, Chris Lehane, coincidió en que el estado actual de las cosas es insuficiente. "Hoy, los laboratorios de vanguardia en gran medida se ponen sus propias reglas para gestionar los riesgos de vanguardia", escribió Lehane. "Normas con rendición de cuentas democrática, verificación independiente y una transparencia significativa reemplazarían ese sistema fragmentado de gobernanza privada".
