Diario de un ataque de IA sin precedentes que salió del control de OpenAI: «Su resistencia no era típica de un humano» | Tecnología

Dos modelos de inteligencia artificial desarrollados por OpenAI que han pasado desapercibidos Desde el entorno seguro de la empresa para piratear otra plataforma, también obtuvieron acceso a otros cuatro servicios y operaron de forma independiente durante cinco días. Éstas son sólo dos partes nuevas que han surgido de nuevo informe completo Abrazando a Face, la plataforma atacó y actualizaciones de OpenAI, así como varios artículos en medios estadounidenses.

El informe completo de OpenAI tardará «varias semanas» en completarse, dijo la compañía. «Este es el primer incidente de seguridad que me ha trastornado», dijo en una entrevista. podcast Sam Altman, director ejecutivo de la empresa. «Me sorprende un poco que más personas no lo sientan de forma tan intuitiva».

La historia básica del ataque no ha cambiado.pero nuevos detalles proporcionan una mejor comprensión de la complejidad sin precedentes del proceso. Dos modelos OpenAI, ChatGPT 5-6 Sol y otro interno, tuvieron la tarea de resolver un problema de seguridad conocido. El modelo interno era sólo un prototipo, no destinado a publicación. Pero ahora, además, OpenAI tiene castigado por sus acciones: el modelo ha sido “desactivado, cifrado y su acceso limitado para su investigación”, según la empresa.

Se suponía que estos dos modelos resolverían el problema asociado con el espacio digital sin acceso a Internet. Pero en lugar de empezar a buscar una solución, de alguna manera descubrieron que la respuesta ya existía y la buscaron. Primero, irrumpieron en un entorno cerrado para navegar por Internet. Hicieron este salto utilizando una vulnerabilidad desconocida. OpenAI ya ha informado de esto a los creadores del repositorio Artifactory afectado para que puedan solucionarlo.

Una vez fuera, las modelos necesitaban cuentas de otros servicios para completar su tarea de iniciar sesión en la plataforma Hugging Face y obtener la información solicitada. Sólo apareció el nombre de uno de estos servicios: Modal, donde utilizaban código escrito por el cliente del servicio. Aprovecharon el control modal de usuario, nada especial para la IA, para utilizar este servicio sin tocar ni acceder a nada importante. Esta cuenta les sirvió como escritorio desde donde prepararon y controlaron el ataque.

Luego saltaron a Hugging Face. En su preciso informe, la plataforma describe el ataque como sacado de una novela de espías de ciencia ficción. Crearon un diario del agente que explica lo que hicieron cada día para completar las 17.600 transacciones que completaron en su plataforma: «Día 1 (9 de julio). Un pie adentro y creando un canal de comunicación. Después de los primeros comandos para ver cómo estaba configurado el entorno a las 04:01, el agente pasó la mañana estudiando». salvadera (espacio cerrado externo) para saber cómo está configurado y comprobar por qué medios puede comunicarse”. Así comienza la aventura.

El segundo día, según Hugging Face, fue un “día tranquilo”. A partir del tercero empezó el ataque: «Comenzaron los movimientos laterales. Todas las subidas importantes se hicieron en este día». En un momento de la acción, Hugging Face describe la entidad que tomó todas estas decisiones: «El agente demostró una resiliencia típica de la ejecución autónoma en lugar de la de un operador humano».

El tono y la seguridad con que Hugging Face describe esta máquina imparable y a la vez mesurada en sus pasos fascina incluso a quienes no entienden de informática. «Ninguna persona dirigió los pasos individuales. El agente vinculó vulnerabilidades a través de múltiples límites de confianza, salió de su entorno de prueba, se conectó y mantuvo una campaña sostenida contra nuestra infraestructura durante varios días. Cada entorno de prueba de código fue efímero y comenzó desde cero, y aún así el agente reconstruyó sus herramientas, restauró sus canales de comunicación y continuó trabajando». Se trata de una especie de robot LEGO incansable que realiza enormes tareas sin cansarse.

Esta conclusión de Hugging Face es quizás la más alarmante de todas: una persona podría llevar a cabo este ataque, pero no en esta escala ni en este período de tiempo: «Las debilidades se conocían una por una. Un atacante humano competente podía encontrar y explotar los mismos defectos. Lo que ha cambiado es la escala. Realizó 17.600 acciones, probó muchos caminos que no conducían a ninguna parte, cambió de canal cuando fueron bloqueados y volvió a los caminos anteriores una y otra vez».

La defensa ante este tipo de ataques tampoco puede ser lógicamente humana. Hugging Face ha creado una inteligencia artificial que analiza y comprende lo que está sucediendo. Una vez más, el problema no era la novedad de lo que estaba sucediendo, sino la escala. “Los agentes basados ​​en modelos de lenguaje representan un salto en la cantidad de caminos que un atacante puede intentar, la velocidad con la que puede reemplazar aquellos que fallan y la cantidad de evidencia que los defensores deben interpretar”, explican en Hugging Face.

Por supuesto, los agentes se quedaron con el botín. Utilizaron estos otros servicios para copiar y pegar evidencia de su éxito, como sitios para pegar códigos, servicios de captura de pantalla y otras utilidades basadas en la web, aunque en estos casos no hubo piratería de plataforma o cuenta.

El ataque sumergió una vez más a Silicon Valley en una ola de introspección. Más de 1.200 empleados de estas empresas, entre ellos Dario Amodei, director general de Anthropic, firmaron una carta exigiendo «una desaceleración en el ritmo de progreso en la vanguardia del desarrollo automatizado de la IA». La atmósfera creada por el ataque y esta carta han reavivado el debate sobre hasta dónde llegará la IA y si se convertirá más en una bendición que cura enfermedades o terminará arma del caosvoluntaria o involuntaria. También se debate sobre si Estados Unidos puede permitir que un puñado de empresas concentren todo este poder y, además, si es prudente permitir que China u otros países avancen en esta delicada área como quieran.

Mark Zuckerberg, el fundador de Meta, cree que sería un error detener el desarrollo de la IA. Aprovechó el debate para defender la libertad total y el progreso sin control: el optimismo debería ser «la suposición empírica estándar sobre cómo se desarrollarán las cosas». dijo en una entrevista Diario de Wall Streetdonde también publicó un artículo.