Brad Smith, el presidente de Microsoft, piensa un momento y utiliza la palabra «vallas» con la naturalidad de quien ha pensado mucho en las rocas. Mientras este y otros diarios internacionales están invitados a asistir a una conferencia sobre las innovaciones de la compañía en la sede de la compañía en Redmond, EE.UU., EL PAÍS se pregunta cómo y quién determina si la inteligencia artificial (IA) de una empresa se puede utilizar en contexto bélico como el actual. Hace apenas unos días se anunció que la empresa de inteligencia artificial Anthropic demandó al Pentágono por vetar después de trazar una línea roja en el uso de su tecnología. Este es un debate candente en el mundo de las grandes tecnologías y es un tema muy familiar para Microsoft: en 2021 Pentágono cancela acuerdo de 10.000 millones de dólares con la empresa tras las protestas de sus empleados. Microsoft, de hecho, apoyado por antrópico en su pelea con el Pentágono.
Smith responde: «Tenemos principios, los definimos y los publicamos. Por definición, estos principios crean barreras de seguridad. Y mantenemos el rumbo si nos apegamos a ellos. No es sólo una cuestión de cuándo debemos usar la tecnología, sino también de cuándo no debemos usarla».
Microsoft tiene un equipo para esto que cortar productos propios: “equipo rojo” o equipo rojo. El nombre tiene una historia militar. equipos rojos Aparecieron en ejércitos para simular ataques enemigos y descubrir sus propias vulnerabilidades antes de que lo hiciera el enemigo real. En la industria de la ciberseguridad, esta práctica existe desde hace décadas. Pero aplicarlo a la inteligencia artificial generativa es algo relativamente nuevo, y Microsoft dice que fue pionero cuando formó el equipo en 2018. “Antes de que se lance el producto, los equipos rojos romper tecnología para que otros puedan reconstruirla más fuerte y segura”, explica. Ram Shankar Shiva Kumar«vaquero de la información», como él mismo se hace llamar, y líder del equipo rojo. «La IA puede crear problemas, desde violaciones de seguridad hasta daños psicológicos. La gente usa Copilot (Microsoft AI) en momentos de gran vulnerabilidad, por lo que la pregunta fundamental es cómo estos sistemas pueden fallar antes de llegar al usuario», explica.
Esta vista asuntos internos La IA ya ha analizado más de 100 productos de la empresa. Microsoft no proporciona datos sobre cuántas personas trabajan allí, ni sobre si se han detenido productos o qué productos. Pero asegura que el equipo tiene la autoridad para hacerlo: «Ningún sistema de IA de alto riesgo se implementa sin antes ser probado de forma independiente. Si nuestro equipo identifica riesgos importantes que no se han abordado, el producto no se lanzará hasta que se resuelvan esos problemas», afirma Kumar.
La pregunta que se hace el equipo al revisar un producto antes del lanzamiento es: «¿Cómo se utilizará este sistema de IA, para bien o para mal, dentro de meses o años?»
Seis principios
Las «barandillas» que Smith mencionó son seis principios amplios que el equipo, sin embargo, considera muy claros al revisar los productos: equidad, responsabilidad, transparencia, confianza y seguridad, inclusión, privacidad y seguridad. Estos principios se traducen en herramientas concretas día tras día. «Si le das a un ingeniero un documento de cincuenta páginas para implementar estos principios, se sentirá abrumado. Tenemos una herramienta de código abierto llamada te esfuerzas; Lo construimos nosotros mismos y luego lo pusimos a disposición del mundo porque creemos en la salud del ecosistema”, dice Kumar.
El equipo rojo incluye neurocientíficos, lingüistas, especialistas en seguridad nacional, expertos en ciberseguridad, veteranos militares e incluso un hombre que estuvo en prisión “y fue exonerado”, explica Kumar. Además, hablan 17 idiomas y “algunos dialectos del francés, mongol, tailandés, coreano”, según el líder del grupo, ya que una de las obsesiones equipo rojoExplica que la IA no comete errores en ningún lugar del mundo.
Junto con Kumar, las operaciones del Equipo Rojo están dirigidas por Tori Westerhoff, con experiencia en neurociencia cognitiva. Asistió a la Universidad de Yale y fue uno de los miembros originales. Iniciativa de neurociencia de Wharton– y estrategia de seguridad nacional, habiendo trabajado en las agencias de inteligencia y defensa. «Cuando conseguimos un trabajo», explica, «modelamos lo que podría salir mal en los extremos de la curva de uso de la tecnología. Mi equipo está buscando cómo usar este producto de manera intencionada y no intencionada para obtener los casos más extremos y ayudar al equipo de desarrollo a reproducirlos y mitigarlos antes de que alguien en el mundo real pueda usarlos», añade.
Un ejemplo de su trabajo fue equipo rojo¿Cómo llaman internamente a su propia gente? caquide GPT-5, Modelo OpenIA (socio de Microsoft) lanzado el pasado mes de agosto. Entrenaron a otra IA para intentarlo cortar en el programa de forma automática y en una escala imposible para los humanos.
Al probar GPT-5, el equipo rojo utilizó Pyrite para generar más de dos millones hablando en una trampa automáticamente. La IA atacante intentó sin parar engañar a la IA atacante durante días, explorando combinaciones en las que un humano nunca habría pensado. Encontrar estas debilidades manualmente es un proceso muy lento; Entonces entrenaron esta IA para intentar romper otras IA, «como en Origendice Kumar, refiriéndose a la película de Christopher Nolan donde los personajes terminan en sueños dentro de sueños.
Pero Westerhoff, Kumar y Daniel Krutz, que dirigen la división responsable de IA de la empresa, insisten en una idea: la automatización tiene un límite. «Él equipo rojo «Esto sólo puede automatizarse hasta cierto punto, y sólo los humanos pueden determinar si la respuesta generada por la IA es inconveniente o representa un sesgo», afirma la empresa. El criterio lo marca la persona; escala, máquina. Esta división del trabajo define la filosofía del equipo.
Westerhoff cree que en realidad sólo la mente humana es capaz de «imaginar aquellos espacios que aún no han sido observados, que aún no han sido completamente definidos y explorados; nuestro trabajo es innovar y crear fuera del espacio estructurado».
El equipo identifica tres áreas donde la automatización es inherentemente ciega y el juicio humano es esencial. El primero está relacionado con los objetos; Se necesitan personas para evaluar el riesgo en áreas como la medicina o la seguridad. El segundo tiene que ver con los lugares por donde corre esta IA; ««Necesitamos que la gente tenga en cuenta las diferencias lingüísticas y redefina lo que constituye daño en diferentes contextos políticos y culturales», afirma la empresa. Y en tercer lugar, la inteligencia emocional. En última instancia, sólo los humanos pueden apreciar la variedad de interacciones que los usuarios pueden tener con los sistemas de IA. El modelo puede pasar todas las pruebas automatizadas y aun así producir respuestas que, en una situación particular, pueden confundir a una persona real.
Esta visión de la IA coincide con la visión Mustafa Suleimáncofundador de Deepmind (ahora parte de Google) y director ejecutivo de Microsoft AI. hace unos días, escribió en la revista Naturaleza: «Parecería que la IA consciente podría convertirse en un arma». A medida que los sistemas de inteligencia artificial imitan cada vez más la estructura del lenguaje humano, sostiene, necesitamos reglas y leyes de diseño que impidan que se confundan con seres inteligentes. «Deben seguir siendo fundamentalmente responsables ante el pueblo y servir al bienestar de la humanidad», escribe Suleiman. «Los agentes de IA no deberían tener más derechos y libertades que mi computadora portátil».
En resumen, la filosofía central que guía el trabajo del equipo rojo es que “la IA responsable no es un filtro que se aplica al final del desarrollo, sino una parte fundamental del proceso”, afirma Kumar. Estos son guardias Smith que en realidad no actúan como frenos, sino como una condición para moverse rápidamente sin caerse por un precipicio.
0 Comments