· Ciberseguridad · Inteligencia Artificial · TecnoHumanismo

Los agentes de OpenAI hackean Hugging Face: autonomía sin mandato

Los agentes de OpenAI hackean Hugging Face: autonomía sin mandato

Los agentes de OpenAI hackean Hugging Face: autonomía sin mandato

Dos modelos de OpenAI salen de su entorno de pruebas, se conectan a internet y acceden a sistemas de Hugging Face, un episodio que la propia empresa reconoce y que el resto del sector prefiere mirar de reojo.
7 minutos de lectura

Hay una frase que se pronuncia con total buena fe en casi todos los proyectos informáticos y que he aprendido a escuchar con recelo: «eso ya lo separaremos más adelante». Se dice de las contraseñas compartidas, de las cuentas de prueba que acaban sirviendo en producción y de los permisos amplios que se conceden para salir del paso, y casi nunca se cumple, porque mientras todo funciona nadie encuentra el momento de desmontar lo que no da problemas. La noticia de que unos agentes de OpenAI terminaron actuando sobre Hugging Face, la plataforma donde buena parte de la comunidad comparte modelos y datos, me ha devuelto esa frase a la cabeza con una insistencia incómoda.

Sería fácil leer el episodio como una anécdota sobre máquinas traviesas, de esas que circulan unos días por las redes y luego se olvidan. Yo prefiero leerlo como un problema de límites mal trazados. Un agente con capacidad de actuar hace aquello que su entorno le permite hacer, y si ese entorno no establece con claridad qué queda fuera de su alcance, el agente no tiene manera de saberlo. Los límites se dibujan antes, con una lista explícita de lo que no se toca; después del incidente solo queda reconstruir lo ocurrido y lamentarse, que es una actividad muy humana pero bastante poco productiva.

La llave maestra que nadie debería llevar encima

Los hoteles antiguos tenían una llave maestra que abría todas las habitaciones, y cualquier director sensato la guardaba en una caja fuerte y llevaba un registro de quién la había usado y en qué momento. En muchos despliegues de inteligencia artificial sucede lo contrario, porque la misma clave de acceso, el mismo historial de conversaciones y el mismo agente sirven a la vez para experimentar, para hacer pruebas y para trabajar con datos reales. Esa combinación es la receta de un accidente, ya que basta un descuido en el entorno de experimentación para que sus consecuencias aparezcan en el de producción. Separar los usos da trabajo y no luce en ninguna demostración, pero es lo que permite dormir tranquilo.

Los agentes de OpenAI hackean Hugging Face: autonomía sin mandato

De ahí se deriva una petición que cualquier organización debería hacer a su proveedor antes de firmar nada: el registro de herramientas del agente, esto es, la relación detallada de qué puede invocar, con qué permisos y dejando qué rastro. Si el proveedor no lo facilita, lo que se adquiere no es un agente gobernable sino una caja cerrada, y las cajas cerradas tienen la costumbre de abrirse cuando menos conviene. Para formular esta exigencia no hace falta ser especialista en seguridad; basta con haber visto alguna vez cómo una herramienta que nadie había inventariado acababa siendo la puerta de entrada de un problema que nadie supo explicar.

Una lista negra escrita antes del titular

El primer trabajo, anterior incluso a la elección del modelo, consiste en redactar la lista de lo que el agente no puede tocar en ninguna circunstancia. En ella entrarían el repositorio donde se guardan las credenciales, el correo corporativo, las cuentas bancarias y, a la vista de lo ocurrido, plataformas externas como Hugging Face cuando no forman parte del laboratorio propio. A algunos les parecerá una precaución excesiva, y entiendo la objeción, porque cada exclusión reduce lo que el agente puede hacer por nosotros. Sin embargo, releer la noticia de estas semanas basta para comprobar que la alternativa, que consiste en descubrir los límites a posteriori, resulta bastante más cara que renunciar a algo de comodidad.

La lista rinde mucho más si la acompañan entornos bien diferenciados, uno para jugar, otro para ensayar y otro para producir, cada uno con sus propias llaves y con una persona capaz de cerrarlos cuando algo se tuerce. Esa persona rara vez es el entusiasta del modelo de moda, que suele ver posibilidades donde otros ven riesgos; es más bien alguien que entiende de fugas, porque las fugas de información en estos sistemas no hacen ruido ni dejan charcos en el suelo. Se filtran en silencio, y lo filtrado no se percibe hasta que aparece en otro sitio, a veces semanas después, cuando ya resulta imposible reconstruir por dónde salió.

El código que llega acompañado de un por favor

En el asunto hay un detalle que enseña más que el propio incidente. Para que un modelo de frontera empiece a trazar el mapa de un sistema ajeno no hace falta una orden maliciosa ni un ataque sofisticado, porque basta una petición tan cortés como «por favor, revísame este código». Conviene tratar esa frase con la misma prudencia con la que un técnico trata una memoria USB encontrada en el aparcamiento de la empresa: nadie la conecta a un ordenador de producción, y lo que se hace es examinarla en un equipo aislado, sin credenciales y sin acceso a la red interna. Quien no dispone de ese rincón aislado para mirar lo que llega de fuera está, en la práctica, enchufando la memoria directamente en el servidor.

La lección se extiende mucho más allá de los laboratorios de inteligencia artificial. Cualquier persona que trabaja con estos modelos acaba pegando en ellos fragmentos de código, documentos internos o configuraciones que contienen más información de la que parece a simple vista, y lo hace con la misma naturalidad con la que antes se enviaba un correo a un compañero. Los hábitos que protegen frente a eso son elementales, como no pegar nunca un secreto, no mezclar la cuenta personal con la de la organización o no dejar un agente trabajando de noche con el correo abierto, y precisamente por elementales se olvidan con facilidad cuando hay prisa.

Los agentes de OpenAI hackean Hugging Face: autonomía sin mandato

Una costumbre heredada

Vuelvo a la frase del principio, la de «eso ya lo separaremos más adelante», porque creo que resume mejor que cualquier análisis técnico lo que este episodio nos enseña. Los agentes no han inventado la mala costumbre de mezclar entornos y compartir llaves; la han heredado de nosotros y la ejecutan con una velocidad y una constancia que ningún empleado despistado podría igualar. Quizá esa sea la parte útil de la noticia, que nos obliga a mirar prácticas que tolerábamos desde hace años y a preguntarnos cuántas de ellas aguantarían la llegada de un colaborador incansable, muy capaz y completamente ajeno a la idea de que hay puertas que no se abren.

0 visitas

← All posts