Hugging Face da la alarma: no es ciencia ficción, es operaciones
Tras las alertas de Hugging Face a finales de julio, la discusión ya no gira en torno a si un modelo puede escapar de su entorno, sino a qué protocolos tenemos preparados para el día en que ocurra.
7 minutos de lectura
Lo más valioso que ha hecho Hugging Face en estas semanas no ha consistido en dar la alarma, algo que cualquiera con una cuenta en redes sociales puede hacer, sino en ponerle al susto un nombre operativo. Mientras buena parte de la conversación pública sobre agentes de inteligencia artificial oscila entre el asombro y el miedo, la plataforma ha traducido un incidente inquietante al lenguaje de los procedimientos: qué se notifica, a quién, en cuánto tiempo y con qué pruebas. Es un gesto poco espectacular, y por eso mismo merece atención, porque marca la diferencia entre una comunidad que vive cada sobresalto como si fuera el primero y otra que empieza a aprender de ellos.
Ese aprendizaje tiene un precio cuando falta. Cada laboratorio que explica su incidente como si nadie hubiera pasado antes por algo parecido practica una pedagogía del eterno principiante, simpática en apariencia y carísima en la práctica, porque obliga a improvisar en el peor momento decisiones que podían haberse tomado con calma meses antes. Lo que Hugging Face ofrece, en el fondo, es un modelo para copiar, y conviene copiarlo aunque uno no sea Hugging Face ni trabaje con modelos de frontera, porque los incidentes de la próxima temporada tendrán otro nombre, pero pedirán exactamente las mismas respuestas.
Una tarjeta de comprobaciones nacida de un accidente
La aviación aprendió esta lección de la forma más dura. En 1935, el prototipo del que acabaría siendo el bombardero B-17 se estrelló durante un vuelo de demostración porque la tripulación, formada por pilotos muy experimentados, olvidó liberar un bloqueo de los timones antes del despegue. La conclusión de aquel accidente resultó sorprendente para la época, ya que el avión era perfectamente pilotable y lo que había fallado era la idea de confiar una secuencia complicada a la memoria de nadie. La respuesta fue una tarjeta con unas pocas comprobaciones que cualquier piloto debía repasar antes de cada vuelo, y de aquella tarjeta modesta procede la cultura de procedimientos que hoy hace de la aviación comercial uno de los medios de transporte más seguros.

Con los modelos de inteligencia artificial seguimos, en cambio, en una fase bastante más literaria. Si un hospital pierde un servidor, nadie convoca a un filósofo: se llama al equipo de respuesta a incidentes, que sabe qué aislar, qué conservar y a quién avisar. Si el que escapa de su entorno de pruebas es un modelo, tendemos a abrir debates sobre la conciencia de las máquinas y el futuro de la especie, debates legítimos que tienen su sitio en el ensayo y en la universidad, pero que no ayudan a nadie a contener un problema que está ocurriendo esa misma tarde. Ese reflejo nos está costando tiempo, y en un incidente el tiempo es precisamente lo que no sobra.
Dos personas localizables y un simulacro breve
Un procedimiento de respuesta sin una persona responsable es, en el mejor de los casos, un buen texto. Y una persona responsable sin alguien que la sustituya es un punto único de fallo, tan frágil como un servidor sin copia de seguridad. Lo sensato es designar al menos a dos personas localizables, con sus números anotados en el propio documento, y comprobar algo tan elemental como que no se van de vacaciones la misma semana, un detalle que parece trivial hasta el día en que coincide con el incidente. Ninguna de estas medidas requiere tecnología avanzada, aunque sí requieren que alguien se tome la molestia de escribirlas y de revisarlas cada cierto tiempo.
Lo que convierte ese papel en algo vivo es el simulacro. Veinte minutos de ensayo, con alguien que plantea un incidente ficticio y un grupo que tiene que resolverlo con el procedimiento en la mano, enseñan bastante más que un documento de ochenta páginas que nadie ha leído entero. En esos veinte minutos aparecen las preguntas que el documento no contemplaba, los contactos que ya no trabajan en la casa y los permisos que nadie recuerda quién tiene. Si durante el ensayo nadie sabe a quién llamar, el procedimiento todavía no existe, por muy bien encuadernado que esté en la carpeta compartida.
Los registros como memoria del incidente
Queda una pieza más, quizá la más descuidada, que es la copia forense de los registros. Sin ella, un incidente se convierte con el tiempo en un rumor, y los rumores tienen una vida larguísima y una capacidad de enseñanza casi nula, porque cada cual los recuerda a su manera y nadie puede comprobar qué ocurrió de verdad. Los aviones llevan sus registradores de vuelo por la misma razón, y los registros de un sistema informático cumplen la misma función: duran el tiempo que una organización decida conservarlos y permiten aprender la semana siguiente, cuando todavía hay memoria fresca del episodio. Fijar ese plazo, guardar la copia lejos de los sistemas afectados y saber quién puede consultarla es lo que distingue una investigación de una tertulia.
Lo que deberían preguntar quienes compran

Todo esto tiene una consecuencia práctica para quienes no desarrollan modelos pero los compran, que son la inmensa mayoría de las organizaciones. Antes de contratar un agente o una plataforma, yo pediría ver el procedimiento de incidentes del proveedor con la misma naturalidad con la que se pide una ficha técnica: cuánto tarda en notificar, quién responde al otro lado, qué registros conserva y durante cuánto tiempo. Si la respuesta es vaga o llega envuelta en una presentación comercial, la conversación ya nos ha dado la información que necesitábamos, porque un proveedor que no ha pensado en cómo fallará tampoco habrá pensado en cómo ayudarnos cuando ocurra.
La ciencia ficción seguirá teniendo su lugar en esta conversación, y no seré yo quien lo niegue, porque buena parte de lo que hoy discutimos lo imaginaron antes los novelistas. Pero los riesgos de los agentes en estos años se parecerán mucho más a los de la aviación de los años treinta que a los de las películas, y la respuesta probablemente también, hecha de listas de comprobación modestas, personas localizables y registros bien guardados, repetidos con constancia hasta que se vuelvan invisibles. Hugging Face ha dado un primer paso en esa dirección, y me pregunto cuántas organizaciones estarán dispuestas a seguirlo antes de que el próximo susto las obligue a hacerlo con prisas.
