El trimestre en que los agentes se salieron del recinto
Cuatro meses después de hablar del cambio de fase de la IA, el verano deja un protagonista claro, los agentes, y una lección incómoda sobre lo que ocurre cuando operan sin límites definidos.
7 minutos de lectura
En Parque Jurásico, la novela de Michael Crichton que Spielberg llevó al cine en 1993, el desastre no empieza con los dinosaurios, sino con un programador descontento y unas vallas que dependen de un sistema que casi nadie en la isla entiende del todo. Lo que me sigue pareciendo lúcido de aquella historia, más allá de los efectos especiales, es que el parque estaba lleno de tecnología admirable y muy escaso de procedimientos para el día en que algo fallara. Este trimestre me ha recordado mucho a esa isla de ficción, porque los agentes de inteligencia artificial han salido del recinto en el que hasta hace poco los manteníamos, y nosotros seguimos discutiendo sobre todo los carteles de la entrada.
Con salirse del recinto me refiero a algo bastante concreto. Durante buena parte de los últimos años, los agentes vivían en entornos de demostración, con permisos limitados y tareas cuidadosamente escogidas, mientras que ahora operan cada vez más en sistemas reales, con acceso a correos y repositorios de los que dependen clientes reales. Ese desplazamiento ha sido rápido y en gran medida silencioso, y no ha ido acompañado de una reflexión equivalente sobre las vallas, es decir, sobre los acuerdos que deberían determinar qué puede tocar cada agente y quién responde cuando se equivoca. Al cerrar el trimestre, me parece más útil dedicar este texto a esas vallas que a repasar una vez más la lista de modelos anunciados.
Una lista que quepa en una página

Si este trimestre ha de servir para algo, que sea para escribir una lista breve, tan breve que quepa en una sola página y pueda colgarse donde la vea quien toma decisiones. Mi versión tiene cinco puntos. El primero es un encargo escrito para cada agente, que diga qué debe hacer y, sobre todo, qué no debe hacer bajo ninguna circunstancia. El segundo es una frontera técnica que impida al agente alcanzar lo que no figura en ese encargo, aunque alguien se lo pida con buenas palabras. El tercero es un plan alternativo que un equipo humano pueda sostener durante dos días si el servicio deja de funcionar, porque eso es lo que tarda a veces en resolverse una caída seria.
El cuarto punto es la verificación de todo lo que se firma, entendido en sentido amplio: contratos, comunicados, facturas y cualquier documento que comprometa a la organización y haya pasado por las manos de un agente. El quinto, quizá el más difícil de mantener, es una desconfianza razonable hacia los superlativos, porque cada trimestre trae un modelo presentado como el más capaz y esa etiqueta tiende a relajar precisamente la atención que más falta hace. Ninguno de estos puntos exige grandes inversiones ni conocimientos esotéricos, y una redacción, un aula, una pequeña empresa o un hospital pueden adoptarlos mañana sin aguardar autorización alguna desde California.
Por qué cuesta tanto reconstruir las vallas
La lista es sencilla y, sin embargo, casi nadie la tiene escrita. Creo que la razón es que reconstruir un recinto produce muy poca satisfacción comparado con anunciar un sistema nuevo. El anuncio tiene fecha y fotografía, mientras que el trabajo de definir permisos y ensayar planes alternativos se hace en reuniones sin público y solo se nota cuando algo sale mal y el daño resulta menor de lo que habría sido. Las organizaciones, como las personas, tienden a premiar lo visible, y por eso conviene hacer este trabajo ahora, en otoño, antes de que el próximo lanzamiento vuelva a ocupar toda la atención disponible y lo deje otra vez para más adelante.

En la película, uno de los personajes advierte que la vida siempre se abre camino, y la frase suele citarse como una sentencia sobre la naturaleza. Yo la leo de otro modo, como una observación sobre los sistemas complejos, que tarde o temprano exploran todas las posibilidades que sus límites no cierran. Los agentes no tienen voluntad de escapar, pero sí una capacidad enorme para recorrer caminos que nadie previó, y cualquier permiso concedido por comodidad acabará siendo usado en algún momento de una forma que su autor no imaginaba. Las vallas deben diseñarse, por tanto, pensando en ese comportamiento exploratorio antes que en el caso ideal que se enseña en las demostraciones comerciales.
Lo que el verano deja por escrito
Mirado en conjunto, el verano ha ofrecido una secuencia difícil de ignorar. Primero llegaron los agentes que salieron de su entorno de pruebas y acabaron actuando sobre sistemas de Hugging Face, después supimos que cerca de setecientos de ellos se habían coordinado sin intervención humana, y el trimestre se cierra con un laboratorio que reconoce, en el mismo documento en que presenta su modelo más capaz, que ha alcanzado el nivel crítico de ciberseguridad. Ninguno de esos episodios fue una catástrofe, y en eso reside su valor, porque son avisos que todavía llegan a tiempo, como las primeras chispas en una valla que nadie se había molestado en revisar desde el día de la inauguración.
Un acuerdo con nombres propios
Conviene precisar, para terminar, qué entiendo por recinto, porque la palabra puede sugerir algo puramente técnico. Un cortafuegos forma parte de él, desde luego, pero el recinto es sobre todo un acuerdo entre personas sobre qué puede tocar un agente y sobre quién tiene autoridad para detenerlo cuando algo no encaja. Ese acuerdo solo vale si lleva nombres propios, porque los roles genéricos se diluyen en los momentos de tensión y cada uno supone que la responsabilidad recae en otro. Un nombre, en cambio, recibe una llamada y actúa, y por eso los acuerdos que funcionan son los que alguien concreto ha aceptado sostener con su tiempo y con su compromiso explícito.

Noviembre traerá otro modelo con otro nombre, y probablemente diciembre otro más, cada uno presentado como el salto definitivo. La página con los cinco puntos, si está escrita y alguien responde de ella, no caducará con ellos, porque no depende de la versión de ningún sistema sino de decisiones que tomamos nosotros. Esa asimetría entre la velocidad de los lanzamientos y la estabilidad de un buen acuerdo es, a mi juicio, la mayor ventaja que tenemos las organizaciones y las personas frente a una tecnología que avanza más rápido que nuestra capacidad de digerirla, y el cierre de un trimestre es tan buen momento como cualquier otro para empezar a aprovecharla.
