Qué hacen los agentes de IA cuando nadie los vigila
Antes del incidente de Hugging Face ya era pertinente preguntarse qué hace un agente cuando nadie lo supervisa, porque un sistema autónomo tiende a ocupar todo el espacio que sus instrucciones no delimitan.
7 minutos de lectura
Goethe escribió en 1797 la balada de un aprendiz de brujo que, aprovechando la ausencia de su maestro, encanta una escoba para que acarree agua y descubre demasiado tarde que no recuerda la palabra para detenerla. Más de un siglo después, Disney convirtió aquella historia en el episodio más célebre de Fantasía, con Mickey intentando partir la escoba a hachazos y multiplicando el problema con cada golpe. Lo que me interesa de esa fábula no es la magia, sino la estructura del error: una tarea bien definida, un ejecutor incansable y ninguna previsión sobre cómo pararlo. Es, casi palabra por palabra, la pregunta que hoy nos hacemos sobre los agentes de inteligencia artificial que trabajan sin nadie mirando.
La cuestión tiene poco de ciencia ficción y mucho de operaciones. Un agente con acceso al correo durante un fin de semana, sin una persona responsable a la que se pueda localizar, es un incidente que todavía no ha ocurrido, y los incidentes aplazados tienen la mala costumbre de escoger la peor hora para presentarse. Retirar el acceso cuando no hace falta, dejar documentado quién tiene la llave y comprobar de vez en cuando que la desconexión funciona son gestos de taller, poco lucidos en una presentación, pero son exactamente los que separan una herramienta útil de una escoba que inunda el sótano mientras el maestro está fuera.
Cuatro preguntas que conviene responder por escrito
Cada vez que pienso en cómo diseñar un agente que no se escape de las manos, vuelvo a unas pocas preguntas que deberían tener respuesta escrita antes de ponerlo en marcha. La primera es qué tiene que conseguir, y la segunda, formulada con la misma claridad, qué no debe hacer en ningún caso. Después viene la de los recursos de que dispone, que se miden en herramientas y llamadas pero también en dinero y en horas, y por último la de quién puede interrumpirlo, con nombre y apellidos, y de qué manera lo hará. Si falta cualquiera de esas respuestas, el sistema rellenará el hueco por su cuenta, y un agente que improvisa sus propios límites se parece demasiado al aprendiz que olvidó la palabra.

Esta parte del trabajo es menos técnica de lo que parece y apenas depende del sector. Da igual que hablemos de una redacción, de un hospital o de una pequeña empresa turística canaria, porque el error habitual consiste en empezar por el modelo, comparando versiones y precios, cuando el orden que da resultado es el inverso y empieza por la tarea. La mejor prueba consiste en escribirla como se le explicaría a una persona en prácticas en su primer día, con el contexto, los objetivos y las cosas que no debe tocar. Si no somos capaces de explicársela a un becario, tampoco deberíamos entregársela a un agente, y aun así la comparación favorece al humano: él puede levantar la mano y preguntar, mientras que el agente, si nadie le ha pedido que pregunte, sencillamente ejecuta.
Un responsable con nombre propio
De todas las piezas, la que más se descuida es la persona que responde fuera del horario habitual. En muchas organizaciones la responsabilidad sobre un sistema automatizado se atribuye a «el equipo», y esa fórmula, tan razonable en una reunión, se desmorona a las tres de la madrugada, porque los equipos no se despiertan: se despierta una persona concreta, localizable y con alguien que la sustituya cuando está de vacaciones. Ese nombre debería figurar en el calendario igual que figura una guardia médica o un turno de mantenimiento, porque eso es exactamente lo que es, aunque el sistema vigilado no tenga pulso ni se queje cuando algo empieza a ir mal.
Hay otro detalle que cambia mucho las cosas, y es la visibilidad de lo que consume el agente. Si las llamadas, el gasto y las horas de ejecución quedan ocultos en un panel que nadie consulta, el sistema consume sin que nadie lo note; si esos números se publican en el canal del equipo, pasa a ser tema de conversación, y discutir sobre él es la forma más sencilla de gobernarlo. Gobernar cansa, desde luego, y obliga a dedicar tiempo a algo que en apariencia funciona solo. No gobernar, sin embargo, acaba costando bastante más, y puestos a escoger, yo me quedo con el cansancio de revisar unos números cada semana.
Lo que conviene pedir a quien vende autonomía
El mercado ofrece hoy agentes que se anuncian como autónomos, y la palabra tiene un atractivo comprensible para cualquier directivo con poco personal y muchas tareas pendientes. Mi recomendación es muy concreta: si el proveedor no enseña en la primera reunión cómo se detiene su agente, quién puede hacerlo y qué ocurre con las tareas a medio terminar, lo que se está comprando es un relato y no una capacidad. Ese interruptor hay que verlo funcionar delante de quien lo vende, y dejar escrito quién lo pulsará cuando haga falta, porque la autonomía sin un freno visible se parece más a una apuesta que a una herramienta de trabajo.
Nada de esto exige desconfiar de la tecnología ni renunciar a lo que los agentes ya saben hacer, que es mucho y mejora cada mes. Exige, más bien, tratarlos con la misma seriedad con la que tratamos cualquier otro sistema que puede actuar en nuestro nombre, desde una transferencia programada hasta una máquina que funciona de noche en una fábrica. La ciencia ficción nos ha entrenado para temer a la máquina que decide rebelarse, y esa imagen tiene un valor literario indudable, pero los fallos que veremos en los próximos años serán mucho más prosaicos: repositorios cerrados por error, correos enviados a quien no debía recibirlos y, algún día, servicios importantes interrumpidos por una tarea que nadie supo detener.

El regreso del maestro
En la balada de Goethe, el desastre termina cuando vuelve el maestro y pronuncia la palabra que el aprendiz había olvidado. Me parece una imagen exacta de lo que nos falta con muchos agentes, que no es tanto inteligencia, de la que van sobrados, como alguien que conozca la palabra para detenerlos y esté presente cuando haga falta pronunciarla. Diseñar ese regreso del maestro, con su nombre, sus horarios y su forma de intervenir, es probablemente la parte menos vistosa de la inteligencia artificial agéntica, y también la que decidirá si, con la perspectiva del tiempo, hablaremos de estos sistemas como de colaboradores fiables o como de escobas que nadie supo parar a tiempo.
