Clasificadores que molestan: cuando la salvaguarda se siente como un error
Los clasificadores de seguridad bloquean a veces peticiones legítimas y generan frustración, pero antes de pedir que desaparezcan conviene entender qué riesgos reales intentan contener.
7 minutos de lectura
En muchas cocinas hay un detector de humo que alguien ha desenroscado y dejado sobre un estante, con la pila fuera, porque saltaba cada vez que se doraba el pan o se pasaba un poco la cebolla. La escena es tan doméstica que apenas llama la atención, y sin embargo condensa un dilema que la ingeniería de seguridad conoce desde siempre: un sistema que avisa demasiado acaba siendo desactivado por quienes debía proteger, y el día que hay fuego de verdad ya no queda nadie escuchando. He pensado bastante en ese aparato mudo durante las últimas semanas, a propósito de los clasificadores de seguridad de los modelos de inteligencia artificial.
Los clasificadores son los filtros que deciden, antes o después de que el modelo responda, si una petición o una respuesta cruzan alguna línea que el proveedor ha considerado peligrosa. En los productos de empresas como OpenAI forman parte del funcionamiento normal, y con ellos llega la queja de usuarios y organizaciones que se encuentran con negativas en tareas que consideran perfectamente legítimas. La sensación se parece a la del detector que salta con la tostada, porque la salvaguarda se vive como un fallo del producto que estorba el trabajo, y la tentación de quitarle la pila aparece enseguida, a veces con argumentos razonables y otras con simple impaciencia.
Molestia, error y adorno

Antes de decidir qué hacer con un filtro que incomoda, conviene separar situaciones que en la conversación cotidiana se confunden. Hay negativas que molestan pero tienen sentido, porque la petición rozaba un terreno donde el daño posible es serio, y esas negativas merecen discusión antes que supresión. Hay otras que son simplemente errores, bloqueos de algo inocuo por una coincidencia de palabras, y esos se corrigen informando al proveedor y ajustando el uso. Existe además una categoría más difícil de ver, la del filtro que nunca molesta a nadie porque en realidad no detiene nada, y que está ahí como adorno para tranquilizar conciencias.
De todas ellas, la última me preocupa más que las otras juntas. Un clasificador que no incomoda jamás debería despertar las mismas sospechas que un detector de humo que lleva diez años en silencio y que quizá no haya tenido pila nunca. La molestia, dentro de ciertos márgenes, es la prueba de que el sistema está mirando, y quien mide la calidad de una salvaguarda por el número de quejas que genera se equivoca de vara, como si la mejor fuera la que pasa inadvertida para todo el mundo y no la que interviene en el momento oportuno.
Lo que se pierde cuando se pide velocidad
La petición de retirar salvaguardas suele llegar envuelta en el lenguaje de la eficiencia. Alguien comprueba que los filtros ralentizan un proceso o que generan fricción con los clientes, y propone relajarlos para ir más rápido. Yo no descartaría nunca esa conversación, pero pediría que viniera acompañada de un documento que explique qué puede salir mal si el filtro desaparece y quién respondería en ese caso. Si nadie está dispuesto a escribir ese documento, la velocidad que se reclama se parece mucho a un capricho, y los caprichos no deberían decidir la arquitectura de seguridad de ninguna organización.
Hay ámbitos donde esta cautela es especialmente obligada. En la salud, en todo lo que toca a menores y en la gestión del dinero, el enfado de un usuario frustrado cuesta poco y se olvida pronto, mientras que el daño de una respuesta que no debió darse puede ser grave y duradero. Es fácil olvidarlo cuando la presión aprieta al final de la semana, con un comercial prometiendo agilidad a un cliente impaciente y nadie con tiempo para pensar en las consecuencias. En esos sectores el porcentaje de usuarios molestos no es una métrica de éxito o fracaso, sino una variable entre varias que hay que leer con mucho cuidado.

Una negativa que se explica en una frase
Buena parte del malestar con los clasificadores procede menos de la negativa en sí que de su opacidad. Un sistema que responde que no puede ayudar, sin más, deja al usuario sin saber si ha tocado un límite razonable o ha tropezado con un fallo, y le enseña sobre todo a buscar la manera de rodear el obstáculo reformulando la petición hasta que pase. Una negativa acompañada de una frase humana que explique el motivo produce el efecto contrario, porque invita a discutir el criterio en lugar de burlarlo, y la discusión abierta es la forma más sana de convivir con una norma que no siempre nos gusta.
Lo que una organización tiene derecho a pedir a su proveedor son negativas que se expliquen en una frase comprensible. Si el proveedor no puede ofrecerlo, el clasificador se convierte en un muro, y la experiencia con los muros es bastante clara, porque la gente aprende a rodearlos con una rapidez sorprendente. Las explicaciones, en cambio, se atienden aunque molesten, y con el tiempo permiten que los usuarios entiendan dónde están los límites y por qué existen, lo que reduce tanto los intentos de esquivarlos como la sensación de arbitrariedad que tanto irrita a quien solo intentaba trabajar.
El enfado que se puede explicar

Mi propuesta, si una organización me preguntara, sería aceptar de antemano un cierto nivel de enfado, medirlo con regularidad y no convertirlo en la única brújula para decidir. Medirlo permite detectar los errores reales, las negativas absurdas que conviene comunicar al proveedor, y separar ese ruido de las molestias legítimas que forman parte del precio de la protección. Usarlo como guía exclusiva, en cambio, empuja siempre en la misma dirección, hacia filtros más laxos y usuarios más contentos, hasta el día en que aparece el caso grave que nadie quería imaginar y que el filtro desactivado ya no puede detener.
Vuelvo al detector de la cocina, cuyo problema tiene soluciones conocidas y poco espectaculares, como alejarlo de la tostadora o sustituirlo por un modelo que distinga mejor el vapor del humo. Ninguna de esas medidas consiste en quitarle la pila, y ambas exigen un poco más de atención que el gesto rápido de desenroscarlo. Con los clasificadores me parece que ocurre lo mismo, y yo prefiero el enfado que puedo explicar a los demás, porque sé qué protege, antes que el silencio de un muro opaco o la falsa calma de un filtro que nunca suena. Queda por ver si sabremos tener esa paciencia cuando la prisa apriete de verdad.
