· Inteligencia Artificial · TecnoHumanismo

Cuando el modelo más inteligente no gana el índice

Cuando el modelo más inteligente no gana el índice

Cuando el modelo más inteligente no gana el índice

Fable 5.1 encabeza el Intelligence Index mientras Astra domina la conversación pública, y la distancia entre ambos datos demuestra que saber leer una tabla comparativa se ha vuelto una competencia ciudadana.
7 minutos de lectura

En septiembre de 2015 supimos que millones de coches diésel de uno de los mayores fabricantes del mundo estaban programados para comportarse de una manera en el banco de pruebas y de otra muy distinta en la carretera. El software detectaba que estaba siendo examinado y ajustaba las emisiones para aprobar, de modo que las cifras oficiales eran ciertas y, al mismo tiempo, no decían nada útil sobre lo que respiraba la gente en las ciudades. Aquel escándalo dejó una lección que va mucho más allá de la industria del automóvil, según la cual una medición puede ser exacta y engañosa a la vez, y la diferencia entre ambas cosas suele estar en las condiciones del examen.

Aquel caso volvió a mi memoria con los titulares de estos días sobre un índice en el que el modelo considerado más inteligente no aparece en primer lugar. No sugiero ningún fraude; lo que quiero señalar es algo más común y menos escandaloso. Los índices de inteligencia artificial resumen en una cifra el comportamiento de sistemas enormemente complejos en un conjunto limitado de tareas, y esa cifra depende de decisiones metodológicas que el titular casi nunca menciona. Que el modelo que muchos consideran superior quede por detrás no prueba que sea peor, ni lo contrario, y la reacción habitual de salvar la noticia con un superlativo nuevo esconde justo lo que convendría mirar con detenimiento.

Lo que le ocurre a una medida convertida en meta

Cuando el modelo más inteligente no gana el índice

Los economistas conocen este fenómeno como ley de Goodhart, formulada a partir de las observaciones de Charles Goodhart sobre la política monetaria británica y popularizada después en una versión breve: cuando una medida se convierte en objetivo, deja de ser una buena medida. Los laboratorios saben que los índices influyen en su reputación y en su financiación, y es natural que orienten parte de su trabajo a obtener buenos resultados en ellos. No hace falta mala fe para que esa presión distorsione lo que se mide, porque basta con que los equipos, de manera perfectamente legítima, optimicen aquello por lo que van a ser juzgados, y con el tiempo el examen y la capacidad real empiezan a separarse sin que nadie lo haya decidido.

Por eso, antes de repetir cualquier titular sobre índices, yo me haría al menos cuatro preguntas. La primera es quién ha financiado la medición, porque una evaluación independiente tiene un peso muy distinto del de otra preparada por alguien con interés en el resultado. La segunda tiene que ver con las herramientas, ya que un modelo que puede consultar internet o ejecutar código durante el examen está haciendo una prueba distinta de otro que responde solo con lo que sabe. La tercera es el idioma, porque la mayoría de los índices se construyen en inglés y un buen resultado en esa lengua no garantiza el mismo rendimiento en castellano. La cuarta, a la que dedico el siguiente apartado, es la duración de las tareas evaluadas.

Las tareas lentas que casi nadie mide

Muchos índices se componen de problemas que se resuelven en segundos o minutos, como una pregunta de conocimiento o un ejercicio de programación acotado. Son útiles para comparar, pero se parecen poco al trabajo real de una organización, que consiste en tareas largas con información incompleta, en las que los objetivos cambian a mitad de camino y los errores solo se descubren días después. Un modelo puede brillar en una carrera corta y desfondarse en un trabajo de semanas, igual que un velocista no está necesariamente preparado para correr un maratón. Quien vaya a confiar a un sistema la preparación de un expediente complejo o el mantenimiento de un programa grande necesita saber cómo se comporta en ese terreno, y la tabla general rara vez se lo dice.

Cuando el modelo más inteligente no gana el índice

Las decisiones que se apoyan en estos índices tienen consecuencias largas. Una empresa puede comprometerse durante varios años con un proveedor tras una reunión en la que alguien proyectó una tabla y señaló la primera fila, y esa firma, que se tarda un minuto en estampar, condiciona después el trabajo de cientos de personas. Si nadie se ha detenido a leer la letra pequeña de la tabla, la organización ha comprado un adjetivo en lugar de una capacidad, y descubrirá la diferencia cuando el sistema se enfrente a sus problemas reales, que no estaban en el examen ni se parecían a lo que allí se medía.

Leer la fila en voz alta

La costumbre que sugiero tiene algo de teatral, y su eficacia nace justamente de esa pequeña puesta en escena. Consiste en que, en cualquier reunión donde se cite un índice para justificar una decisión, alguien lea en voz alta la fila completa de la tabla, incluyendo qué se midió, en qué condiciones, quién lo hizo y qué otros resultados obtuvo el mismo modelo en pruebas cercanas. La primera vez produce cierta incomodidad, porque rompe el ritmo de una presentación que avanzaba hacia la conclusión y obliga a admitir lo que no se sabe. Con el tiempo se convierte en un hábito saludable que retrasa el superlativo lo suficiente como para que la decisión se tome con datos y no con impresiones.

Retrasar un superlativo parece un gesto pequeño, y sin embargo tiene algo de cívico. Los titulares sobre el modelo más inteligente viajan mucho más rápido que las fichas técnicas que los matizan, y cada persona que se detiene a leer esas fichas antes de repetir el titular contribuye a que la conversación pública sobre inteligencia artificial sea un poco menos crédula. No hace falta ser especialista para hacerlo, basta con la disposición a preguntar qué hay detrás de una cifra y a esperar la respuesta antes de opinar. Esa disposición, que cualquier buen periodista reconoce como propia de su trabajo, debería formar parte también de la cultura de cualquier equipo que compra tecnología.

La inteligencia que se demuestra fuera del examen

Cuando el modelo más inteligente no gana el índice

El escándalo de los motores diésel aceleró el cambio de los ciclos de homologación para acercarlos a la conducción real, y es probable que los índices de inteligencia artificial sigan un camino parecido a medida que maduren. Mientras tanto, me parece razonable mantener cierta distancia ante cualquier clasificación que pretenda resumir en un número quién es el más listo. La inteligencia que de verdad importa en una organización se demuestra en tareas concretas, con plazos y consecuencias, y ninguna tabla genérica puede sustituir la experiencia de probar un modelo con los problemas propios, en el idioma propio y durante el tiempo suficiente como para ver también sus días malos.

0 visitas

← All posts