Machine unlearning, el reto de hacer olvidar a la inteligencia artificial

Seguro que has escuchado/leído sobre machine learning en muchas ocasiones pero, ¿y sobre machine unlearning? Pues lo cierto es que este concepto resulta fundamental para el futuro de la inteligencia artificial, más concretamente de los modelos generativos, habida cuenta de los problemas que, de un tiempo a esta parte, se han identificado en los mismos. Problemas que, como resulta cada día más evidente, comprometen de manera muy seria su fiabilidad y, por lo tanto, sus opciones de futuro.

Ya hemos hablado en el pasado (y con total probabilidad seguiremos haciéndolo en el futuro) de los errores de las inteligencias artificiales. Por ejemplo, a finales del año pasado (cuando ChatGPT empezó a popularizarse) definimos tres tipos de errores: desconocimiento, fuentes erróneas y contenido irreal, que podemos relacionar directamente con las alucinaciones. Este tipo de comportamiento de los modelos generativos ya ha dado lugar a problemas como este.

En la actualidad, el principal método para corregir esos problemas consiste en reentrenar el modelo, ya sea añadiendo unos datos, eliminando otros y, claro, en cualquiera de los casos, revisando el algoritmo en busca y captura de posibles mejoras, así como de potenciales errores. Ahora bien, este proceso resulta tremendamente costoso (se calcula que, en la actulidad, entrenar un modelo con GPT-3 es de unos cuatro millones de dólares, y que debido a su creciente complejidad, en 2030 ese coste habrá ascendido hasta los 500 millones de dólares) y requiere de recursos de tiempo, personal y capacidad de proceso de datos. Así, tener que realizar reentrenamientos de manera constante resulta tremendamente ineficiente.

Es, frente a este problema, cuando nace el concepto de machine unlearning, que fue introducido por primera vez en 2007 por los investigadores Alexander Strehl y Joydeep Ghosh. Los investigadores propusieron el uso del desaprendizaje automático para mejorar la precisión de los clasificadores de aprendizaje automático. En su trabajo, demostraron que el desaprendizaje automático podía reducir el sesgo de los clasificadores y mejorar su precisión, incluso cuando los datos de entrenamiento eran limitados.

Hablamos, por lo tanto, de una técnica relativamente novedosa y que, por lo tanto, todavía tiene mucho margen de desarrollo, algo que se acrecienta por la eclosión de los modelos generativos que vivimos estos últimos años. Actualmente se emplean varias técnicas, como  el borrado de los datos de entrenamiento que se sabe que son erróneos o sesgados, o la modificación de los pesos de los mismos en el modelo, con el fin de reducir su papel en las respuestas generadas.

Recientemente, Google puso en marcha la primera edición de su desafío de machine unlearning, una competición que se inició a mitades de julio y que estará abierta hasta mitades de septiembre. Su objetivo es, frente a una misma tarea, comprobar la efectividad de los diversos métodos de desaprendizaje, así como el establecimiento de métricas que ayuden a identificar, de una manera estandarizada, la fiabilidad de los mismos.