Nightshade, «veneno» para las IAs generativas de imágenes

Aunque de momento se encuentra en fase de proyecto, Nightshade apunta a ser una solución efectiva para un problema denunciado hasta la extenuación, de un tiempo a esta parte, por diseñadores, fotógrafos, pintores, etcétera. Hablo, como seguramente ya habrás imaginado, del uso no explícitamente autorizado por parte de los mismos para que sus creaciones sean empleadas en los procesos de entrenamiento de los modelos de inteligencia artificial generativa que tan vigentes están en estos tiempos.

Hace unas semanas, en la presentación de DALL-E 3, OpenAI confirmó que iba a emplear un modelo opt-out. ¿Qué quiere decir esto? Pues que por defecto se consideran autorizados para entrenar sus modelos con creaciones de terceros, pero que ofrecen a los mismos la posibilidad de solicitar que sus creaciones no sean empleadas para este fin. Obviamente esto es mejor que nada, pero lo ideal (aunque más complejo, claro) sería lo contrario, un modelo opt-in, en el que las tecnológicas solo emplearan datos que han sido explícitamente autorizados a usar.

Y esto en los modelos que, al menos, ofrecen esta posibilidad a los creadores, pues podemos dar por sentado que en algunos casos ni siquiera se contempla esta posibilidad. En estos casos, los creadores están expuestos a que la publicación de su obra, sea por el medio que sea, la convierta automática e irremisiblemente en objeto de ingesta por parte de algoritmos gestionados por personas con poco o nulo respeto por la propiedad intelectual. Y aquí es dónde entra Nightshade.

Imagen: MIT Technology Review

Diseñado por un equipo de la Universidad de Chicago, Nightshade permite «corromper» los archivos de imagen, de modo que visualmente no se vean afectados, pero que sí que engaña a los modelos, provocando interpretaciones erróneas de su contenido. De este modo, cuantas más imágenes «envenenadas» mediante Nightshade se empleen en el entrenamiento del modelo, más probable es que éste falle, posteriormente, cuando empiece a ser utilizado para crear nuevas imágenes.

En la actualidad, Nightshade se encuentra en proceso de revisión por pares y, de superar con éxito esta fase, esta tecnología se incluirá en Glaze, un desarrollo anterior creado por el mismo director del equipo y profesor de la Universidad de Chicago, Ben Zhao. Glaze emplea una técnica parecida, al realizar modificaciones en los archivos de imágenes que no son perceptibles a simple vista, pero que modifican sustancialmente lo que el modelo percibe al ser entrenado con dichas imágenes.

El éxito de Nightshade y Glaze dependerá, claro, de si es adoptado por la masa crítica de creadores, pues es necesario un número considerable de archivos «envenenados» para que está técnica incida lo suficiente en el funcionamiento del modelo.

Más información