ChatGPT marcará sus textos en la UE con textGrain

Durante años hemos intentado averiguar si un texto procede de una inteligencia artificial observando cómo está escrito, buscando patrones, repeticiones o elecciones de palabras supuestamente características. Los resultados nunca han sido especialmente fiables y la propia OpenAI terminó retirando en 2023 su primer detector público. Ahora ChatGPT va a seguir un camino bastante diferente en Europa: en lugar de intentar reconocer después un texto generado por IA, dejará una señal invisible mientras lo está creando.

OpenAI empezará a incorporar durante las próximas semanas una marca de agua invisible en los textos elegibles generados por ChatGPT y Codex en la Unión Europea, y lo hará en todos los planes compatibles. Los clientes de la API podrán activar voluntariamente el mismo sistema en determinados modelos desde cualquier región, aunque permanecerá desactivado por defecto. La medida responde a las obligaciones de transparencia de la AI Act europea, que exige que determinados contenidos generados mediante IA puedan identificarse de forma legible por máquinas.

La tecnología utilizada recibe el nombre de textGrain, y no funciona introduciendo caracteres ocultos, espacios invisibles o algún pequeño código escondido entre las palabras. Lo que hace es modificar ligeramente las probabilidades con las que el modelo selecciona palabras o fragmentos de palabra durante la generación. Esas pequeñas decisiones van formando un patrón estadístico que, acumulado a lo largo del texto, puede ser reconocido posteriormente por un detector que conozca la señal. Copiar y pegar el contenido, por tanto, no elimina por sí mismo la marca.

En condiciones favorables, textGrain puede funcionar bastante bien, aunque está lejos de ofrecer una identificación infalible. Con una tasa objetivo de falsos positivos del 1%, OpenAI consiguió detectar aproximadamente el 80% de las marcas en textos de 200 tokens y alrededor del 95% en textos de 400 tokens en contenidos con suficiente libertad de redacción. El rendimiento cae considerablemente en ámbitos como las matemáticas, el código o las respuestas muy condicionadas, donde el modelo dispone de menos alternativas a la hora de elegir cómo expresarse.

La edición también puede deteriorar rápidamente esa señal. En una prueba con textos de 400 tokens, sustituir el 10% de las palabras por sinónimos redujo la tasa de detección aproximadamente del 92% al 66%, mientras que modificar un 25% la hizo caer hasta el 17%. Parafrasear de manera intensa, traducir o reescribir el contenido puede debilitar igualmente la marca hasta volverla indetectable. Así que textGrain puede ayudar a reconocer un texto generado directamente por ChatGPT, pero no convierte cada respuesta en una firma permanente imposible de eliminar.

Hay otro matiz todavía más importante: encontrar la marca tampoco demuestra que “ese texto lo ha escrito una IA” en el sentido habitual de la expresión. OpenAI insiste en que textGrain no permite medir cuánto trabajo humano existe detrás, no identifica al usuario, la organización, la cuenta o el prompt, no determina quién posee el texto ni establece responsabilidad legal. Tampoco certifica que el contenido sea verdadero. Detectar la señal indica que un sistema de OpenAI probablemente generó o procesó parte del pasaje, nada más. Y, en sentido contrario, no encontrarla tampoco demuestra que el texto sea humano.

Precisamente por esas limitaciones, OpenAI no abrirá inicialmente el detector a cualquier usuario. El acceso comenzará restringido a investigadores y organizaciones expertas aprobadas, que podrán utilizarlo para evaluar la fiabilidad del sistema y ayudar a mejorar la tecnología. La herramienta informará de si detecta una marca de OpenAI, pero no revelará quién generó el contenido ni permitirá acceder a prompts o conversaciones. La compañía considera que los falsos positivos y negativos hacen todavía demasiado arriesgado ofrecer públicamente un veredicto que pueda interpretarse como prueba definitiva de autoría.

OpenAI ya intentó hace años responder a la pregunta de si un texto había sido escrito por ChatGPT examinándolo desde fuera. Ahora quiere dejar una huella mientras se genera, un enfoque técnicamente mucho más interesante pero que tampoco resuelve por completo el problema. textGrain no pretende decidir si un texto es humano o artificial, sino aportar una señal adicional sobre su procedencia. Y probablemente esa distinción sea cada vez más importante: en un escenario donde una persona puede escribir, pedir a una IA que revise, volver a editar y traducir después el resultado, la frontera entre autoría humana y artificial difícilmente puede reducirse a un simple sí o no.

Más información