La comprensión neural de texturas obra el milagro: reduce el consumo de VRAM de 6,5 GB a 970 MB

La compresión neural de texturas es una de las tecnologías que van a marcar el futuro del gaming. Ya os hablé sobre ella hace unos días, y tras la presentación que hizo NVIDIA en la GTC de este año queda claro que promete ser una auténtica revolución si cumple con las expectativas que está generando.

¿Por qué es una tecnología tan importante? Pues porque  la comprensión neural de texturas promete reducir el consumo de memoria gráfica entre un 80% y un 90%. En la demo que mostró NVIDIA, la reducción del consumo de memoria gráfica fue de un 85% en total dentro de una escena concreta.

La diferencia es espectacular, porque en este caso se redujo el consumo de memoria gráfica de 6,5 GB a 970 MB. Vamos a pensar, por un momento, en lo que esto supone para una tarjeta gráfica que tenga solo 8 GB de memoria gráfica, pasamos de tener ocupada la mayor parte de la VRAM a tener ocupado menos de 1 GB.

Cómo funciona la compresión neural de texturas

Alexey Bekin, ingeniero senior de desarrollo de tecnología en NVIDIA, explicó que el objetivo principal de esta tecnología es almacenar las texturas de una manera más eficiente, es decir, con un menor consumo de recursos.

Para conseguirlo, en vez de almacenar de forma directa cada textura en la memoria gráfica, que es el proceso tradicional, esta tecnología comprime la textura en un formato que podemos definir como una serie de características latentes compactas aprendidas que han captado su información visual esencial.

Podríamos decir que en realidad no tenemos una textura en sí, sino más bien la información que define cómo es esa textura. Cuando nos encontramos en tiempo de ejecución de la carga gráfica se recurre a una red neuronal ejecutada en la GPU, que es la encargada de recuperar los valores de esa textura a partir de esas características comprimidas.

Todo ese trabajo se realiza bajo demanda, lo que significa que los cálculos se producen en tiempo real, y que no se recurre a la carga de texturas grandes desde la memoria. La compresión neural de texturas no es un proceso de IA generativa, sino de IA determinista, lo que significa que siempre creará las texturas cuya información tiene comprimidas, no se «inventará» nuevas texturas.

Ese conjunto de características comprimidas es lo que se define como «textura latente». En ella, cada texel almacena un vector de características que describe las propiedades del material a nivel general, y no una serie de recursos o datos de color.

De esta manera se facilita la recuperación de la textura con un alto nivel de detalle, y se aplica además una codificación posicional de las coordenadas UV antes de su llegada al descodificador, lo que permite incluir datos espaciales de alta frecuencia. Todo esto evita la pérdida de detalles pequeños muy importantes para maximizar la calidad y nitidez de la textura.

La parte final del proceso implica además una comparación con la textura original que sirve de referencia, en el que se realiza un cálculo de la posible pérdida de detalle y se actualizan los pesos de la red neural MLP (Multi-Layer Perceptron) y el código latente hasta que el material de salida, la textura, se convierte en una reproducción precisa de la original.

Tres ventajas que ofrece la compresión neural de texturas

• Mayor tasa de compresión: esta tecnología permite almacenar una gran cantidad de datos de texturas sin que se dispare el consumo de memoria gráfica, lo que permite trabajar con una mayor cantidad de texturas incluso en tarjetas gráficas con poca VRAM.
• Compatibilidad con un gran número de canales: permite comprimir recursos complejos con muchos canales de material (normales, rugosidad, albedo, oclusión ambiental y más en un solo conjunto de materiales) de una manera más eficiente, y sin necesidad de dividir ni simplificar los datos utilizados.
• Reduce el consumo de almacenamiento y de ancho de banda: esta tecnología permite reducir la huella de almacenamiento de los juegos, haciendo que estos ocupen menos espacio en la unidad, agilizando su descarga y reduciendo el tamaño de sus parches.

En resumen, gracias a la comprensión neural de texturas tendremos juegos con texturas más complejas, ricas y de mayor calidad, pero al mismo tiempo estas consumirán menos memoria gráfica, y los juegos no necesitarán ocupar más espacio de almacenamiento.