NVIDIA actualiza ChatRTX con nuevos LLM y más funciones

Esta semana tenemos a ChatRTX como el gran protagonista de AI Decoded, la serie semanal que NVDIA está dedicando a explicar «en humano» en qué consiste la inteligencia artificial a partir de la gran cantidad de desarrollos de la compañía en este campo. Esta serie de publicaciones resulta especialmente recomendable para cualquier persona interesada en la IA, independientemente de su nivel de conocimiento sobre esta tecnología, pues va de aspectos generales, como en la entrega dedicada a los LLM, a implementaciones específicas, como podemos ver en el caso de Instant NeRF.

Si no lo conoces, ChatRTX nos permite hacer uso de un chatbot en local, es decir, sin necesidad de tener que recurrir a un servicio online. Para tal fin se apoya en las prestaciones específicas en lo referido a la inteligencia artificial de las arquitecturas Ampere y Ada (RTX 30 y RTX 40 en lo referido al mercado doméstico). A estas alturas ya no es necesario entrar a detallar las ventajas que proporciona la ejecución de un chatbot en local, pero si quieres más información tanto sobre ChatRTX como sobre dichas ventajas, te recomiendo el artículo en profundidad que le dedicamos cuando se publicó su primera versión, en febrero.

Pues, como indicaba al principio, la publicación de esta semana de AI Decoded resultará especialmente interesantes para quienes ya han probado dicha versión, pues nos informa de que NVIDIA ha actualizado ChatRTX, sumando más LLM y nuevas funciones que, sin duda, hacen que su utilidad suba muchos puntos con respecto a la versión anterior. Antes de ver dichas novedades, recordemos que en su versión inicial permite emplear los LLM Llama2 13B INT4 y también con Mistral 7B INT4, y que además podemos «reentrenarlo» con un vídeo de YouTube a nuestra elección para, posteriormente, pedirle información sobre el contenido del mismos.

La primera de las novedades es que, a dichos dos modelos, se suman dos nuevos LLM, Gemma, que es la versión abierta y publicada por Google de Gemini, y ChatGLM3, un LLM abierto y bilingüe (inglés y chino), lo que amplía (multiplica por dos, de hecho) las opciones para encontrar la respuesta que mejor se adecúe a lo que estamos buscando, ya que a un mismo prompt, diversos LLM pueden proporcionar respuestas muy distintas entre sí.

Una función especialmente interesante de ChatRTX es, como he mencionado anteriormente, la de sumar al entrenamiento previo del modelo un vídeo de nuestra elección, adaptando de este modo la respuesta a un contexto concreto. Y ahora, con esta nueva versión, también podremos reentrenar el modelo sumando al mismo nuestras imágenes y fotografías. Y no, no será necesario que éstas estén etiquetadas, pues la aplicación ya cuenta con un preentrenamiento contrastivo de lenguaje-imagen (CLIP) con tecnología de OpenAI.

No nos alejamos de los creadores de ChatGPT para reseñar la tercera novedad de ChatRTX, y es que esta nueva versión también emplea la solución tecnológica Whisper, un sistema de reconocimiento automático del habla basado en inteligencia artificial que, como ya habrás deducido, nos permite interactuar con el chatbot mediante voz, en vez de tener que recurrir siempre a los prompts de texto. Esto supone un gran avance en lo referido a la usabilidad, pero crece hasta la calificación de excepcional si hablamos de accesibilidad.

ChatRTX es una aplicación totalmente gratuita, que requiere de un adaptador gráfico RTX 30 o 40 (incluidas las versiones Mobile) con al menos 8 gigabytes de VRAM, 16 gigabytes de RAM en el sistema y no menos de 100 gigabytes de espacio libre en la unidad de almacenamiento. Si tu equipo cumple con estos requisitos, puedes descargarlo desde su página web.