Meta presenta Llama 3, la nueva generación de su LLM

La guerra de los LLM suma un nuevo movimiento con la presentación de Llama 3, la segunda gran evolución del modelo de lenguaje de Meta, que además va a jugar un papel clave en algunos de los servicios de la tecnológica, ya que será el modelo empleado para la integración de funciones de inteligencia artificial en los mismos. A este respecto, no obstante, tendremos que esperar para comprobar el ritmo de despliegue de las mismas, especialmente en la Unión Europea.

De manera inicial, para su lanzamiento, Meta ha anunciado dos versiones de Llama 3, la versión 8B (8.000 millones de parámetros) y la versión 70B (70.000 millones de parámetros), aunque la compañía ya ha adelntado la futura llegada de una versión mucho más potente, la 400B, que como ya habrás deducido suma 400.000 millones de parámetros. Como ya contamos en nuestro tutorial sobre LM Studio, recordad que un parámetro es el equivalente, en una red neuronal, a una conexión neuronal. Por lo tanto, con el futuro modelo 400B, hablamos de una densidad increíblemente alta.

No son estos los únicos planes de futuro que plantea Meta con respecto a Llama 3, pues según leemos en el comunicado oficial, también tienen planes para otras mejoras, como la adición de nuevas funciones, ventanas de contexto de mayor tamaño, mejoras en el rendimiento y más. Y aquí me parece especialmente interesante lo referido a la ventana de contexto, pues recordemos que, con Gemini 1.5, Google ha logrado extenderla hasta un milón de tokens, y que además afirmaron que en sus pruebas llegaron a los diez millones de tokens.

Para el entrenamiento de Llama 3, Meta afirma haber empleado la friolera de más de 15 billones de tokens (15T), todos de fuentes públicas según la compañía, de los que algo más de 5% no estaban en inglés. Con respecto a los mismos, leemos que son datos de alta calidad que abarcan algo más de 30 idiomas, por lo que se espera que sus respuestas en los mismos sean correctas, aunque muy probablemente no tanto con en las operaciones en inglés. Por poner un poco de contexto, recordemos que el LLM anunciado por el Gobierno de España, va a ser entrenado con entre un 20% y un 25% de datos en castellano y otras lenguas cooficiales del estado.

Con respecto a su disponibilidad, Meta ha afirmado que Llama 3 llegará en breve (sin una fecha concreta) a múltiples entornos, desde plataformas cloud profesionales hasta repositorios como Hugging Face, y que además también contará con una versión web, meta.ai, con la que los usuarios de los servicios de la compañía en determinados países (entre los que, por ahora, no se encuentra el nuestro), podrán emplearlo de un modo similar al que los usuarios de Copilot emplean GPT-4.