Noticias
PS4 logra mover un modelo de IA de 9.000 millones de parámetros… a 43 tokens por segundo
Para muchos PS4 es una consola obsoleta, para otros es un sistema que todavía sigue dando muchas alegrías, y que gracias al jailbroken sigue dando mucho juego. El jailbroken permite liberar una consola de las limitaciones impuestas por el sistema operativo base que trae, y marca una diferencia enorme porque abre todo un mundo de posibilidades.
PS4 es uno de los mejores ejemplos en este sentido, porque la veterana consola de Sony ha sido capaz de ejecutar, gracias al jailbroken y a la personalización, un modelo de IA de 9.000 millones de parámetros, y lo mejor de todo es que lo ha hecho a un ritmo de 43 tokens por segundo. Impresionante para una consola que fue lanzada a finales de 2013.
¿Cómo ha sido esto posible? Con Garlic LLM, una aplicación gratuita de código abierto que permite ejecutar el modelo Qwen3.5 de 9.000 millones de parámetros de forma totalmente offline. Sé lo que estás pensando, que PS4 tiene un hardware demasiado modesto para mover ese modelo, ya que cuenta con una CPU Jaguar, 8 GB de memoria GDDR5 unificada y monta una GPU Radeon con 1.152 shaders (GCN 2.0).
No te falta razón, a nivel de hardware PS4 no habría sido capaz de mover ese modelo de manera normal, pero la optimización obra milagros. En este caso, el modelo con pesos en FP16 ocuparía unos 18 GB de memoria, pero Garlic LLM recurre a cuantización mixta de 3 y 4 bits, lo que permite reducir el peso de modelo a 4,5 GB de memoria.
Esa cifra queda justo en el límite de memoria que PS4 tiene libre (unos 5 GB) tras descontar lo que ocupan las aplicaciones y el sistema operativo, lo que significa que puede ejecutar el modelo sin ningún tipo de sacrificio en este sentido, ya que queda suficiente memoria libre para el resto de elementos del sistema, incluyendo los búferes de inferencia.
El modelo cabe en la memoria de la consola, ¿pero cómo se ha conseguido ese nivel tan bueno de rendimiento? Pues mediante la creación de kernels de computación personalizados para la arquitectura GCN de PS4, y utilizando búferes de comandos PM4 de bajo nivel que envían las cargas de trabajo directamente al núcleo gráfico de la consola. Garlic LLM también utiliza descodificación especulativa y predicción multitoken para acelerar la generación de texto, lo que ayuda a mejorar el rendimiento.
El rendimiento varía en función de lo que hagamos con el modelo, y puede caer a 22 tokens por segundo en generación de texto a voz, pero sigue siendo perfectamente utilizable. También funciona con una PS4 Pro, aunque en este caso gracias a la mayor potencia de esta consola el rendimiento pico es de 56 tokens por segundo. Para instalar Garlic LLM necesitaremos entre 6 GB y 12 GB de espacio libre, dependiendo del método de instalación.
-
GuíasHace 5 díasDiez errores frecuentes al montar un PC que debes evitar
-
NoticiasHace 7 días10 portátiles en oferta de la campaña del Black Friday 2026
-
A FondoHace 7 díasZen 6 y Zen 6c de AMD a fondo: núcleos, configuración, rendimiento y comparativa frente a Zen 5 y Zen 5c
-
NoticiasHace 6 díasGemini 4 Carbon, la mejor IA de Google, cuesta 99,99 euros al mes


