TurboQuant: La compresión revolucionaria de caché que acelera los modelos de IA sin sacrificar calidad

Un desarrollo técnico promete transformar la forma en que se ejecutan modelos de lenguaje grandes en dispositivos locales. TurboQuant, una técnica de compresión de caché clave-valor basada en investigación de Google, ha sido implementada con éxito en MLX, el framework de Apple para aprendizaje automático, logrando resultados que desafían las expectativas de rendimiento. La implementación, realizada mediante kernels personalizados en Metal (el lenguaje de sombreado de Apple), consigue una compresión de 4,6 veces en la memoria caché de los transformers, manteniendo una velocidad equivalente al 98% del rendimiento en precisión FP16. En términos prácticos, esto significa que un modelo como Qwen2.5-32B puede reducir su caché de contexto de 4,2 gigabytes a apenas 897 megabytes en operaciones de 16.000 tokens, sin degradación perceptible en la calidad de las respuestas. El desafío técnico principal radicaba en la velocidad. La versión inicial del código alcanzaba apenas el 28% de la velocidad de referencia FP16, un rendimiento insuficiente para aplicaciones prácticas. A través de la optimización de kernels fusionados para cuantificación y desquantificación, junto con un buffer de decodificación incremental, los desarrolladores lograron mejorar este dato hasta el 98%, haciendo la solución viable para uso en producción. Esta mejora es significativa en el contexto actual de la IA local. Mientras las empresas tecnológicas compiten por ejecutar modelos cada vez más grandes en dispositivos personales, la gestión eficiente de memoria se convierte en un cuello de botella crítico. El caché KV—que almacena claves y valores de atención para acelerar la generación de tokens—consume recursos de forma proporcional a la longitud del contexto. La compresión sin pérdidas de este componente abre nuevas posibilidades para aplicaciones de contexto largo en MacBooks y otros dispositivos con recursos limitados. La solución ha sido documentada en detalle por su creador, incluyendo tanto el código fuente como un análisis completo del proceso de optimización. Una solicitud de incorporación ha sido presentada al proyecto mlx-lm, sugiriendo que esta tecnología podría convertirse en estándar para la comunidad de desarrollo de IA local en el ecosistema de Apple.