Un ingeniero logra ejecutar el modelo de IA MiniMax-M2.5 de 229 mil millones de parámetros en hardware convencional mediante una técnica revolucionaria de cuantización híbrida

Un desarrollador independiente ha conseguido lo que hasta ahora parecía imposible: ejecutar eficientemente el modelo de lenguaje MiniMax-M2.5, con 229 mil millones de parámetros, en cuatro procesadores gráficos RTX A6000 con un total de 192 gigabytes de memoria RAM. El logro se produce gracias a una innovadora combinación de técnicas de compresión que multiplica por más de dos la capacidad de procesamiento simultáneo comparada con métodos convencionales. El desafío fundamental en el despliegue de modelos de lenguaje tan grandes radica en la gestión de la memoria. Los modelos masivos requieren enormes cantidades de datos almacenados en caché, lo que limita drasticamente cuántos usuarios pueden ser atendidos simultáneamente. La solución presentada combina tres estrategias diferentes: cuantización AWQ de 4 bits para los pesos neuronales principales, precisión de punto flotante de 8 bits para las capas de atención, y un innovador sistema de caché de pares clave-valor calibrado dinámicamente. Esta aproximación híbrida consigue algo que los métodos anteriores no lograban: mantener la precisión original del modelo mientras reduce la memoria requerida de forma dramática. El resultado práctico es espectacular. Mientras que los sistemas convencionales alcanzan aproximadamente 160.000 tokens en caché en la misma configuración de hardware, esta nueva técnica logra más de 370.000 tokens, más que duplicando la capacidad. Esto se traduce en que el servidor puede procesar 16 solicitudes simultáneamente con un contexto de 8.000 tokens cada una, alcanzando un rendimiento combinado de 416 tokens por segundo, mientras que una única solicitud genera 92 tokens por segundo. Lo particularmente notable del proyecto es cómo fue desarrollado. El ingeniero utilizó Claude Opus, un modelo de inteligencia artificial, para realizar todo el trabajo técnico de forma remota a través de conexiones SSH. El sistema, denominado term-cli, permitió al modelo de IA ejecutar comandos en servidores GPU, calibrar parámetros, parchear el código de vLLM (un popular motor de inferencia de código abierto) y validar los resultados, todo en un ciclo cerrado completamente automatizado. Durante este proceso, surgieron y se corrigieron dos defectos críticos en vLLM, con los parches ya sometidos al proyecto oficial. El proyecto también mejoró las herramientas utilizadas. El proceso de desarrollo remoto reveló limitaciones en los mecanismos de transferencia de archivos, lo que motivó la adición de un sistema de transferencia en banda con compresión gzip y verificación SHA-256, mejorando significativamente la eficiencia del desarrollo agentico. Esta demostración tiene implicaciones importantes para la industria de la inteligencia artificial. Primero, demuestra que modelos de escala similar a GPT pueden ejecutarse en hardware empresarial estándar con capacidades de concurrencia prácticas. Segundo, sugiere que las técnicas de compresión híbrida pueden ser más efectivas que los enfoques monolíticos existentes. Tercero, ilustra el potencial de los sistemas de IA automáticos para realizar ingeniería de sistemas compleja de forma remota. El modelo y todas las especificaciones técnicas están disponibles públicamente, junto con los parches para vLLM. La herramienta term-cli se ha publicado bajo licencia BSD, permitiendo que otros desarrolladores construyan sobre estos avances.