Un entusiasta de la IA logra ejecutar un modelo de 23 mil millones de parámetros con ventana de contexto de 200k en una gráfica de consumidor

La democratización del aprendizaje automático avanza a un ritmo acelerado. Un desarrollador ha conseguido ejecutar el modelo GLM-4.7-Flash-REAP, de 23 mil millones de parámetros, en una tarjeta gráfica RTX 5060 Ti de 16 GB con una ventana de contexto de 200,000 tokens, ampliando significativamente las capacidades de lo que hasta ahora se consideraba hardware de consumidor. El experimento revela cómo las optimizaciones recientes en software de inferencia local, particularmente la introducción de técnicas de descarga de expertos a CPU (llama.cpp's --n-cpu-moe) y la compilación con soporte para Flash Attention, han permitido superar las limitaciones tradicionales del hardware de gama media. El desarrollador documentó meticulosamente cada fase de su investigación, variando los parámetros del modelo para encontrar el equilibrio óptimo entre velocidad y capacidad. Los resultados iniciales fueron prometedores pero limitados. Con una ventana de contexto de 16,000 tokens, el modelo alcanzó velocidades de 965 tokens por segundo en procesamiento paralelo y 26.27 en generación de tokens. Sin embargo, el tamaño reducido del contexto causaba que el modelo entrara en bucles repetitivos, regenerando las mismas herramientas una y otra vez cuando superaba el límite de memoria de conversación. El punto de inflexión llegó con la implementación del desplazamiento de expertos a CPU mediante la característica recientemente introducida en LM Studio. Esta técnica permite que el modelo distribuya el procesamiento entre la GPU y la CPU, utilizando la RAM del sistema para operaciones que de otro modo requerirían memoria de vídeo. Con esta configuración y una ventana de contexto de 200,000 tokens, el sistema alcanzó velocidades de 324.84 tokens por segundo en procesamiento paralelo y 7.70 en generación, manteniendo un uso controlado de la GPU en solo 7 GB de los 16 disponibles. La conclusión del desarrollador, tras múltiples iteraciones y optimizaciones, fue que llama.cpp emerge como la herramienta superior para esta tarea, logrando finalmente velocidades de 423.77 tokens por segundo en procesamiento paralelo y 14.4 en generación con Flash Attention habilitado. Estos números son especialmente relevantes considerando que hace apenas un año, ejecutar modelos de esta escala en hardware de consumidor era prácticamente inviable. El hallazgo tiene implicaciones significativas para desarrolladores independientes y pequeños equipos. Mientras que hace poco se rumoraba que era necesario actualizar a tarjetas de gama más alta como la RTX 3090, esta prueba demuestra que el hardware de hace varios años, correctamente optimizado, sigue siendo viable. El fenómeno refleja una tendencia más amplia en la industria de la IA: cada mes aparecen modelos más potentes que paradójicamente requieren menos recursos gracias a innovaciones en arquitectura, cuantización y técnicas de inferencia. El contexto de 200,000 tokens es particularmente importante porque permite que el modelo mantenga conversaciones significativamente más largas sin perder la memoria del historial. Esto abre posibilidades para aplicaciones de análisis de documentos largos, sesiones de programación extendidas y análisis contextual profundo, todo ejecutándose localmente sin dependencia de servicios en nube. La metodología del desarrollador, documentando cada paso con métricas precisas de velocidad y consumo de recursos, proporciona una hoja de ruta valiosa para otros usuarios que buscan optimizar sus configuraciones locales. Los parámetros compartidos al final del post incluyen configuración específica para llama-server, permitiendo que otros repliquen estos resultados con equipo similar.