Cuantización de modelos MoE: el análisis técnico que desvela por qué no existe una solución única

La carrera por optimizar modelos de lenguaje de gran tamaño ha llegado a un punto crítico donde los investigadores están cuestionando las suposiciones fundamentales sobre cómo comprimir estas arquitecturas. Un análisis técnico exhaustivo comparando tres modelos de expertos mixtos (MoE) recientes revela hallazgos sorprendentes sobre las técnicas de cuantización más prometedoras del momento. El estudio evalúa tres arquitecturas distintas: LFM2-8B-A1B con 4 expertos activos de 32 disponibles, OLMoE-1B-7B-0924-Instruct con 8 activos de 64, y granite-4.0-h-tiny con 6 activos de 64. Los investigadores midieron el rendimiento mediante dos métricas fundamentales: la divergencia de Kullback-Leibler (KLD), que cuantifica la "fidelidad" o cuánto se desvía la distribución de probabilidad del modelo cuantizado respecto a la original, y la perplejidad (PPL), que mide la "certeza" o confianza del modelo al predecir el siguiente token. Los datos son inequívocos: no existe un método de cuantización universal que domine en todas las dimensiones. El formato MXFP4, que prometía ser revolucionario para entrenamientos conscientes de cuantización (QAT), demuestra un rendimiento decepcionante en velocidad y calidad cuando se aplica post-entrenamiento. En el caso del modelo LFM2-8B-A1B, la versión MXFP4 alcanza una perplejidad de 14,81 con un KLD de 0,097, ocupando 4,424 GiB, mientras que Q4_K_S logra prácticamente la misma calidad (KLD de 0,094) con velocidades de generación superiores (215 t/s frente a 193 t/s). El análisis introduce el concepto de "Efficiency Score", una métrica que normaliza el tamaño del modelo y su divergencia KLD para encontrar el punto óptimo entre compresión y calidad. Este enfoque revela patrones inesperados: para OLMoE-1B-7B-0924-Instruct, la cuantización a 5 bits logra la mejor puntuación de eficiencia (0,3044), mientras que para granite-4.0-h-tiny el mejor balance también está en 5 bits (0,2934). Lo que complica el panorama es que estas métricas no siempre correlacionan con el rendimiento práctico. Mientras que KLD y PPL están relacionadas teóricamente, los resultados empíricos muestran desviaciones significativas. Un modelo con alto KLD puede mantener velocidades respetables, mientras que otro con bajo KLD puede sufrir caídas dramáticas en rendimiento de tokens por segundo. Esta investigación cobra importancia en un contexto donde la democratización de los modelos de IA requiere ejecutarlos en hardware consumer. Los modelos MoE, que activan solo una fracción de sus parámetros en cada inferencia, son especialmente interesantes para este propósito. Sin embargo, los hallazgos sugieren que la optimización requiere un enfoque caso por caso, evaluando cada modelo con herramientas como llama-perplexity combinando mediciones de divergencia KLD. La conclusión del análisis es tanto frustrante como liberadora: no existe un "formato go-to" universal para cuantización. Los equipos de investigación y desarrolladores deben hacer benchmark exhaustivos antes de elegir una estrategia de compresión, considerando simultáneamente el tamaño en memoria, la fidelidad del modelo y el rendimiento de inferencia. Este enfoque empírico, aunque más laborioso que seguir una receta predefinida, garantiza que cada implementación está optimizada para sus restricciones específicas de hardware y requisitos de rendimiento.