Unsloth lanza la actualización final de Qwen3.5 con mejoras significativas en cuantización y rendimiento

El equipo de Unsloth ha anunciado lo que probablemente será su última actualización importante para los modelos cuantizados GGUF de Qwen3.5, presentando avances sustanciales en la optimización de tamaño y fidelidad de los modelos de lenguaje de gran escala. La actualización se centra en mejorar el equilibrio óptimo entre el tamaño del modelo y la divergencia KL (una métrica que mide qué tan bien se preservan las características del modelo original tras la cuantización). Los nuevos benchmarks incluyen versiones mejoradas del Qwen3.5-122B-A10B y el Qwen3.5-35B-A3B, ambos logrando una divergencia KL del 99,9%, considerado el estándar de calidad en la comunidad. Una de las contribuciones más significativas reside en el nuevo método de cuantización específicamente diseñado para arquitecturas Mixture of Experts (MoE) presentes en Qwen3.5. Este enfoque reduce directamente la divergencia KL máxima, especialmente relevante para abordar los valores atípicos en la distribución de activaciones neuronales. Los resultados son impresionantes: la variante UD-Q4_K_XL, aunque aumenta un 8% el tamaño del modelo (de 19,2 a 20,7 GB), logra reducir la divergencia KL máxima en un 51%, bajando de 5,894 a 2,877. De manera similar, la variante UD-Q5_K_XL reduce esta métrica en un 42%. Todos los modelos GGUF ahora utilizan un nuevo conjunto de datos de calibración imatrix, desarrollado y mejorado manualmente por el equipo de Unsloth. Esta actualización promete mejoras perceptibles en casos de uso específicos como conversación natural, generación de código, procesamiento de contextos largos e invocación de funciones externas. El equipo subraya que el conjunto de datos de calibración cambiará frecuentemente conforme continúen refinando el proceso. La iniciativa también incluye mejoras en la compatibilidad de software. LM Studio, una interfaz popular para ejecutar modelos locales, ahora soporta la alternancia de la función "thinking" en los GGUF de Unsloth, facilitando a los usuarios el acceso a las capacidades de razonamiento explícito del modelo. Además, se ha reemplazado las capas BF16 por F16 para acelerar la inferencia en dispositivos que no soportan el formato de 16 bits de punto flotante de Brain. La disponibilidad se extiende ahora a todas las variantes de cuantización para el modelo Qwen3.5-35B-A3B, incluyendo Q4_K_M, Q8_0 y BF16. Los modelos de 35B, 27B y 122B-A10B han sido reemitidos con correcciones en la plantilla de chat que mejoran la salida en tareas de generación de código y llamadas a funciones externas. El modelo de 397B-A17B, aún en proceso de carga, también incorporará estas mejoras. El equipo de Unsloth también ha ampliado sus capacidades educativas y de desarrollo, permitiendo a los usuarios ajustar modelos Qwen3.5 mediante cuadernos Jupyter gratuitos disponibles en su plataforma. Cabe destacar que los desarrolladores expresan su gratitud hacia el equipo original de Qwen de Alibaba, reconociendo el esfuerzo extraordinario dedicado a mantener modelos de código abierto de alta calidad. Este reconocimiento refleja la presión laboral significativa que enfrentan los equipos en la investigación de IA de vanguardia, con ciclos de desarrollo que frecuentemente requieren trabajar sin descanso. En el contexto más amplio del ecosistema de modelos de lenguaje, esta actualización representa un progreso importante en la viabilidad de ejecutar modelos extremadamente capaces en hardware local y de consumidor. La reducción dramática de la divergencia KL máxima sin comprometer significativamente la eficiencia de tamaño sugiere que las técnicas de cuantización continúan madurando hacia métodos cada vez más sofisticados. Esto democratiza aún más el acceso a capacidades de IA avanzadas, permitiendo que investigadores, desarrolladores y entusiastas ejecuten modelos de clase mundial sin requerir infraestructura en la nube costosa.