Qwen3.5-122B expone vulnerabilidad crítica en optimización de precisión: la corrupción silenciosa de datos en caché de GPU

Un investigador ha documentado un problema grave en la ejecución del modelo de lenguaje Qwen3.5-122B sobre la arquitectura Blackwell de NVIDIA: la compresión de caché en precisión fp8 no produce errores visibles, sino que degrada silenciosamente la calidad de las respuestas generadas, reemplazando respuestas coherentes con exclamaciones repetidas y contenido corrupto. El hallazgo, identificado durante pruebas exhaustivas en hardware AWS g7e.48xlarge con ocho GPU RTX PRO 6000, subraya un riesgo fundamentalmente importante en la optimización de modelos de lenguaje grandes: la ausencia de mecanismos de detección de errores en técnicas de cuantificación de bajo nivel. Mientras que los fallos catastróficos son relativamente fáciles de identificar y corregir, la degradación silenciosa de la calidad puede permanecer inadvertida en despliegues en producción, afectando a usuarios finales sin generar alertas en los sistemas de monitoreo. La solución identificada requiere forzar el caché KV a precisión bf16, lo que sacrifica los beneficios de rendimiento esperados de la compresión fp8. Este compromiso expone una tensión fundamental en el desarrollo de modelos de IA: la arquitectura DeltaNet del modelo Qwen3.5 introduce restricciones que bloquean las técnicas de optimización estándar disponibles para otros modelos, requiriendo seis configuraciones específicas de Triton para funcionar correctamente en SM120. En términos de rendimiento, el investigador observó una velocidad de ráfaga de 1.985 tokens por segundo, pero los beneficios se disipan bajo cargas sostenidas. El Multi-Token Prediction (MTP) proporcionó la única mejora significativa, logrando una aceleración de 2,75x en solicitudes individuales (aproximadamente 25 tokens por segundo), aunque redujo la capacidad de servicio en escenarios de alto volumen. Las evaluaciones de calidad mediante Arena-Hard mostraron una puntuación de 6,99/10 para Qwen3.5-122B, superiores a las del modelo anterior M2.5 con 4,94/10, pero la metodología de evaluación (basada en Claude Opus 4.6 en lugar de GPT-4) impide comparaciones directas con los resultados de los rankings públicos. El descubrimiento revela un patrón preocupante en la industria de IA: la validación de optimizaciones de bajo nivel requiere inspección manual exhaustiva de la calidad de salida, no simplemente métricas de rendimiento o la ausencia de fallos del sistema. Para operadores de modelos que consideran implementar técnicas de compresión similares en sus infraestructuras, el mensaje es claro: la ausencia de errores no equivale a ausencia de problemas.