Los modelos MoE de Alibaba Qwen se tambalean ante restricciones estrictas en ejecución de código

Un investigador ha publicado resultados que cuestionan la efectividad de los modelos de expertos mixtos (MoE) de Alibaba Qwen cuando se enfrentan a restricciones globales severas en la ejecución de código. El análisis, realizado con tres variantes del modelo Qwen —27B densidad completa, 122B MoE y 35B MoE— revela un patrón desconcertante: los modelos más grandes y sofisticados muestran peor adherencia a reglas de sintaxis estricta que una versión más pequeña y simple. El experimento se llevó a cabo en hardware modesto: cuatro GPU RTX 3090 con 24GB de VRAM cada una, ejecutando sesiones de trabajo agente multiusuario bajo carga orgánica constante. La métrica crucial no era velocidad bruta, sino precisión en el seguimiento de reglas: los modelos debían respetar un listado explícito de comandos bash permitidos, sin permitir decoradores de shell, rutas absolutas ni encadenamiento de comandos. Este es un escenario realista para sistemas que ejecutan código, donde un fallo en seguir las restricciones puede comprometer la seguridad o crear comportamientos impredecibles. Los datos documentan un hallazgo contraintuitivo. El modelo 27B denso logró mantener consistencia en el cumplimiento de restricciones globales mejor que sus homólogos MoE de mayor tamaño, aunque con menor rendimiento en tokens por segundo. El modelo 122B MoE mostró fluctuaciones erráticas, con caídas de rendimiento hasta 33 tokens/segundo en ciertas configuraciones de concurrencia. El 35B MoE fue consistente en velocidad pero también presentó dificultades con las restricciones de sintaxis. Esta observación toca un nervio en la arquitectura de modelos de expertos mixtos. Mientras que la teoría sugiere que tener múltiples expertos especializados debería mejorar el rendimiento en tareas específicas, en la práctica estos modelos parecen menos capaces de mantener restricciones globales rígidas que modelos densos más simples. Los investigadores especulan que los mecanismos de enrutamiento en las arquitecturas MoE podrían estar permitiendo que ciertos expertos generen salidas que violen restricciones, sin supervisión global efectiva. Los números de rendimiento revelaron otras anomalías. El 122B MoE dominaba en velocidad de prefill cuando la IA estaba procesando activamente nuevas solicitudes (hasta 3720 tokens por segundo), pero su rendimiento sostenido era inconsistente. El 35B MoE fue ganador en generación pura, alcanzando 348 tokens por segundo en configuraciones de alta concurrencia, mientras que el denso 27B se mantuvo más estable aunque con cifras intermedias. Esta investigación tiene implicaciones significativas para desarrolladores que despliegan modelos de lenguaje en escenarios donde el control es crítico: chatbots con APIs limitadas, ejecución de código sandboxed, o sistemas de automatización donde las alucinaciones sintácticas pueden causar daños. Sugiere que el tamaño del modelo y la arquitectura no son garantías de mejor comportamiento controlable, y que las pruebas de seguridad y adherencia a restricciones deben ser específicas para cada caso de uso real, no solo métricas de benchmark sintéticas.