Optimización de modelos de IA para programación: nuevos récords de rendimiento en GPUs de última generación

Un ingeniero de la comunidad de modelos de lenguaje locales ha publicado un análisis exhaustivo sobre la optimización de Qwen3 Coder, el modelo especializado en generación de código, en las tarjetas gráficas más potentes del mercado actual: RTX 5090 y PRO 6000. El trabajo representa un hito importante en la democratización de la inteligencia artificial, mostrando cómo extraer el máximo rendimiento de hardware de consumo y profesional sin necesidad de infraestructuras de nube propietarias. La investigación compara dos marcos de inferencia principales —vLLM y SGLang— bajo diferentes condiciones de carga, revelando diferencias sustanciales en su comportamiento según la configuración del hardware. En la RTX 5090 con 32 GB de memoria, vLLM demostró una superioridad clara con una tasa de procesamiento de 555,82 tokens por segundo frente a los 207,93 de SGLang, una diferencia de 2,7 veces que apunta a optimizaciones insuficientes en los kernels de cuantización AWQ de SGLang. El análisis profundiza en tres variables críticas para cualquier despliegue de IA: la elección del marco de inferencia, la longitud máxima del contexto soportada y el número óptimo de solicitudes concurrentes. En la RTX 5090, el modelo Qwen3-Coder-30B alcanzó un rendimiento máximo de 1.186 tokens por segundo, aunque la latencia de primer token (TTFT) se disparó a casi cinco segundos. Los investigadores optaron por un equilibrio pragmático con 16 solicitudes concurrentes simultáneas, logrando 1.157 tokens por segundo con una latencia de apenas 956 milisegundos, sacrificando solo el 2,4 por ciento del rendimiento máximo pero mejorando la experiencia del usuario en cinco veces. La PRO 6000, con sus generosos 96 GB de memoria, permitió pruebas más ambiciosas. El modelo pudo soportar contextos de hasta 262.144 tokens —el máximo teórico completo— sin degradación de rendimiento. En este caso, vLLM superó a SGLang nuevamente en escenarios de alta concurrencia, alcanzando 1.207 tokens por segundo con 40 solicitudes simultáneas, un 34 por ciento por encima del mejor rendimiento de SGLang. Sin embargo, para usuarios donde la latencia resulta crítica, SGLang a 28 solicitudes concurrentes ofrece 898 tokens por segundo con una latencia de solo 2,8 segundos. Los hallazgos tienen implicaciones significativas para el ecosistema de IA de código abierto. Demuestran que hardware relativamente accesible —la RTX 5090 ronda los 2.000 euros— puede ejecutar modelos avanzados de generación de código con rendimientos competitivos respecto a soluciones en nube. La comunidad planea abrir su infraestructura de benchmarking al público en marzo, permitiendo que otros desarrolladores repliquen y extiendan estos resultados. Esta tendencia refleja un cambio más amplio en la industria: la IA deja de ser monopolio exclusivo de proveedores en nube con enormes centros de datos. Los investigadores independientes pueden ahora ejecutar experimentos sofisticados localmente, lo que acelera la innovación y reduce la dependencia de servicios comerciales. Las herramientas utilizadas —vLLM y SGLang— son ambas de código abierto, democratizando el acceso a tecnología que hace apenas dos años estaba fuera del alcance de la mayoría de desarrolladores.