Un ingeniero logra quintuplicar la velocidad de modelos de IA en GPUs de escritorio Blackwell con un parche de kernel personalizado

Un desarrollador ha conseguido aumentar el rendimiento de modelos de lenguaje masivos basados en arquitectura de mezcla de expertos (MoE) en un 400% mediante la optimización de kernels de cálculo en GPUs RTX PRO 6000 Blackwell. Lo que comenzó como un problema técnico aparentemente insuperable —una limitación de memoria compartida en los procesadores de escritorio— ha derivado en una solución que podría transformar la accesibilidad de los modelos de IA más potentes. El problema radicaba en un desajuste fundamental entre el diseño de hardware de NVIDIA y la arquitectura de sus kernels de cálculo. Los procesadores Blackwell para centros de datos (B200) disponen de 228 kilobytes de memoria compartida, lo que permitía utilizar tiles GEMM optimizados con factor K=128. Sin embargo, las GPUs de escritorio como la RTX PRO 6000 y la RTX 5090 solo cuentan con 99 kilobytes, insuficientes para estos tiles. Como resultado, el sistema caía sobre kernels de reserva considerablemente más lentos. La solución implicó modificar el builder de CUTLASS, la librería de kernels de NVIDIA, para permitir tiles con factor K=64 adaptados a la memoria disponible en hardware de escritorio. El desarrollador identificó un error en la generación de factores de escala que causaba incompatibilidad cuando K era menor que 128, y creó un parche que calcula dinámicamente el factor efectivo según las características del hardware disponible. Los resultados son espectaculares. En un sistema de cuatro RTX PRO 6000 ejecutando Qwen3.5-397B con cuantización NVFP4, el rendimiento pasó de 142 tokens por segundo a 283 en configuración de un usuario. En escenarios multiusuario, el throughput del sistema alcanzó 1.624 tokens por segundo con 16 usuarios concurrentes, multiplicando por 6,5 veces la capacidad inicial. El camino hasta esta optimización final fue progresivo. El desarrollador documentó cada etapa: desde los 55 tokens por segundo iniciales en WSL2, pasando por 119 con Linux nativo, 142 tras ajustes de driver y configuración del sistema, hasta finalmente los 283 con el kernel personalizado. Particularmente relevantes fueron las optimizaciones en la gestión de memoria (iommu=pt para sistemas AMD Threadripper), la limitación de threads de OpenMP a 6 en lugar de 24, y la activación de MTP (Multi-token Prediction) con 5 tokens especulativos. El trabajo incluye una imagen Docker preconstruida para facilitar la implementación, lo que democratiza el acceso a estas optimizaciones. La solución ha sido propuesta como pull request al proyecto FlashInfer, la librería upstream que gestiona estos kernels. Esto sugiere que podría convertirse en funcionalidad estándar para futuros lanzamientos. La importancia de este hallazgo trasciende lo puramente técnico. En un momento en que modelos como Qwen3.5 y DeepSeek V3 generan interés masivo por su capacidad, muchos investigadores y empresas con presupuestos limitados cuentan únicamente con GPUs de escritorio de gama alta. Este parche transforma la RTX PRO 6000 de una plataforma marginalmente viable para estos modelos en una opción realista para inferencia de producción. Un sistema de cuatro GPUs de escritorio puede ahora igualar o superar el rendimiento que hace meses solo era posible con costosos clusters de datacenter.