La RTX 6000 Blackwell demuestra el potencial de los servidores de IA locales con el modelo Qwen 3.5 de 122 mil millones de parámetros

Un análisis técnico exhaustivo realizado en marzo de 2026 pone de manifiesto las capacidades reales de ejecutar modelos de lenguaje de gran escala en hardware de servidor profesional. La prueba de rendimiento, llevada a cabo con una GPU NVIDIA RTX PRO 6000 Blackwell de 96 GB de memoria, ofrece datos concretos sobre cómo se comportan los sistemas de IA cuando deben servir múltiples usuarios simultáneamente, un escenario cada vez más común en empresas que buscan alternativas a los servicios en la nube. El modelo utilizado, Qwen 3.5-122B-A10B en formato MXFP4 MOE (Mixture of Experts con precisión mixta), ocupa aproximadamente 63 GB en disco y se ejecutó mediante llama.cpp, un framework de código abierto optimizado para inferencia eficiente. Los resultados revelan que un único servidor puede procesar entre 2.100 y 2.900 tokens por segundo durante la fase de análisis de prompts, mientras que la generación de tokens mantiene una velocidad estable de alrededor de 80 tokens por segundo en modo usuario único. Donde cobra especial importancia este análisis es en los escenarios de concurrencia. Cuando cuatro usuarios realizan peticiones simultáneamente, el sistema logra una producción total de 143 tokens por segundo, aunque distribuidos entre las peticiones esto representa apenas 36 tokens por segundo por usuario. Sin embargo, el verdadero cuello de botella aparece cuando se combinan múltiples usuarios con contextos largos: en el peor caso estudiado, con 32.768 tokens de contexto previo y cuatro peticiones simultáneas, la latencia para la primera respuesta alcanza los 29 segundos, un tiempo prohibitivo para aplicaciones interactivas. La investigación también documenta cómo la generación de tokens se degrada de forma gradual conforme aumenta la longitud del contexto. A 65.536 tokens de contexto, una profundidad equivalente a aproximadamente 100 páginas de texto, la velocidad de generación cae un 10 por ciento respecto a los valores sin contexto previo, demostrando la eficiencia del diseño arquitectónico del modelo. El tiempo para obtener el primer token (TTFT, en terminología técnica) sí aumenta significativamente, pasando de 220 milisegundos con prompts cortos a 23 segundos con contextos profundos. Estos hallazgos tienen implicaciones importantes para organizaciones que evalúan la viabilidad de ejecutar modelos grandes de lenguaje en infraestructura propia. La recomendación central del análisis es clara: para aplicaciones interactivas de usuario único, el rendimiento es excelente, pero para escenarios multiusuario es necesario limitar la concurrencia y la profundidad del contexto. Con dos usuarios simultáneos y contextos típicos de conversación (alrededor de 8.000 tokens), cada usuario recibe aproximadamente 41 tokens por segundo, una velocidad que permanece dentro de lo que se considera cómodo para interacción en tiempo real. En el panorama actual de la inteligencia artificial, donde la carrera por la soberanía de datos y la independencia de proveedores de nube gana importancia, estos benchmarks demuestran que ya es viable ejecutar modelos de capacidades competitivas en hardware de servidor empresarial estándar, sin necesidad de recurrir a granjas especializadas de GPUs. La ventana de oportunidad para las implementaciones locales de IA se ha abierto considerablemente.