Un hospital universitario logra procesar más de mil millones de tokens diarios con infraestructura local de IA

Un investigador responsable de un laboratorio en un hospital universitario ha conseguido configurar una infraestructura de procesamiento de lenguaje natural capaz de manejar más de mil millones de tokens al día utilizando únicamente dos aceleradores gráficos H200 de NVIDIA. Este logro representa un hito significativo en la adopción de modelos de lenguaje grandes en entornos sanitarios, demostrando que es posible desplegar sistemas de IA de alto rendimiento sin depender de servicios en la nube de terceros. La solución implementada utiliza GPT-OSS-120B, un modelo de 120 mil millones de parámetros cuantizado en formato mxfp4, que logra alcanzar velocidades de hasta 250 tokens por segundo en operaciones de decodificación individual. Esta cifra representa un rendimiento significativamente superior al de otros modelos evaluados durante el proceso de selección, incluyendo Qwen 3, GLM-Air y otras alternativas del mercado. El modelo demuestra capacidades suficientemente precisas para estructuración de datos clínicos y cumplimiento de instrucciones de salida en formato JSON, aspectos críticos en aplicaciones médicas. La arquitectura desplegada combina dos contenedores Docker independientes de vLLM, uno por cada GPU, evitando la comunicación entre dispositivos que típicamente reduce el rendimiento. Esta aproximación permite procesar aproximadamente 2,1 mil millones de tokens de entrada y 1 mil millón de tokens de salida diariamente. El sistema implementa un proxy compatible con OpenAI a través de LiteLLM, que gestiona autenticación mediante claves, limitación de velocidad y enrutamiento inteligente del tráfico entre las dos instancias. Para monitorización y observabilidad, la infraestructura incorpora PostgreSQL para almacenamiento de datos de uso y facturación, Prometheus para recopilación de métricas desde los servidores vLLM cada 5 segundos, y Grafana para visualización de dashboards en tiempo real. Durante un período de operación de seis días, el algoritmo de enrutamiento logró distribuir la carga casi perfectamente entre ambos aceleradores, procesando 2,10 mil millones de tokens en uno y 2,11 mil millones en el otro. La optimización alcanzada mediante mxfp4 en arquitectura Hopper de NVIDIA ha demostrado ser superior a técnicas alternativas como la cuantización GGUF o la decodificación especulativa, que redujeron el rendimiento a entre 100 y 150 tokens por segundo. El investigador configuró parámetros específicos de vLLM como caché prefijo habilitado, para aprovechar los patrones repetitivos en los prompts de sistema utilizados para tareas de estructuración, y limitó el número máximo de secuencias concurrentes a 128 por instancia. Este caso de uso ilustra una tendencia creciente en instituciones de investigación y sanitarias: la búsqueda de independencia respecto a proveedores de nube pública mediante la optimización de infraestructura local. Las restricciones de privacidad y seguridad en contextos médicos, combinadas con la reducción de costos operativos a largo plazo, hacen que inversiones en hardware especializado resulten justificables incluso para laboratorios de investigación académicos. El despliegue demuestra además que los modelos de código abierto optimizados adecuadamente pueden competir con soluciones propietarias en escenarios de producción exigentes.