Un equipo de cuatro investigadores procedentes de algunos de los mayores fondos de inversión cuantitativa y centros de computación de alto rendimiento del mundo ha identificado un problema que afecta a la industria tecnológica a escala global: el despilfarro masivo de capacidad de cómputo en los centros de datos.
Expanse, una startup respaldada por Y Combinator (cohorte P26), ha desarrollado una solución basada en inteligencia artificial que promete aumentar significativamente la utilización efectiva de los clusters de GPU e HPC (computación de alto rendimiento) que funcionan con orquestadores como Kubernetes y SLURM.
El problema identificado es desolador en cifras. Los centros de datos operan actualmente a una utilización efectiva de tan solo el 30% a 40%. Esta brecha se debe a un dilema fundamental: los usuarios solicitan más recursos de los que realmente necesitan. Mientras que sobreproveedor es caro y desperdicia capacidad que otros podrían utilizar, bajo provisionar mata los trabajos a mitad de ejecución, lo que significa perder días de trabajo computacional. Como resultado, la mayoría de usuarios sobreprovisionan entre dos y tres veces la capacidad real necesaria.
Los números agregados son asombrosos. En un análisis de un cluster HPC a escala nacional durante un mes, los investigadores midieron 122.000 trabajos y descubrieron que el 59% del cómputo se desperdiciaba. Extrapolando estas cifras a tarifas de nube bajo demanda, esto representa aproximadamente 8,5 millones de dólares en capacidad computacional desaprovechada en un único mes en un único cluster. El patrón se repite de manera consistente en industrias de computación a gran escala como fondos de inversión cuantitativa, laboratorios de inteligencia artificial e instalaciones de fabricación.
El equipo, compuesto por Ismaeel Bashir, Eren, Yafet y Nikodem, posee credenciales sólidas en el espacio HPC. Bashir, quien realizó investigación en el EPCC (Centro de Computación Paralela de Edimburgo, la instalación HPC nacional del Reino Unido) bajo la supervisión de Adrian Jackson, desarrolló el primer predictor de recursos HPC multimodal. Este modelo ingiere código fuente de trabajos, scripts de envío, telemetría de hardware y metadatos del cluster para determinar cuánta capacidad de cómputo será necesaria.
Según los resultados publicados, el modelo de Bashir obtuvo un 34% de mejor rendimiento que cualquier otra línea base existente, y superó a los modelos de lenguaje de propósito general de frontera (como los LLMs más avanzados disponibles) en aproximadamente 8 veces cuando se les proporcionaba la misma tarea de predicción. Estos resultados demostraron que el problema era técnicamente abordable mediante software.
Expanse funciona instalándose en cada nodo del cluster y enganchándose al planificador SLURM o al scheduler de Kubernetes. El sistema ingiere telemetría de hardware en vivo proveniente de herramientas como DCGM, CUPTI, Cgroups y monitoreo de red/IO, creando una representación personalizada de cómo funciona el hardware específico del cluster. Cuando los trabajos están a punto de enviarse a través de SLURM o Kubernetes, Expanse los examina en los puntos de ciclo de vida relevantes sin requerir cambios en cómo los usuarios envían trabajos.
La plataforma ofrece tres capacidades principales a los usuarios de los clusters. Primero, predicción de recursos en el momento del envío, proporcionando recomendaciones sobre GPU VRAM, utilización, memoria, CPUs y walltime necesarios, incluidos intervalos de confianza. El sistema también predice fallos potenciales como agotamiento de memoria y sugiere optimizaciones a nivel de línea de código para aumentar la utilización.
Segundo, observabilidad en vivo. Mientras se ejecuta un trabajo, Expanse muestra la telemetría recopilada a través de un dashboard intuitivo que revela qué está ocurriendo en el hardware y dónde se encuentra el workload en términos de profiling de stack de código. El sistema realiza un profiling dinámico de los workloads manteniendo una sobrecarga en el rango de un solo dígito.
Tercero, diagnóstico de fallos. Si un trabajo falla, Expanse utiliza todos los datos recopilados para realizar correlaciones entre el profiling de stack y la telemetría de hardware, proporcionando logs orientados a soluciones que no solo explican qué ocurrió, sino también por qué y cómo solucionarlo con sugerencias específicas de línea de código.
Lo que diferencia a Expanse del estado del arte actual es significativo. La mayoría de clusters utilizan promedios históricos por usuario del SLURM accounting database (sacct), reglas heurísticas escritas manualmente, o agentes de codificación basados en LLMs de frontera. Los promedios históricos se vuelven rápidamente imprecisos cuando se envía un nuevo tipo de workload o cuando se realizan cambios en el código. Los agentes basados en LLMs demuestran un rendimiento deficiente incluso cuando se les proporciona el script de envío y el código fuente completo del workload.
Expanse fue benchmarqueado contra el estado del arte contemporáneo, incluyendo Gemini 3.5 Pro, Claude Opus 4.8, GPT-5.5 y Codex 5.3, superando a todos ellos aproximadamente 8 veces en precisión. Críticamente, los investigadores no observaron correlación entre el tamaño del modelo o iteraciones posteriores y la mejora en precisión. Incluso Claude Haiku funcionó mejor que Opus en muchos workloads, lo que sugiere que la tarea requiere características especializadas que van más allá de simplemente escalar modelos generales.
Esta solución llega en un momento crucial para la industria. Con la demanda explosiva de capacidad GPU para entrenar modelos de inteligencia artificial, la eficiencia en la utilización de recursos se ha convertido en una prioridad económica y ambiental crítica. Recuperar incluso el 20% de la capacidad desaprovechada actualmente representaría ahorros multimillonarios para empresas tecnológicas, laboratorios de investigación e instituciones académicas en todo el mundo.
El enfoque técnico de Expanse, que combina análisis estático de código, perfilado dinámico de hardware y modelos de aprendizaje profundo especializados, representa un avance significativo en la gestión de recursos de computación a gran escala. A medida que los clusters de computación se vuelven más heterogéneos y complejos, las soluciones de predicción automática de recursos se vuelven cada vez más valiosas.
