Vulkan demuestra su potencial: cómo combinar un procesador AMD con una GPU NVIDIA alcanza rendimiento competitivo

Un investigador independiente ha puesto a prueba una configuración híbrida poco convencional: un miniPC Strix Halo de AMD combinado con una tarjeta gráfica externa RTX 5070 Ti de NVIDIA a través de OCuLink, ejecutando modelos de lenguaje en llama.cpp. Los resultados revelan hallazgos significativos sobre la viabilidad de mezclar hardware de diferentes fabricantes en tareas de inferencia de inteligencia artificial. La arquitectura Strix Halo, procesador integrado de AMD que incorpora núcleos de CPU y GPU en el mismo chip, posee 126 GB de memoria VRAM integrada. La adición de la RTX 5070 Ti mediante OCuLink (una interfaz de conexión para periféricos externos) crea un escenario poco común: dos procesadores gráficos de fabricantes distintos trabajando en conjunto. Para coordinarlos, el investigador utilizó Vulkan, la interfaz de programación de aplicaciones multiplataforma que funciona con hardware de diversos proveedores. Los resultados demuestran que Vulkan mantiene una pérdida de rendimiento mínima comparado con los backends nativos de cada fabricante. En pruebas individuales, la NVIDIA RTX 5070 Ti alcanzó 8.476 tokens por segundo en procesamiento de prompts (pp512) usando CUDA nativo, mientras que con Vulkan logró 7.466 tokens por segundo, representando apenas un 12% de degradación. De manera similar, la GPU AMD Radeon 8060S integrada ejecutó a 1.493 tokens por segundo con ROCm y 1.327 con Vulkan. Lo verdaderamente revelador emerge cuando se combinan ambos dispositivos. Las pruebas con distribución de tensores (tensor split) en proporciones que oscilaban entre 100/0 y 0/100, permitiendo que diferentes capas del modelo se procesaran en cada GPU, exhibieron un comportamiento predecible. Con una distribución inicial del 100% en la NVIDIA y 0% en AMD, se mantuvieron los 168.91 tokens por segundo en generación de tokens. Sin embargo, al distribuir el 90% entre NVIDIA y 10% entre AMD, el rendimiento cayó a 130.22 tokens por segundo. Este patrón de degradación no es aleatorio, sino que responde a principios bien establecidos en computación. El autor destaca la relevancia de la Ley de Amdahl, que describe cómo la velocidad de un sistema paralelo está limitada por su componente más lento. En este caso, aunque la NVIDIA posee capacidad computacional superior, cuando debe sincronizarse con el procesador AMD más lento, permanece ociosa esperando que los cálculos se completen en el otro dispositivo, creando un cuello de botella secuencial. El ancho de banda del OCuLink no resultó ser el factor limitante, como podría esperarse en una conexión externa. Los datos transferidos son relativamente modestos, y la latencia no proviene de la limitación física de la interfaz, sino de la espera entre procesadores. Este descubrimiento tiene implicaciones importantes para el desarrollo futuro de sistemas heterogéneos de IA, sugiriendo que el equilibrio de carga y la arquitectura secuencial importan más que la velocidad de conexión en ciertos escenarios. La versatilidad de Vulkan como API multiplataforma ha permitido que este experimento sea posible. Mientras que CUDA está exclusivamente vinculado a NVIDIA y ROCm a AMD, Vulkan proporciona un puente neutral que funciona con ambas arquitecturas. Esto abre puertas a diseños más flexibles de infraestructura de IA, donde dispositivos de diferentes proveedores podrían colaborar sin depender de soluciones propietarias exclusivas. Para profesionales de la IA e investigadores que buscan optimizar costos mediante hardware heterogéneo, estos resultados ofrecen tanto esperanza como cautela. La esperanza reside en que es posible combinar dispositivos de diferentes fabricantes con una penalización razonable. La cautela viene del hecho de que el rendimiento combinado nunca superará al del dispositivo más potente en solitario, limitación inherente a la naturaleza secuencial del procesamiento de capas en estos modelos. Este tipo de investigación empírica, aunque realizada por entusiastas sin afiliación corporativa, contribuye significativamente a la comprensión colectiva de cómo los sistemas de IA pueden escalarse de formas innovadoras, utilizando componentes comerciales disponibles en configuraciones no convencionales.