Optimizaciones en llama-cpp ROCm aceleran el procesamiento de prompts hasta un 132% en procesadores Ryzen AI Max

Los procesadores Ryzen AI Max de AMD experimentaron mejoras significativas en el rendimiento de modelos de lenguaje grandes durante las últimas semanas, gracias a optimizaciones implementadas en la versión ROCm de llama-cpp, la herramienta de código abierto más popular para ejecutar modelos de inteligencia artificial localmente. Según datos recopilados entre el 11 y el 15 de febrero, el procesamiento de prompts (la fase inicial donde el modelo analiza el texto de entrada) registró incrementos dramáticos de velocidad en varios modelos. Algunos casos documentaron mejoras superiores al 100%: el modelo GPT-OSS-120B alcanzó un aumento del 132%, mientras que Nemotron-3-Nano-30B experimentó una aceleración del 98%. El modelo Qwen3-Coder-Next mostró un incremento del 77% en tokens por segundo. Estas mejoras resultan particularmente relevantes en el contexto de la computación de inteligencia artificial descentralizada. Los procesadores Ryzen AI Max representan la apuesta de AMD por democratizar la ejecución de modelos grandes en hardware de consumo, compitiendo directamente con las soluciones de NVIDIA basadas en CUDA. Las optimizaciones en ROCm (Radeon Open Compute), el framework de computación paralela de AMD, son cruciales para que esta plataforma resulte competitiva. Es importante notar que aunque las mejoras fueron sustanciales en procesamiento de prompts, la generación de tokens (la fase donde el modelo produce respuestas palabra por palabra) mantuvo rendimientos similares a versiones anteriores. Además, modelos más simples como GLM4.7-Flash experimentaron mejoras modestas del 7%, sugiriendo que los beneficios varían significativamente según la arquitectura del modelo. Los benchmarks fueron realizados en sistemas Ryzen AI Max 395+ y validados parcialmente en arquitecturas AMD EPYC, proporcionando una visión más amplia del impacto de estas optimizaciones. La comunidad de inteligencia artificial local monitorea activamente estos avances, ya que representan un hito importante hacia la viabilidad de ejecutar modelos avanzados sin depender de infraestructura en la nube. Cabe destacar que posteriormente se identificó que parte de estas mejoras fue causada por un bug en las versiones previas, lo que significa que los resultados más recientes reflejan el regreso a un baseline de rendimiento anterior. No obstante, el trabajo continuo en optimizaciones ROCm mantiene el momentum de mejora en el ecosistema de computación de AMD para inteligencia artificial.