FlashAttention-4: el salto cuántico en velocidad de inferencia que revoluciona los GPU de NVIDIA

FlashAttention-4, la última iteración del algoritmo que optimiza las operaciones de atención en redes neuronales, representa un hito significativo en la aceleración de modelos de lenguaje. Con un rendimiento de 1.613 TFLOPs por segundo en GPUs Blackwell, esta tecnología alcanza una velocidad entre 2,1 y 2,7 veces superior a Triton, la solución de referencia hasta ahora, y supera a cuDNN en hasta 1,3 veces. El avance más relevante radica en cómo FlashAttention-4 aborda el cuello de botella computacional. Mientras que en generaciones anteriores la multiplicación matricial era la operación limitante, en los GPUs Blackwell el algoritmo ha conseguido que la operación de softmax se ejecute prácticamente a la velocidad de las multiplicaciones. Esto se logra mediante una técnica llamada reescalado selectivo, que reduce en aproximadamente diez veces el trabajo computacional necesario en la corrección del softmax, junto con una emulación por software de funciones exponenciales optimizadas. La arquitectura de cinco etapas del algoritmo explota características específicas del hardware Blackwell, incluida la memoria de tensor (TMEM), instrucciones de multiplicación-acumulación de dos unidades de textura (2-CTA MMA) y transferencias de memoria asincrónicas (async TMA). Estas optimizaciones no están disponibles en GPUs anteriores como los Hopper o los A100, lo que limita significativamente el alcance de los beneficios de rendimiento. Las implicaciones comerciales son inmediatas. vLLM, la plataforma de referencia para servir modelos de lenguaje en producción, integró FlashAttention-4 en su versión 0.17.0, lanzada apenas dos días después de la disponibilidad de la tecnología. Para usuarios con GPUs B200 o B100, la mejora es automática. Los usuarios de H100 también pueden beneficiarse, aunque con ganancias modestas. Sin embargo, la vast mayoría de laboratorios e investigadores que trabajan con A100 permanecerán en FlashAttention-2. Un aspecto técnico particularmente notable es que FlashAttention-4 se ha desarrollado completamente en CuTe-DSL, el lenguaje específico de dominio basado en Python de NVIDIA para kernels GPU. Esta implementación compila en 2,5 segundos, frente a los 55 segundos que requería el código equivalente en C++, sin sacrificar el rendimiento en tiempo de ejecución. Este cambio de paradigma de desarrollo representa un punto de inflexión potencial para la velocidad de innovación en optimización de kernels GPU. La compatibilidad con variantes modernas de atención de múltiples cabezas es completa. FlashAttention-4 soporta tanto la atención de múltiples cabezas agrupadas (GQA) como la de múltiples cabezas (MQA), lo que facilita su integración en modelos populares como Llama, Mistral, Qwen y Gemma. Además, incluye soporte para ventanas de atención deslizantes mediante un parámetro configurable, extendiendo su aplicabilidad a arquitecturas más diversas. Aunque FlashAttention-4 representa un avance técnico espectacular, sus beneficios se circunscriben actualmente al hardware de última generación. No obstante, los investigadores subrayan que los conceptos algorítmicos subyacentes, particularmente el reescalado selectivo y las estrategias de emulación de funciones exponenciales, eventualmente se filtrarán hacia GPUs de consumidor. La verdadera revolución, argumentan, reside en la adopción de herramientas como CuTe-DSL, que podrían democratizar el desarrollo de kernels optimizados y acelerar significativamente el ciclo de innovación en aceleración GPU.