RunAnywhere revoluciona la inferencia de IA en Silicon: un motor 70 veces más rápido para procesamiento de voz local

Dos emprendedores del acelerador Y Combinator han presentado MetalRT, un motor de inferencia de inteligencia artificial que promete transformar la forma en que los dispositivos Apple procesan modelos de lenguaje, transcripción de voz y síntesis de audio. Los resultados presentados sugieren mejoras sustanciales respecto a las soluciones existentes: velocidades de decodificación 1,67 veces superiores a llama.cpp y 1,19 veces más rápidas que MLX de Apple, según pruebas reproducibles realizadas en un MacBook M4 Max. Lo verdaderamente notable radica en el procesamiento de voz. El sistema transcribe 70 segundos de audio en apenas 101 milisegundos, una velocidad 714 veces superior al tiempo real. Para la síntesis de voz, el tiempo de generación es de 178 milisegundos, superando en 2,8 veces a las alternativas actuales. Estos números importan porque resuelven un problema fundamental que ha mantenido relegada la inteligencia artificial local a un segundo plano: la latencia acumulada. En un sistema de procesamiento de voz, tres modelos deben ejecutarse secuencialmente: transcripción, procesamiento de lenguaje y síntesis. Si cada etapa añade 200 milisegundos de retraso, el usuario experimenta un lag de 600 milisegundos antes de escuchar respuesta alguna, suficiente para que la interacción se sienta rota. Las empresas han optado históricamente por enviar datos a servidores en la nube no porque los modelos locales sean deficientes, sino porque la infraestructura para ejecutarlos eficientemente no existía. MetalRT aborda este desafío prescindiendo de capas intermedias de software. En lugar de utilizar marcos de trabajo genéricos que añaden sobrecarga, el equipo escribió compiladores personalizados para GPU que generan shaders de Metal optimizados para operaciones de multiplicación matricial cuantizada, mecanismos de atención y funciones de activación. La memoria se pre-asigna durante la inicialización, eliminando asignaciones dinámicas durante la inferencia, una optimización crucial para reducir latencias impredecibles. Este es el primer motor capaz de manejar nativamente las tres modalidades —lenguaje, voz y audio— en silicio Apple. Los desarrolladores también han liberado bajo licencia MIT RCLI, una interfaz de línea de comandos que implementa un pipeline completo de voz con inteligencia artificial, funcionando enteramente en el dispositivo sin conexión a servidores ni claves de API. Incluye búsqueda aumentada por recuperación local, intercambio dinámico de modelos y acciones controladas por voz. La iniciativa señala un cambio de paradigma en la estrategia de implantación de modelos de IA. Mientras las grandes tecnológicas invierten en centros de datos para servir modelos en la nube, RunAnywhere demuestra que el verdadero desafío reside en optimizar cada capa del software, compilador y hardware para conseguir que la inteligencia artificial sea práctica en dispositivos personales. La pregunta planteada por los fundadores sintetiza la oportunidad: ¿qué construiríamos si la inteligencia artificial local fuera genuinamente tan rápida como la basada en la nube?