Casi 10.000 pruebas de rendimiento revelan los patrones reales del silicio de Apple para inteligencia artificial local

Un desarrollador ha recopilado el conjunto de datos más completo jamás generado por la comunidad sobre el rendimiento de modelos de lenguaje en procesadores Apple Silicon, demostrando que existe una brecha significativa entre los benchmarks teóricos y el comportamiento real en el mundo cotidiano. El proyecto surgió de una frustración común entre usuarios de inteligencia artificial local: la fragmentación absoluta de la información. Mientras que durante dos años se han acumulado cientos de comentarios en foros sobre rendimiento de chips, estos datos permanecen dispersos en publicaciones de Reddit antiguas, gists de GitHub y reportes anecdóticos sin formato común. Esta falta de estandarización imposibilita cualquier comparación rigurosa entre dispositivos o modelos. Para resolver este problema, el autor desarrolló oMLX, un servidor de inferencia optimizado para Apple Silicon que incluye un sistema integrado de envío de benchmarks. El proyecto alcanzó 3.800 estrellas en GitHub en apenas tres días después de volverse viral, generando una avalancha de datos: casi 10.000 ejecuciones de pruebas documentadas con precisión. Los patrones que emergen de este volumen de datos son reveladores. El M5 Max demuestra un rendimiento extraordinario, alcanzando aproximadamente 1.200 tokens por segundo (PP tok/s) en contextos de 1k-8k al procesar Qwen 3.5 con 122 mil millones de parámetros en cuantización de 4 bits, manteniéndose por encima de los 1.000 tok/s incluso en contextos de 16k. En contraste, el M3 Ultra comienza con 893 PP tok/s a 1k de contexto pero experimenta una caída notable en contextos más amplios. El M4 Max, por su parte, se posiciona consistentemente en los 500s tok/s, presentándose como una opción predecible pero claramente en un nivel de rendimiento inferior. Lo particularmente interesante es cómo estas métricas cambian según la longitud del contexto. Los "puntos de cruce" donde un chip supera a otro no son lineales, sino que revelan compensaciones complejas que no pueden apreciarse observando únicamente números agregados. Un M5 Max puede dominar en contextos cortos, pero la ventaja relativa cambia drásticamente cuando el modelo debe procesar secuencias más largas. Esta investigación representa un cambio significativo en cómo se evalúa el rendimiento de la inteligencia artificial en hardware de consumo. Durante años, la comunidad de usuarios de modelos locales ha dependido de benchmarks corporativos que a menudo no reflejan casos de uso reales, o de testimonios individuales sin rigor metodológico. Con casi 10.000 corridas documentadas de manera consistente, el dataset de oMLX proporciona por primera vez una base estadística sólida para tomar decisiones sobre qué hardware adquirir para tareas de inteligencia artificial. La implicación es profunda: en un momento en el que los usuarios buscan alternativas a los modelos basados en la nube, la capacidad de ejecutar inteligencia artificial potente en dispositivos personales depende críticamente de comprender qué hardware realmente puede hacer. Las decisiones de compra de millones de usuarios de Mac se ven influenciadas por información confiable, y este proyecto proporciona precisamente eso. Además, el enfoque colaborativo del proyecto demuestra el poder de la ciencia ciudadana en tecnología. Cada usuario que contribuye una prueba de rendimiento fortalece el análisis para todos los demás, creando un círculo virtuoso donde la comunidad se beneficia colectivamente de datos más precisos y contextualizados.