Un ingeniero ha realizado un análisis comparativo exhaustivo que desafía algunas creencias establecidas sobre la capacidad de los ordenadores Apple para ejecutar modelos de lenguaje de gran tamaño. Los resultados de las pruebas de rendimiento, realizadas en tres configuraciones distintas de Mac equipadas con chips de silicio Apple, revelan patrones sorprendentes sobre cómo se comportan estos sistemas cuando se someten a cargas de trabajo de inteligencia artificial intensivas.
El estudio evaluó cinco modelos de lenguaje de pesos abiertos: Gemma 3 de Google, GPT OSS de OpenAI, Nemotron 3 Nano de NVIDIA, Qwen 3 de Alibaba y otros modelos cuantitativos. Las pruebas se ejecutaron en tres máquinas con características muy diferentes: un MacBook Air con M4, un Mac mini con M4 de base y un Mac Studio con M1 Ultra, cada uno con distintas cantidades de memoria RAM y capacidad de almacenamiento.
La metodología fue rigurosa. El investigador descargó los modelos en precisión de 16 bits y con cuantización de 8 y 4 bits desde Hugging Face, cerró todas las aplicaciones excepto el terminal y ejecutó las pruebas de rendimiento utilizando llama-bench, registrando después los resultados en hojas de cálculo para su posterior análisis gráfico. Este proceso permitió medir dos métricas clave: tokens procesados por segundo durante la fase de procesamiento de prompts (pp512) y tokens generados por segundo durante la fase de generación de texto (tg128).
Los hallazgos desafían algunas suposiciones tradicionales sobre la relación entre coste y rendimiento en computación de inteligencia artificial. El Mac mini M4 de base, con un precio inicial de 599 dólares, superó significativamente al Mac Studio M1 Ultra mucho más caro en la generación de tokens cuando se utilizaban modelos más pequeños que cabían completamente en la memoria RAM disponible. Esta ventaja proviene de las velocidades de reloj superiores del M4, que compensan la menor cantidad de núcleos de procesamiento en comparación con el Ultra.
Sin embargo, la investigación también reveló limitaciones importantes. Cuando los modelos eran demasiado grandes para caber en la memoria disponible, el sistema operativo recurría al intercambio con el almacenamiento SSD. Dado que el ancho de banda de memoria del M4 alcanza 120 GB/s frente a los 5-7 GB/s del SSD, el rendimiento se desplomaba dramáticamente. En algunos casos extremos, cuando el procesador, la RAM y la GPU se saturaban simultáneamente, el ordenador experimentaba panics del kernel que forzaban el reinicio completo del sistema.
El análisis distingue entre dos tipos de operaciones: el procesamiento de prompts, que es computacionalmente intensivo y favorece máquinas con más núcleos y GPU, y la generación de tokens, que beneficia más de velocidades de reloj más altas. El Mac Studio Ultra mostró claramente su superioridad en tareas de procesamiento de prompts gracias a sus 64 núcleos GPU y 16 núcleos de rendimiento, pero esta ventaja se esfuma con modelos pequeños donde el factor limitante es la velocidad de reloj.
Esta investigación tiene implicaciones prácticas significativas para desarrolladores y empresas que buscan integrar modelos de lenguaje en aplicaciones macOS. Para aplicaciones que utilizan modelos de alrededor de 270 millones de parámetros, una máquina base más nueva y económica puede ofrecer mejor relación precio-rendimiento que hardware más antiguo y costoso. La decisión de inversión ya no es simplemente elegir la máquina más potente disponible, sino emparejar cuidadosamente el tamaño del modelo con las capacidades específicas del hardware.
El investigador ha compartido los datos brutos en repositorios públicos para que otros puedan verificar los resultados y profundizar en los análisis. En un ecosistema tecnológico donde la inteligencia artificial se vuelve cada vez más prevalente en aplicaciones cotidianas, estos datos comparativos resultan valiosos para informar decisiones arquitectónicas y presupuestarias. Los patrones observados sugieren que la próxima generación de desarrollo de IA en plataformas Apple requerirá una comprensión más matizada de cómo los diferentes componentes del hardware interactúan bajo presión de cargas de trabajo reales, especialmente considerando los efectos contraproducentes del intercambio de memoria que pueden no solo degradar el rendimiento, sino también comprometer la estabilidad del sistema.
