Un desarrollador ha logrado una hazaña técnica poco común en el mundo de la inteligencia artificial: hacer funcionar modelos de lenguaje de última generación en hardware de hace más de dos décadas. MacinAI Local es una plataforma completa de inferencia de IA que opera de forma nativa en computadoras clásicas de Apple, sin requerir conexión a internet y utilizando sistemas operativos como Mac OS 9.
Lo que distingue este proyecto de intentos anteriores similares es su ambición y profundidad técnica. Mientras que proyectos previos de "IA en hardware antiguo" se limitaban a portar implementaciones existentes con modelos diminutos de apenas 260.000 parámetros, MacinAI Local fue construido desde cero. El desarrollador escribió un motor de inferencia personalizado en C89 que interactúa directamente con las API de Mac Toolbox y gestiona la memoria de forma optimizada para sistemas clásicos.
La plataforma es agnóstica respecto a modelos: soporta GPT-2 con 124 millones de parámetros, TinyLlama, Qwen con 500 millones de parámetros, y otros modelos de la arquitectura LLaMA disponibles en HuggingFace. Además incluye un modelo personalizado de 100 millones de parámetros entrenado específicamente con textos relacionados con Macintosh clásico, incluyendo documentación Inside Macintosh, archivos de Usenet y referencias de programación.
La optimización del rendimiento ha sido crucial. Mediante la utilización de SIMD AltiVec en el procesador PowerPC G4, los desarrolladores lograron una aceleración de 7.3x respecto a la versión sin optimizar, reduciendo el tiempo de generación de tokens de 2.4 segundos a 0.33 segundos con cuantización Q8. El hardware de demostración es un PowerBook G4 Titanium de 2002 con procesador de 1 GHz y 1 GB de RAM ejecutando Mac OS 9.2.2.
Para máquinas con memoria limitada, la plataforma implementa paginación en disco, permitiendo que capas del modelo se almacenen en el disco duro y se carguen bajo demanda. Esto habilita que TinyLlama de 1.1 mil millones de parámetros funcione incluso en máquinas con apenas 1 GB de RAM, aunque con velocidades más reducidas: aproximadamente 10 segundos por token.
Una característica sofisticada es la capacidad de control de sistemas mediante AppleScript. El modelo de IA puede generar scripts para lanzar aplicaciones, gestionar archivos, abrir paneles de control y automatizar tareas del sistema, solicitando confirmación del usuario antes de ejecutar cualquier operación. La respuesta se reproduce en voz alta utilizando las voces de PlainTalk del Macintosh.
Desde el punto de vista técnico, el proyecto es notable por su alcance. Incluye un tokenizador BPE con 8.205 tokens, soporte para múltiples arquitecturas de procesador (68000, 68030, 68040 y PowerPC G3/G4) y fue compilado con CodeWarrior Pro 5. El desarrollo requirió descubrir y resolver incluso un error del compilador durante la optimización AltiVec.
Este tipo de proyectos desafía la percepción contemporánea de qué requiere la inteligencia artificial para funcionar. Aunque las velocidades de inferencia son modestas en comparación con hardware moderno, demuestran que conceptos de IA avanzada pueden ejecutarse en máquinas con restricciones severas de recursos. Para el ecosistema de máquinas clásicas y retro-computing, representa una nueva dimensión de utilidad de estos sistemas históricos.
Los próximos pasos del proyecto incluyen portar la plataforma a máquinas aún más antiguas, como la Macintosh LC 575 Color Classic Mystic de 1993, hardware que la arquitectura actual ya soporta teóricamente.
