Apple ha puesto en circulación de forma discreta una pila completa de inteligencia artificial ejecutada en el dispositivo en macOS, con acceso a API para estos modelos desde la versión 26 del sistema operativo. Se trata de un modelo de lenguaje de aproximadamente tres mil millones de parámetros que funciona sin necesidad de claves API, llamadas a servidores en la nube ni costes por token, marcando un punto de inflexión en la forma de entender la privacidad en las aplicaciones de productividad.
La infraestructura disponible en los Macs modernos incluye tres componentes fundamentales que hasta ahora permanecían en gran medida sin ser explotados por desarrolladores. El primero es el Foundation Model, un modelo de lenguaje de tres mil millones de parámetros con capacidades de streaming, salida estructurada y uso de herramientas. El segundo componente es NLContextualEmbedding, un incrustador de texto de 512 dimensiones en el estilo de BERT que ha estado disponible en los SDK de Apple desde iOS 17, permitiendo búsquedas semánticas sin depender de servicios externos. El tercero es SpeechAnalyzer, sistema de transcripción de voz a texto local que demuestra una precisión notable en los procesadores Apple Silicon.
Un desarrollador identificado como uncSoft ha demostrado el potencial de esta arquitectura creando CyberWriter, un editor de Markdown que integra estas tres capacidades de forma coherente. La aplicación permite realizar búsquedas semánticas en carpetas de notas escribiendo términos como "mecánica orbital" para recuperar documentos sobre cohetes y ventanas de lanzamiento, incluso cuando esas palabras exactas no aparecen en el texto. El sistema funciona mediante retrieval-augmented generation, una técnica que indexa documentos localmente en aproximadamente cincuenta segundos por cada mil fragmentos en un procesador M1.
La característica de "Espacio de Trabajo IA" permite acceder a diferentes modelos mediante atajos de teclado. Mientras que Apple Intelligence actúa como opción predeterminada, los usuarios pueden cambiar a Claude, OpenAI, Ollama o LM Studio según sus preferencias. Lo particularmente innovador es que el contexto se canaliza a través de la misma arquitectura de mensaje del sistema, manteniendo la capacidad de crear enlaces inversos automáticos cuando la IA edita o crea documentos.
La propuesta de valor de CyberWriter es fundamentalmente diferente a otras herramientas de productividad con IA integrada. Todos los vectores de incrustación se almacenan en un archivo JSON local junto a la carpeta de documentos, nunca se transmiten a servidores remotos. El audio de las notas de voz nunca abandona el Mac. Incluso cuando se utiliza Apple Intelligence, el texto recuperado del contexto permanece en el dispositivo. Solo en el caso de elegir modelos en la nube existe una alternancia explícita y una advertencia en línea antes de que nombres de archivos o fragmentos de texto salgan de la máquina.
El desarrollador reconoce limitaciones técnicas en su implementación. Las incrustaciones de 512 dimensiones son competentes pero no capturan relaciones semánticas tan sutiles como las que ofrecen incrustadores de clase GPT-4. Los fragmentos de 256 tokens pueden dividir párrafos largos en mitad de un argumento. El contexto del Foundation Model se limita a aproximadamente seis mil caracteres, lo que obliga a presupuestar tres mil caracteres para el contexto de la bóveda con truncamiento del resto.
Esta iniciativa expone un fenómeno interesante en el ecosistema de desarrollo de Apple. Las primitivas necesarias para construir aplicaciones sofisticadas de IA local han estado disponibles durante años, pero permanecieron largamente sin ser aprovechadas. El Foundation Model, aunque más pequeño que modelos como GPT-4 o Claude 3.5, proporciona capacidades suficientes para muchos casos de uso empresariales cuando se combina con búsqueda semántica local y transcripción de voz. La ausencia de costes de API y la ejecución local resultan particularmente atractivas para desarrolladores que trabajan con datos sensibles, como información sanitaria, registros financieros o documentación legal.
La experiencia de desarrollador que ofrece la API de Foundation Models es descrita como "genuinamente buena" por quienes la han explorado. El streaming funciona de manera fluida, NLContextualEmbedding descarga recursos bajo demanda y devuelve vectores de tokens que pueden promediarse con solo algunas líneas de código. Este conjunto de herramientas representa lo que muchos desarrolladores consideraban fruta fácil de recoger en el ecosistema de Apple durante años, pero que nunca llegó a materializarse en aplicaciones visibles para el usuario general.
