Needle: el modelo de IA de 26 millones de parámetros que trae las capacidades de agentes inteligentes a smartphones y dispositivos de bolsillo

Un equipo de investigadores ha logrado lo que parecía contradictorio hace apenas unos meses: comprimir las capacidades de llamada a funciones de modelos de lenguaje gigantes en un modelo extremadamente compacto de apenas 26 millones de parámetros, capaz de ejecutarse fluidamente en dispositivos de consumo convencionales. Needle, presentado esta semana como proyecto de código abierto, representa un cambio paradigmático en cómo se entiende la construcción de agentes inteligentes para dispositivos móviles, relojes inteligentes y gafas de realidad aumentada. El modelo alcanza velocidades de procesamiento de 6.000 tokens por segundo en la fase de prefill y 1.200 tokens por segundo en decodificación, haciéndolo práctico para experiencias de usuario fluidas en hardware limitado. La investigación que sustenta Needle parte de una observación fundamental: la mayoría de experiencias con agentes de IA se basan en capacidades de llamada a funciones —la habilidad de identificar qué herramienta usar, extraer los parámetros correctos y emitir respuestas estructuradas en JSON—, tareas que no requieren del razonamiento complejo que justifica modelos masivos. Según el análisis del equipo, estas operaciones son esencialmente tareas de recuperación y ensamblaje: hacer coincidir una consulta con el nombre de una herramienta y extraer valores de argumentos. Esta comprensión llevó al equipo a una arquitectura radicalmente diferente: Needle elimina completamente las redes neuronales feedforward tradicionales, reemplazándolas con una estructura basada únicamente en mecanismos de atención y compuertas de control. Esta decisión arquitectónica se basa en la teoría de que los parámetros de feedforward —típicamente responsables de almacenar información factual— son desperdicio cuando el modelo tiene acceso a conocimiento externo estructurado en la entrada. El entrenamiento de Needle seguía un proceso en dos fases: primero, preentrenamiento en 200 mil millones de tokens distribuidos en 16 procesadores TPU v6e durante 27 horas, seguido de un ajuste posterior en 2 mil millones de tokens de datos sintéticos de llamada a funciones, completado en solo 45 minutos. Los datos de entrenamiento fueron sintetizados usando Gemini, cubriendo 15 categorías de herramientas —temporizadores, mensajería, navegación, control del hogar inteligente y otras funciones típicas de dispositivos móviles. En evaluaciones preliminares, Needle supera a modelos especializados significativamente mayores como FunctionGemma de 270 millones de parámetros, Qwen 0.6B, Granite 350M y LFM2.5 350M en tareas de llamada a funciones de una sola ejecución. Sin embargo, los investigadores reconocen que estos modelos más grandes mantienen ventajas en contextos conversacionales y en amplitud de capacidades. El hallazgo sobre la innecesariedad de los parámetros feedforward parece generalizarse más allá de la llamada a funciones hacia cualquier tarea donde el modelo accede a conocimiento externo estructurado, incluyendo generación aumentada por recuperación (RAG) y otros sistemas de recuperación-aumento. Esta observación abre preguntas fundamentales sobre cómo deberían diseñarse los modelos de lenguaje cuando el contexto proporciona información factual. Needle forma parte del proyecto más amplio Cactus, un motor de inferencia construido desde cero para dispositivos móviles, portátiles y hardware personalizado. El código completo está disponible bajo licencia MIT, incluyendo tanto los pesos del modelo como herramientas para ajuste fino en computadoras convencionales. La disponibilidad de estos recursos permitirá que desarrolladores prueben la arquitectura con sus propias herramientas y conjuntos de funciones específicos.