Un nuevo framework de código abierto denominado Forge promete revolucionar la ejecución de sistemas de inteligencia artificial autónomos en hardware local, transformando modelos de lenguaje de tamaño medio en herramientas fiables para ejecutar flujos de trabajo complejos sin depender de costosos servicios en la nube.
El proyecto, desarrollado por Antoine Zambelli, director de IA en Texas Instruments, aborda un problema fundamental que ha permanecido sin resolver en la comunidad de modelos de lenguaje autohospedados: la brecha de fiabilidad en sistemas agenticos. Mientras que un modelo individual puede lograr una precisión del 90% por paso, un flujo de trabajo de cinco pasos acumula errores hasta alcanzar una tasa de fallos del 40%, haciendo que sistemas prácticos resulten inviables.
Forge introduce una capa de confiabilidad agnóstica al dominio que envuelve cualquier modelo de lenguaje local, añadiendo mecanismos como reintentos inteligentes, cumplimiento de pasos, recuperación de errores y gestión de contexto consciente de memoria de video. Los resultados de las pruebas son espectaculares: un modelo Ministral de 8 mil millones de parámetros salta de una precisión base del 53% a 99.3% en flujos de trabajo complejos, sin modificaciones al modelo mismo.
Los números revelan implicaciones profundas para el panorama actual de la inteligencia artificial. Un modelo local de 8 mil millones de parámetros con Forge alcanza una precisión del 99.3%, apenas 0.7 puntos por debajo de Claude Sonnet con guardrails. Más sorprendente aún: el mismo modelo local de 8 mil millones de parámetros con Forge supera a Claude Sonnet sin guardrails, que logra solo el 87.2%, demostrando que la diferencia fundamental no radica en las capacidades brutas del modelo sino en la arquitectura de orquestación que lo rodea.
La investigación, aceptada para su presentación en la conferencia ACM CAIS 2026, analiza 97 configuraciones diferentes de modelos y backends, 18 escenarios distintos y 50 ejecuciones de cada uno. El análisis estadístico utiliza la prueba de McNemar para validar la significancia de cada componente. Los reintentos inteligentes constituyen el factor más crítico, responsables de caídas de 24 a 49 puntos cuando se deshabilitan. La recuperación de errores añade consistentemente entre 10 puntos, mientras que otros mecanismos como el cumplimiento de pasos resultan más situacionales.
Un hallazgo particularmente relevante indica que la infraestructura de servicio del modelo tiene un impacto dramático: el mismo modelo Mistral-Nemo de 12 mil millones de parámetros produce resultados del 7% con llama-server usando funciones nativas, mientras que alcanza el 83% con Llamafile en modo prompt. Esta brecha de 75 puntos sugiere que muchos benchmarks actuales de modelos de lenguaje no controlan adecuadamente variables de infraestructura.
Otro problema arquitectónico que Forge resuelve es la ausencia de distinción en la ejecución de herramientas entre resultados exitosos que devuelven datos y resultados exitosos que no encuentran datos. Ambos retornan un valor HTTP 200, lo que causa que datos incorrectos se propaguen aguas abajo en el flujo de trabajo. Forge introduce una nueva clase de excepción, ToolResolutionError, permitiendo que el modelo reconozca el error y reintente.
Técnicamente, Forge resuelve desafíos fundamentales en hardware restringido, particularmente la gestión de memoria de video. Tanto Ollama como Llamafile caen silenciosamente a CPU cuando un modelo excede VRAM disponible, reduciendo la velocidad de inferencia entre 10 y 100 veces sin avisar al usuario. Forge consulta nvidia-smi al iniciar y calcula un presupuesto de tokens para prevenir este problema.
El framework se distribuye con un harness de evaluación completo y un dashboard interactivo que permite a otros investigadores reproducir cada resultado. Los desarrolladores pueden clonar el repositorio, ejecutar sus propias evaluaciones con modelos no testeados, o utilizar Forge en modo proxy compatible con OpenAI, integrándose transparentemente con clientes existentes.
Zambelli ya utiliza Forge en su propio asistente doméstico con Ministral 14B-Reasoning y en un sistema autónomo de generación de código donde un modelo de 8 mil millones de parámetros ha conseguido contribuir directamente al código fuente. Estas implementaciones en producción señalan la madurez práctica del sistema más allá de los resultados de laboratorio.
