Un modelo de inteligencia artificial de 14 mil millones de parámetros supera a Claude Opus en programación Ada, el lenguaje de sistemas críticos

Un desarrollador ha logrado entrenar un modelo de lenguaje especializado que supera significativamente a Claude Opus 4.6 en la generación de código Ada, el lenguaje de programación utilizado en sistemas de control de vuelo, guía de misiles, satélites y control de tráfico aéreo. Este logro representa un hito importante en la capacidad de las inteligencias artificiales para dominar lenguajes altamente especializados en sistemas de seguridad crítica. El modelo, denominado Steelman R5, se basa en Qwen2.5-Coder-14B-Instruct y fue ajustado mediante QLoRA utilizando un conjunto de datos de 3.430 pares de instrucciones Ada y SPARK compiladas y verificadas por compilador. Cada ejemplo de entrenamiento pasa exitosamente la compilación con gnatmake -gnat2022 -gnatwa, garantizando que el modelo nunca entrena con código defectuoso. Los resultados son contundentes. En una evaluación personalizada sobre 1.000 solicitudes, Steelman R5 alcanza una tasa de compilación limpia en el primer intento del 68,6 por ciento, superando ampliamente a Claude Opus 4.6 con 42,1 por ciento y a Claude Sonnet 4.6 con 37,2 por ciento. En la prueba HumanEval-Ada estándar sobre 157 problemas, Steelman R5 logra un 47,1 por ciento de éxito con capacidad de compilación del 74,5 por ciento. Esto marca la primera vez que se publican resultados de pass@1 en Ada para cualquier modelo de código abierto en HumanEval, una métrica reconocida en la comunidad de investigación de inteligencia artificial. El entrenamiento se realizó en aproximadamente 2-3 días utilizando hardware rentado, específicamente un acelerador H100, con cada ronda de refinamiento tomando alrededor de 49 minutos. La metodología empleada fue rigurosa. El desarrollador utilizó cinco rondas de entrenamiento con aprendizaje de rango bajo (LoRA) con rango 32 y alfa 64, dirigiéndose a proyecciones específicas del modelo. La segunda ronda fue descartada debido a un olvido catastrófico causado por la continuación del adaptador. El conjunto de datos incluye tareas de generación estándar, especificación a implementación, corrección de errores y problemas de múltiples archivos. Sin embargo, el desarrollador es explícito sobre las limitaciones. La compilación exitosa no garantiza la corrección. Mientras que el 68,6 por ciento compila, solo el 47,1 por ciento produce salida correcta en HumanEval. La capacidad de corrección de errores es débil, alcanzando solo el 5,1 por ciento. Además, los datos de entrenamiento fueron generados sintéticamente, sin participación de desarrolladores Ada humanos. Como modelo de 14 mil millones de parámetros, Steelman R5 tendrá limitaciones que modelos más grandes no presentan. Este logro adquiere especial relevancia en un contexto donde los grandes modelos de lenguaje existentes han mostrado un desempeño insuficiente en Ada. Ada es fundamental para la industria aeroespacial, defensa y sistemas de tiempo real, donde los errores pueden tener consecuencias catastróficas. La capacidad de disponer de modelos especializados de código abierto que dominan este lenguaje podría acelerar el desarrollo y mantenimiento de sistemas críticos. El modelo está disponible para descargar y ejecutar localmente en hardware modesto, requiriendo únicamente 12 gigabytes de memoria de video con cuantización Q4_K_M. Esta accesibilidad democratiza el acceso a herramientas de generación de código Ada especializadas, algo impensable hace apenas meses cuando solo los modelos propietarios más avanzados ofrecían cierta competencia en esta tarea.