Un investigador entrena un modelo de IA especializado en teología patrística en apenas 22 horas con una única GPU

Un desarrollador ha completado el entrenamiento de un modelo de lenguaje de 3.000 millones de parámetros especializado en teología cristiana ortodoxa, demostrando que la creación de modelos de IA de dominio específico es cada vez más accesible para investigadores independientes. El proyecto, bautizado como Paterikon-3B, consistió en el entrenamiento continuo del modelo base Qwen2.5-3B-Instruct utilizando exclusivamente una tarjeta gráfica RTX 3090, completando el proceso en 22 horas. El modelo fue lanzado en la festividad ortodoxa del Triunfo de la Ortodoxia, el primer domingo de Cuaresma de 2026, junto con su corpus de entrenamiento de acceso público. El entrenamiento se basó en 116 millones de tokens procedentes de literatura patrística ortodoxa, cubriendo textos de 123 padres de la Iglesia distribuidos a lo largo de 23 épocas históricas. El corpus incluye aproximadamente 67.000 pasajes únicos, con metadatos enriquecidos que especifican el autor, período histórico, idioma original y fuente de cada fragmento. Los idiomas predominantes fueron el ruso con un 98% de representación, seguido del inglés con un 2%, además de fragmentos en griego y latín. Los resultados técnicos muestran mejoras significativas respecto al modelo base. La pérdida de entrenamiento alcanzó 0,459, mientras que la precisión en tokens mejoró de entre el 55-58% del modelo Qwen original a aproximadamente el 65,8%. El optimizador utilizado fue Adafactor, permitiendo un entrenamiento eficiente en memoria en hardware de consumidor. Los ejemplos de generación del modelo demuestran su especialización. Cuando se le solicita completar la frase sobre el propósito de la oración según San Juan Crisóstomo, el modelo genera explicaciones coherentes sobre la gracia divina y la necesidad de comprensión emocional. Con preguntas sobre San Gregorio Palamás, articula correctamente la distinción teológica entre la esencia divina y las energías divinas, conceptos centrales en la tradición ortodoxa. El desarrollador ha dejado clara la naturaleza provisional del lanzamiento. El modelo actual es un checkpoint de preentrenamiento continuo que aún no ha sido completamente ajustado mediante instrucciones. Se encuentran en progreso las fases siguientes: un bucle de aprendizaje activo con ajuste supervisado en fase 2, y un ajuste supervisado completo sobre aproximadamente 98.000 pares de pregunta-respuesta en fase 3. Tanto el modelo como el corpus han sido liberados bajo licencias de código abierto (Apache 2.0 y CC-BY-4.0), facilitando su uso para investigación académica y experimentación. El corpus incluye fuentes de repositorios públicos especializados en patrística ortodoxa como Azbyka.ru, la Oficina del Patriarca de la Iglesia Ortodoxa de América, y la Biblioteca Cristiana de Textos Clásicos (CCEL). Este proyecto ilustra una tendencia creciente en el panorama del machine learning: la democratización de la creación de modelos especializados. La capacidad de entrenar modelos de dominio específico en hardware asequible, en marcos de tiempo relativamente cortos y con acceso público al corpus de entrenamiento, abre nuevas posibilidades para preservación digital de tradiciones religiosas, investigación académica interdisciplinaria y desarrollo de herramientas de asistencia para estudiosos de teología patrística. El enfoque completo de ajuste de pesos frente a técnicas alternatives como LoRA demuestra la viabilidad técnica y económica de modernizar infraestructuras de datos legales en comunidades académicas especializadas.