Lythonic: un nuevo framework que simplifica la composición de funciones Python en pipelines de flujo de datos

Un desarrollador identificado como Sergey ha presentado Lythonic, una herramienta de código abierto diseñada para transformar funciones Python en pipelines de flujo de datos complejos. El proyecto, disponible bajo licencia MIT, representa años de iteración y refinamiento en la búsqueda de una solución elegante para orquestar operaciones asincrónicas y síncronas en Python. Lythonic funciona como un framework asincrónico que permite mezclar funciones Python síncronas y asincrónicas, componiéndolas en grafos acíclicos dirigidos (DAGs, por sus siglas en inglés). Una vez construidos, estos pipelines pueden ejecutarse, programarse mediante tareas cron y persistir datos entre pasos o mantenerlos en memoria, según las necesidades del usuario. La arquitectura de Lythonic se basa en principios de programación funcional pura. El framework requiere anotaciones de tipos para los parámetros y valores de retorno, lo que permite conectar automáticamente las salidas de una función con las entradas de la siguiente. Los datos se almacenan en SQLite como JSON, una aproximación pragmática que funciona razonablemente bien para volúmenes moderados de información. Lo interesante de esta propuesta es su flexibilidad. Los desarrolladores pueden utilizarla de múltiples formas: como un flujo de tareas tradicional manteniendo los parámetros vacíos y gestionando datos externamente, o adoptando un enfoque intermedio donde solo los metadatos fluyen a través del pipeline, suficiente para mantener reproducibilidad y un registro confiable de ejecuciones. Lythonic requiere Python 3.11 o superior y cuenta con dependencias mínimas: Pydantic, PyYAML y Croniter. El proyecto se encuentra en fase de preparación para su versión 0.1, siendo la 0.0.14 la más reciente disponible. Sergey ha comunicado estar trabajando en una interfaz web y una aplicación de ejemplo de extremo a extremo para demostrar el potencial del framework. Esta herramienta llega en un momento donde la orquestación de flujos de trabajo se ha convertido en un componente crítico de la infraestructura de datos moderna. Con la creciente necesidad de manejar pipelines complejos en machine learning y procesamiento de datos, frameworks que simplifiquen esta tarea sin agregar complejidad innecesaria representan una contribución valiosa a la comunidad Python.