MioTTS: Modelos de síntesis de voz ultraligeros que clonan voces sin entrenamiento previo

Un desarrollador independiente ha lanzado MioTTS, una familia de modelos de síntesis de voz basados en grandes modelos de lenguaje que promete revolucionar la generación de audio en dispositivos con recursos limitados. La gama de modelos oscila entre 0,1 mil millones y 2,6 mil millones de parámetros, ofreciendo opciones escalables para diferentes casos de uso. Lo más destacado del proyecto es la capacidad de clonación de voz sin necesidad de entrenamiento específico. MioTTS puede replicar características vocales de alta fidelidad a partir de muestras de audio breves, una característica que ha sido históricamente problemática en sistemas de síntesis de voz. Esta funcionalidad abre posibilidades significativas en accesibilidad, creación de contenido y aplicaciones de traducción. El desarrollo incluye MioCodec, un códec neural de audio personalizado diseñado específicamente para minimizar la latencia sin comprometer la calidad del sonido. Este componente es crucial para aplicaciones en tiempo real, permitiendo velocidades de procesamiento (RTF) que van desde 0,04 hasta 0,145 segundos de audio procesado por segundo de tiempo real, dependiendo del tamaño del modelo. La formación de MioTTS se realizó sobre aproximadamente 100.000 horas de datos de habla en inglés y japonés, lo que confiere al sistema capacidades bilingües desde el inicio. Esta cobertura multiidioma es especialmente relevante en un mercado global donde la mayoría de sistemas TTS comerciales priorizan el inglés. El proyecto adopta diferentes licencias según el modelo base utilizado: Falcon-LLM, LFM Open v1.0 y Apache 2.0. El código de inferencia está disponible en repositorios públicos, junto con demostraciones interactivas que permiten a investigadores y desarrolladores evaluar las capacidades del sistema de forma inmediata. Esta iniciativa representa una tendencia emergente en la comunidad de IA de código abierto: la optimización de modelos para ejecutarse eficientemente en dispositivos de consumo. A medida que los modelos más pequeños demuestran capacidades comparables a sus homólogos mayores, la barrera de entrada para implementar tecnología avanzada de síntesis de voz continúa descendiendo. El desarrollador solicita explícitamente retroalimentación sobre la prosodia del inglés, indicando consciencia de las limitaciones potenciales del sistema en idiomas que no constituyen su foco de desarrollo principal. Esta apertura a crítica constructiva sugiere un enfoque iterativo en el desarrollo, donde el feedback comunitario guiará futuras mejoras.