KaniTTS2: el modelo de síntesis de voz que democratiza la clonación de voces en equipos modestos

Un equipo de desarrolladores ha puesto en código abierto KaniTTS2, un modelo de texto a voz de 400 millones de parámetros diseñado específicamente para aplicaciones conversacionales en tiempo real. La iniciativa representa un hito importante en la accesibilidad de tecnologías de síntesis de voz avanzada, al permitir que usuarios con recursos limitados ejecuten sistemas sofisticados de generación de audio sin necesidad de infraestructuras costosas. Las especificaciones técnicas del modelo revelan un enfoque pragmático hacia la eficiencia computacional. KaniTTS2 funciona con tan solo 3GB de memoria VRAM en una tarjeta gráfica, una cifra sorprendentemente baja para un modelo de esta capacidad. En hardware de gama alta como una RTX 5090, logra una velocidad de procesamiento de 0,2 RTF (Real Time Factor), lo que significa que puede generar un segundo de audio en menos de 200 milisegundos. El modelo opera a una frecuencia de muestreo de 22kHz y fue entrenado con aproximadamente 10.000 horas de contenido de voz en diversos idiomas. Entre sus características principales destaca la capacidad de clonación de voces, que permite a los usuarios recrear patrones de habla específicos con solo unas pocas muestras de audio de referencia. El modelo incluye soporte multilingüe, con versiones específicas para inglés y español, aunque los desarrolladores indican que la expansión lingüística es una prioridad activa en futuras actualizaciones. Lo más significativo, sin embargo, es que los creadores han liberado el código completo de preentrenamiento bajo licencia Apache 2.0. Este gesto democratiza el acceso a los algoritmos de entrenamiento, permitiendo que cualquier persona con los recursos adecuados pueda entrenar su propio modelo de síntesis de voz desde cero para idiomas, acentos o dominios específicos. El equipo utilizó 8 aceleradores H100 durante 6 horas para el entrenamiento inicial, un tiempo razonable considerando la magnitud del modelo. La disponibilidad de todos los componentes a través de plataformas como Hugging Face, incluyendo modelos preentrenados, código de entrenamiento e interfaces interactivas, posiciona a KaniTTS2 como una herramienta potencialmente transformadora para desarrolladores que trabajan en contextos de recursos limitados o en lenguajes infrarepresentados en las soluciones comerciales actuales. Esta iniciativa se inscribe dentro de una tendencia más amplia en la comunidad de inteligencia artificial de ofrecer herramientas poderosas bajo modelos abiertos, cuestionando el monopolio de empresas tecnológicas en tecnologías de síntesis de voz que históricamente han sido propietarias y costosas de implementar.