Gobierno Vasco y TSA prueban el doblaje automático de contenidos audiovisuales al euskera

En los dibujos animados, el doblaje automático ha sido capaz de reproducir con gran fidelidad la voz de los personajes, realizando clonado de voces originales, así como el ritmo y la expresión de los diálogos. Al ser unos dibujos animados, la sincronización de las voces es más eficiente que en personajes reales. En el caso de este tipo de contenido infantil, el doblaje automático puede ser explotado rápidamente y de forma totalmente automática, siempre que se realice un control de calidad final por parte de un técnico que corrija posibles errores. Este nuevo hito, abre una nueva dimensión y monetización a todos los contenidos infantiles que existen en innumerables archivos históricos, tanto contenidos antiguos como contenidos modernos, el poder dotarles del idioma euskera aumenta su valor y acerca a un púbico joven contenidos que caso contrario se perderían, por el elevado coste de un doblaje tradicional manual.

Un elemento fundamental del proyecto ha sido poder contar con el servicio de síntesis de voz en euskera del proyecto Itzuli. La Sociedad Pública Vasca ha aportado al proyecto el servicio de acceso tres voces en euskera, dos femeninas y una masculina, con una muy alta calidad, lo que ha permitido usarlas como base para el clonado de voces. La alta calidad de los datos con los que se han entrenado estas voces ha permitido que el resultado tras el clonado hayan sido unas voces con una prosodia muy natural. Adicionalmente se ha puesto a disposición del proyecto el servicio de traducción del proyecto Itzuli cuya implementación basada en redes neuronales ha permitido un nivel de traducción automática muy bueno.

En el caso de la serie y el documental, el doblaje automático ha sido menos satisfactorio. En la serie, el doblaje automático ha sido capaz de traducir, doblar y reproducir con fidelidad el clonado de la voz del personaje principal, pero no ha sido capaz de captar el sentimiento, ritmo y la expresión de los diálogos, sobre todo en las frases cortas. En el documental de telerrealidad, el doblaje automático ha sido menos preciso, con errores en la pronunciación y en la comprensión del contexto. Este ejemplo utilizado es aún más complejo que una película o serie de ficción. En un documental más clásico, con un narrador, la estimación de éxito es muy superior al docu reality.

En todos los casos, los resultados indican que la tecnología de doblaje automático está progresando. Sin embargo, es preciso continuar con el desarrollo para optimizar su eficacia en contenidos audiovisuales más complejos, como películas y series

Factores que influyen en los resultados

Los resultados de la prueba de concepto han sido influenciados por una serie de factores, entre los que se encuentran:

• El tipo de contenido: Los dibujos animados, que suelen tener un ritmo más pausado y diálogos más sencillos, son más fáciles de doblar automáticamente que las series y películas, que suelen ser más complejos y requieren una mayor precisión en la pronunciación y la comprensión del contexto.
• La calidad de los datos de entrenamiento: La precisión del doblaje automático depende de la calidad de los datos de entrenamiento que se utilizan para entrenar el modelo. En este caso, los datos de entrenamiento utilizados eran de alta calidad, lo que ha contribuido a mejorar los resultados.
• La tecnología utilizada: Los desarrollos específicos de inteligencia artificial utilizados para el doblaje automático también influyen en los resultados. En este caso, se ha utilizado una tecnología de vanguardia, basada en transformers, que ha permitido obtener resultados satisfactorios en el caso de los dibujos animados. Estos transformes incluyen transcripción automática, traducción, clonado de voces y sincronización de labios