Nuestra voz en las máquinas

Historia, retos y consideraciones para la síntesis de voz

No hace falta ser experta en tecnología para ver que nuestra forma de interactuar con las máquinas está en constante evolución: los primeros ordenadores usaban tarjetas perforadas, que con el tiempo dieron paso a la línea de comandos. Más adelante, con la llegada y popularización de las interfaces gráficas en los años 70 y 80, tuvo lugar una democratización de la informática: con el ratón y los iconos, la gran mayoría de las personas podía interactuar con un ordenador sin conocimientos de programación. Tras la aparición de los teléfonos móviles, surgió la necesidad de las interfaces táctiles, popularizadas en 2007, y pocos años después, los primeros asistentes conversacionales pusieron el lenguaje natural y la voz en el centro de la interacción.

Curiosamente, lejos de dejar obsoletas a las anteriores, estos modos de interactuar se han ido acumulando y conviven según las necesidades, las preferencias y el contexto de las personas que los usan. El resultado es la multimodalidad: la posibilidad de interactuar con las máquinas a través de varios canales a la vez, y de elegir el más adecuado en cada momento. En ese marco, la voz ha pasado de ser un canal periférico a convertirse en una interfaz de primer orden.

Las tecnologías del habla están cada vez más presentes en nuestro día a día y permiten que las máquinas entiendan lo que decimos (STT, del inglés Speech to Text) o que nos hablen con voces cada día más naturales (TTS, del inglés Text to Speech). En los últimos años, con el auge de los modelos del lenguaje, también han surgido modelos Speech to Speech que procesan audio de extremo a extremo, sin pasar por texto. Este artículo se centra en las voces sintéticas: en cómo se construyen y en todo lo que hay que tener en cuenta en ese proceso.

De los autómatas a los modelos del lenguaje: una breve historia de la síntesis de voz

Es mentira; esta sección no es breve. De hecho, ni siquiera es imprescindible para entender el resto del artículo. Así que, si eres un poco friki y te interesa el tema, toda tuya, pero, si estás como casi todo el mundo y no te da la vida, con el TLDR basta.

TLDR: La forma de construir voces sintéticas ha cambiado radicalmente: si bien antes era necesario grabar a una única persona durante cientos de horas para replicar su voz, hoy los modelos se entrenan con miles de horas de audio de miles de hablantes diferentes y son capaces de generar nuevas voces desde cero o clonar voces con apenas unos segundos de muestra.

Los primeros mecanismos de síntesis de voz no nacieron de la mano de los ordenadores, sino de la de los autómatas. En la literatura medieval árabe y europea, ya encontramos referencias a las cabezas parlantes: artefactos que, supuestamente, hablaban gracias a mecanismos complejos, trucos de ventriloquia, ilusionismo o, por qué no, magia. Pero es en el siglo XVIII, época de esplendor de los autómatas, cuando estos intentos adquieren rigor científico.

En 1769, Wolfgang von Kempelen construyó su máquina parlante: un aparato capaz de articular sonidos mediante fuelles que simulaban los pulmones, una boquilla de goma, una lengüeta para imitar los pliegues vocales y silbatos para las fricativas.

Más adelante, el austriaco Joseph Faber dedicó décadas a perfeccionar su Eufonía, presentada por primera vez en 1845. Se trataba de una máquina que producía dieciséis sonidos elementales, en teoría los suficientes para construir cualquier palabra en las lenguas europeas. Además de alemán, podía hablar inglés y francés con el acento alemán de su creador y también susurrar y reírse. A pesar de la fascinación que despertó la máquina, gran parte del público experimentó rechazo hacia esta voz debido a su similitud con algo humano, pero sin llegar a serlo; un fenómeno que décadas más tarde, en 1970, Masahiro Mori denominaría valle inquietante.

Más allá de lo anecdótico, es relevante resaltar que llevamos siglos intentando perfeccionar voces sintéticas y, aun así, muchos de los retos actuales ya estaban presentes en los autómatas: la persistencia del idioma o dialecto de las voces sobre las que se ha entrenado un modelo, la necesidad de usar voces sintéticas multilingües o ese rechazo visceral que se puede llegar a experimentar ante una voz sintética que suena casi humana, pero que aún percibimos como artificial.

El enfoque aplicado en estos autómatas era el de generar sonidos aislados para después unirlos y formar palabras y frases. Ya de la mano de la informática, en los años 50, esta idea perduró y dio lugar a los grandes paradigmas que dominarían el campo durante décadas.

La síntesis por formantes generaba voz modelando matemáticamente las frecuencias características del tracto vocal humano. Se trataba de una técnica computacionalmente ligera, flexible y que no requería grabaciones previas, pero el resultado era muy robótico. Estas voces se utilizaron en lectores de pantalla para personas con discapacidad visual, sistemas de IVR en telefonía, juguetes o los primeros sistemas de navegación, por ejemplo, pero probablemente el ejemplo más conocido es el sistema de DECtalk, que le devolvió la voz a Stephen Hawking… con ese acento americano típico de alguien nacido en Oxford.

La síntesis articulatoria buscaba modelar físicamente el tracto vocal completo, desde los pulmones hasta los labios, de forma similar a lo que planteaba Kempelen. Aunque teóricamente era un enfoque riguroso, no era viable en aquella época y nunca pasó a la práctica.

La síntesis concatenativa, en lugar de generar voz desde cero, optaba por fragmentar grabaciones de habla humana en unidades de un tamaño fijo para combinarlas posteriormente. El resultado de este tipo de síntesis era más natural en segmentos cortos, pero mantener la coherencia prosódica entre fragmentos era un problema difícil, y construir y gestionar las bases de datos de grabaciones resultaba muy costoso.

En los años 90, la síntesis concatenativa mejoró en naturalidad gracias a la selección de unidades: ahora, en lugar de unidades fijas, el sistema elegía la unidad más larga posible que encajara en el contexto. Esta unidad más larga podía llegar a ser una frase entera, si ya estaba grabada.

Paralelamente, los modelos ocultos de Markov (HMM) introdujeron un enfoque estadístico que permitía mayor flexibilidad y control sobre la voz sintetizada. Ya no era necesario grabar todas las combinaciones posibles de sonidos: el modelo aprendía las distribuciones probabilísticas del habla, como la secuencia de fonemas, su duración o las transiciones y hacía generalizaciones. La consistencia mejoró notablemente, pero el sonido seguía siendo perceptiblemente artificial. Para ubicarnos, estamos en la época de las primeras voces sintéticas de Apple y Google.

A principios de los 2010, las redes neuronales profundas empezaron a sustituir los modelos gaussianos dentro del flujo de los HMM, mejorando la calidad, pero fue a partir de la segunda mitad de esa década cuando la tecnología de las voces sintéticas dio un salto cualitativo.

En 2016, Google DeepMind publicó WaveNet, un vocoder neuronal con el que demostró que las redes neuronales podían generar la forma de onda a partir de una representación acústica intermedia (transcripciones fonéticas enriquecidas con información prosódica), con una calidad superior a las anteriores.

Un año después, Tacotron hace posible convertir texto directamente en un espectrograma mel. Combinado con WaveNet, que genera el audio a partir de ese espectrograma, se da por primera vez un flujo sin intervención humana: texto → espectrograma → audio. La versión mejorada del modelo, Tacotron 2, logró sintetizar voces con una calidad casi indistinguible de la voz humana (MOS de 4,53 frente al 4,58 de la voz humana grabada profesionalmente).

En 2019 se publica FastSpeech, un modelo que genera el espectrograma en paralelo, ganando en velocidad a Tacotron, que era lento por su naturaleza autorregresiva. Y, en 2021, surge VITS, un modelo end-to-end, que integra el modelo acústico y vocoder en un único modelo y que tiene un único objetivo: generar voces sintéticas. Al eliminar la necesidad de enviar una representación intermedia entre el modelo acústico y el vocoder, deja de perderse información en este punto. Este cambio supuso una mejora en naturalidad y expresividad y permitió tener una arquitectura más limpia.

En paralelo, los modelos de difusión (2021), en lugar de generar el audio token a token, lo hacen de forma iterativa, limpiando progresivamente una representación hasta lograr una síntesis de buena calidad.

En 2022, se publicó NaturalSpeech, el primer modelo en obtener una puntuación igual a la de la voz humana en pruebas de evaluación perceptiva.

Ese mismo año salió a la luz AudioLM, el primer modelo de lenguaje de códec neuronal. Estos modelos, en lugar de trabajar con espectrogramas, convierten el audio en representaciones discretas (tokens) y, como un LLM, aprenden a generarlas en secuencia, sin necesidad de usar un vocoder. Un año más tarde, le sucede VALL-E, entrenado para el inglés con más de 60.000 horas de habla y más de 7.000 hablantes diferentes. Gracias a esta tecnología, por primera vez es posible clonar la voz de una persona a partir de una grabación de apenas tres segundos. ¿Alguien recuerda en qué año nació ElevenLabs?

En los últimos años, el ritmo de aparición de nuevos modelos (de códec neuronal y de difusión) no ha hecho más que acelerarse, con mejoras en la calidad, la expresividad, el multilingüismo y la velocidad de generación.

El corpus acústico

Como decíamos, los modelos de síntesis de voz están entrenados sobre miles de horas de audio de diferentes hablantes, así que la calidad de la voz sintética siempre va a depender de la calidad de este corpus. A grandes rasgos, para garantizar la calidad, necesitamos un corpus con variación fonética y prosódica, alineado con un corpus textual adaptado para la síntesis de voz. Además, idealmente, estas grabaciones deberían realizarse sin interrupciones, ruidos de fondo, correcciones, titubeos…

Sin embargo, esta calidad no es algo invariable y siempre va a depender de las voces que quieras sintetizar: por ejemplo, si quieres generar una voz masculina neutra para atención al cliente, necesitas un corpus con características vocales graves o masculinas y frases cortas y medias. Y si necesitas una voz sintética con acento gallego, necesitas que ese corpus esté grabado con ese acento.

Y aquí es cuando empiezan los retos, porque los corpus en español tienen menos horas de grabación que en otros idiomas, como el inglés. Además, es frecuente que, para ampliar estos corpus, se incluyan grabaciones de peor calidad y se mezclen dialectos del español e incluso idiomas. ¿Alguna vez has probado a clonar tu voz y te ha parecido que tenías acento inglés? Pues ya sabes por qué.

En Europa, la legislación es más estricta que en otras zonas del mundo (¡ojo, esto es bueno!): a la hora de crear un corpus de voz, el Reglamento General de Protección de Datos de la Unión Europea (RGPD) hace obligatorio el consentimiento informado y la limitación de finalidad. Es decir, construir un corpus en Europa requiere consentimiento explícito de cada hablante, lo que encarece y ralentiza el proceso y limita el volumen de datos disponibles respecto a otros contextos regulatorios, como Estados Unidos o China.

En muchos países de Hispanoamérica la regulación es más laxa, lo que facilita la recopilación de datos de voz a mayor escala. Esto explica en parte la disponibilidad de grandes corpus de voz en algunas variedades hispanoamericanas y también por qué muchas voces sintéticas en español de España pueden tener un deje latinoamericano.

Con la expresión español de España englobamos todos los dialectos que conforman nuestro idioma en este país, aunque nadie se sorprenderá al saber que el dialecto predominante en la síntesis de voz es el castellano estándar.

En todo caso, en español, en términos generales, tenemos suerte porque no se trata de una lengua de bajos recursos. El problema lo encontramos con lenguas minoritarias y en dialectos porque, si no se dedican suficientes recursos al castellano estándar para crear corpus de calidad, ¿cómo va a haberlos para el granaíno, el rioplatense, en euskera, en quechua, en árabe marroquí o en yoruba?

En la introducción, decíamos que la voz ha pasado de ser un canal periférico a convertirse en una interfaz de primer orden y, en este contexto, es crucial trabajar para que no sea excluyente y obligue a las personas a cambiar de canal o usar una lengua que no es la suya. Conviene extender también esta reflexión a otras tecnologías en el contexto de la voz, como al STT y al Speech to Speech, y también recordar la importancia de ampliar los canales para personas signantes, sordas o con hipoacusia, con ciertas discapacidades motoras, u otras personas para quienes la voz no es el canal preferido o más adecuado.

El diseño y la creación de las voces sintéticas

A pesar de estos retos, en la actualidad, es posible hacer cosas muy interesantes con las voces sintéticas también en español. Para ello, hay que tomar algunas decisiones sobre el diseño, la viabilidad y la tecnología que vamos a utilizar.

Como suele ocurrir, el punto de partida es pararse a pensar por qué y para qué queremos o necesitamos una voz sintética.

No es lo mismo desarrollar una voz para la creación de un podcast que para lectores de pantalla para personas con discapacidad visual: en el primer caso, prima la naturalidad y la calidad de la voz mientras que en el segundo, la usabilidad (es importante que la voz preserve la inteligibilidad al ser reproducida a altas velocidades, por ejemplo).

Por otra parte, una empresa o institución pública puede necesitar una voz sintética para formaciones o el desarrollo de asistentes y agentes conversacionales internos. El planteamiento sería diferente si busca desarrollar una voz de cara al público, que debería reflejar los valores y principios de la marca.

Otra decisión sería definir en cuántos idiomas necesitamos que hable nuestra voz y si queremos que mantenga la identidad aun cambiando de lengua. En este último supuesto, también tendríamos que ver si la voz debería tener acento nativo en todas o si hay una lengua nativa y puede tener acento de esa lengua en las demás.

En todos estos casos es importante definir bien la personalidad de la voz. Esta es una fase de diseño en la que se deciden aspectos como la edad, el género, el tono, el nivel sociocultural o el idioma y acento de la voz. Y, si bien esto puede parecer sencillo, es un proceso con más consecuencias de lo que puede parecer.

Por ejemplo, en 2019, la UNESCO publicó un informe titulado I’d Blush if I Could, en el que se argumenta que el uso predeterminado de las voces femeninas en los asistentes virtuales refuerza estereotipos machistas. Por otra parte, el uso de un castellano estándar en las voces sintéticas va en detrimento de los esfuerzos que se han hecho por reivindicar la presencia de variedades dialectales en los medios de comunicación y audiovisuales.

En definitiva, a la hora de crear una voz sintética, merece la pena buscar transmitir con ella nuestros valores y trabajar para que quienes la usan se vean representados. ¿Estás trabajando en una solución conversacional para personas del colectivo LGTBIQ+? ¿Por qué no una voz que refleje esa diversidad? ¿Tu empresa aboga por la igualdad? ¿Por qué no desmarcarte con una voz masculina o no binaria?

Además de saber qué queremos, tenemos que ver si se trata de una opción viable en función del presupuesto que tengamos (las voces sintéticas pueden llegar a ser un producto caro), el cumplimiento del marco legislativo y la tecnología que vayamos a utilizar.

Aunque el enfoque contrario (empezar por los factores limitantes) siempre es posible, es bueno partir de este ejercicio de reflexión porque el progreso está en explorar las posibilidades de la tecnología, no en dejarse limitar por ella. De hecho, es posible que, en este punto del proceso, la respuesta sea “todavía no es posible”, pero ese “todavía”, en el contexto tecnológico actual, esconde muchas posibilidades. A veces merece la pena esperar un poco para tener la solución que queremos en lugar de conformarnos con algo que no termina de encajar.

En todo caso, la viabilidad también va a depender del tipo de voz sintética que queramos conseguir.

En primer lugar tenemos las voces clonadas, que usan modelos entrenados en un gran corpus de múltiples hablantes. A partir de esta base, bastan unos pocos minutos (e incluso segundos) de audio para clonar la voz de una persona. La clonación reduce muchísimo el trabajo de grabación y entrenamiento, pero su calidad está condicionada por el corpus de base. Por ejemplo, si eres de Cádiz y usas un corpus de voces peruanas, tu voz será identificable como tuya, pero inevitablemente tendrá acento peruano.

Hay que tener en cuenta que no podemos usar la voz de cualquier persona para la clonación de voces. La voz es un dato biométrico, y, como tal, está protegido por la legislación de protección de datos: la persona a la que pertenece debe dar consentimiento expreso para la clonación y el uso que se le va a dar a esta voz sintética.

Lo mismo ocurre con las voces de marca personalizadas. En este caso, se usan muchas más horas de grabaciones para finetunear o crear de cero una voz sintética. Esta fase de grabación consta de varias etapas: en primer lugar, seleccionamos o generamos los textos que se van a grabar para garantizar una buena cobertura fonémica, prosódica y estilística. A continuación, seleccionamos a la persona que va a grabar — idealmente, una persona profesional de la voz. Aunque en un primer momento las tarifas profesionales puedan parecernos excesivas, el proceso va a ser mejor y más rápido, lo que nos ayudará a ahorrar en horas de estudio y en las tarifas de las otras personas implicadas: un perfil técnico de sonido y una persona experta en lingüística que supervisan las grabaciones. Finalmente, esas grabaciones se validan y se dejan listas para el entrenamiento.

Tanto en la clonación como en las voces de marca estamos sintetizando voces que imitan una voz humana, pero también existe la posibilidad de crear voces nuevas artificialmente o, si no necesitamos una voz exclusiva, usar una voz sintética prefabricada.

Otro factor que tenemos que tener en cuenta es la tecnología que vamos a usar. ¿Nuestra tecnología depende de algún hiperescalador ya, como Amazon, Google o Microsoft? ¿Preferimos optar por empresas centradas en la voz, como ElevenLabs o Resemble AI? ¿Y por una solución on premise, sin consumo por tokens y con más control sobre los datos? Cada opción tiene sus ventajas e inconvenientes y habría que analizarlos para cada solución.

Una vez hemos entrenado nuestro modelo, hay que poder usar la voz. Aunque esto va a depender del uso que se vaya a hacer de ella, por lo general, los factores que hay que tener en cuenta son dos: la integración de la voz (cómo conseguir que esté disponible para consumirla) y la normalización (reglas de pronunciación para que “XII” se lea “decimosegunda” delante de “edición” y “doce” detrás de “Pío”).

En definitiva, la creación de voces sintéticas es un proceso complejo en el que hay que tomar decisiones basadas en las necesidades de la marca, de los usuarios, de la tecnología y, por supuesto, del presupuesto que tengamos. Además, como en el diseño de cualquier solución tecnológica, merece la pena reflexionar sobre las ramificaciones éticas, laborales, socioeconómicas e incluso medioambientales existentes. En última instancia, si lo que buscamos en este proceso es hacer más humana y cercana la tecnología, ¿por qué no elegir bien cómo habla y qué y a quién representa?

Por: Claudia Colomés Sánchez (Claudia Colomés Sánchez | LinkedIn)