Tanto si juegas de forma habitual o esporádica a videojuegos, uno los aspectos que, probablemente, más te sigue molestando en la actualidad, es el movimiento de los labios de los personajes al hablar, un movimiento muy alejado de realidad y que, aunque lo disfrutemos en inglés, no concuerda con la pronunciación.
Si bien es cierto que es un elemento secundario para muchos usuarios, no lo es para todo el mundo (entre los que incluyo si sirve como ejemplo). Gracias a la tecnología Audio2Face de NVIDIA, es posible crear animaciones faciales en tiempo real sincronizando la voz con el movimiento de los labios.
Chernobylite 2 es uno de los pocos juegos que ha implementado esta tecnología, una tecnología que, desde ahora, ya es de código abierto con licencia Apache 2.0, lo que permite a cualquier estudio de videojuegos utilizarla en sus proyectos, ya sean videojuegos o aplicaciones 3D para crear contenido con animaciones realistas.
Se acabó el movimiento ortopédico de los labios de los personajes en videojuegos
Audio2Face, que forma parte de la amplia gama de productos basados en Inteligencia Artificial generativa, es capaz de realizar animaciones faciales en tiempo real sincronizando el movimiento de los labios a partir de una entrada de audio. Es capaz de analizar la pronunciación, el tono y la entonación para transmitirlos al movimiento de los personajes para ofrecer resultados más realistas y expresivos.
A continuación, os mostramos un vídeo del funcionamiento de Audio2Face de NVIDIA en funcionamiento.
Esta tecnología ya se puede implementar a través de complementos en Audiodesk Maya y Unreal Engine 5. Los desarrolladores pueden ajustar los modelos ya existentes donde se utilicen otros como Audio2emotion que modifican la expresión en base al estado emocional de la voz.
Según afirma NVIDIA en el comunicado donde ha dado a conocer este lanzamiento, además de The Farm 51 (desarrollador de Chernobylite 2), otros estudios como Codemasters, NetEase, Perfect World ya están trabajando en adoptar Audio2Face.
No es la única opción disponible en el mercado
La sincronización labial de los personajes con un audio no es algo nuevo ni exclusivo de NVIDIA. Está función también se encuentra disponible en Unreal Engine a través de las herramientas OVR Lip Sync que se integra con MetaHuman Creator desde 2021, una plataforma donde podemos crear cualquier tipo de personaje combinando colores de piel, rasgos faciales, razas entre otros.
La principal diferencia entre OVR Lip Sync y Audio2Face es que la primera no es de código abierto y puede requerir ajustes manuales en el código para una correcta implementación en Unreal Engine, mientras que la propuesta de NVIDIA es open source, se integra a través de plugins y cuenta con capacidades de IA avanzadas para analizar y reflejar matices emocionales.
Sería genial que, la sincronización labial no estuviera disponible únicamente en inglés, sino también en el resto de los idiomas a los que se doble el videojuego. Siempre será mejor que solución actual que emplean los desarrolladores que se aleja por completo de la realidad donde parece que los personajes tienen un problema físico a la hora de mover los labios para hablar.