NVIDIA anuncia como open source el modelo de animación Audio2Face, la tecnología de IA generativa para crear avatares digitales realistas.
La compañía libera como open source los modelos y el SDK de Audio2Face, de modo que cada desarrollador de videojuegos y aplicaciones 3D pueda crear y desplegar personajes de alta fidelidad con animaciones de vanguardia.
De igual forma, NVIDIA liberará como open source el Audio2Face Training Framework, para que cualquier persona pueda ajustar y personalizar modelos preexistentes según lo desee.
Crear avatares realistas es más accesible gracias a NVIDIA Audio2Face
Cabe señalar que la IA de NVIDIA acelera la creación de personajes digitales realistas mediante animación facial y lip-sync en tiempo real impulsados por IA generativa. A partir de una entrada de audio, la tecnología analiza características acústicas como fonemas y entonación para generar un flujo de datos de animación, que se asigna a las expresiones faciales del personaje.
Estos datos pueden renderizarse en modo offline para contenido pregrabado o transmitirse en tiempo real, lo que permite dar vida a personajes dinámicos con sincronización labial precisa y expresiones emocionales naturales.
El modelo de Audio2Face está ampliamente implementado en las industrias de videojuegos, medios y entretenimiento, así como en atención al cliente.
Numerosos ISVs y desarrolladores de videojuegos integran Audio2Face en sus aplicaciones. Entre los desarrolladores se incluyen Codemasters, GSC Games World, NetEase, Perfect World Games, mientras que entre los ISVs se encuentran Convai, Inworld AI, Reallusion, Streamlabs y UneeQ.
Herramientas de open source de NVIDIA
|
Paquete |
Uso |
|
Audio2Face SDK |
Bibliotecas y documentación para crear y ejecutar animaciones faciales en el dispositivo o en la nube. |
|
Autodesk Maya plugin |
Plugin de referencia (v2.0) con ejecución local que permite a los usuarios enviar entradas de audio y recibir animación facial para personajes en Maya. |
|
Unreal Engine 5 plugin |
Plugin para UE5 (v2.5) compatible con UE 5.5 y 5.6 que permite enviar entradas de audio y recibir animación facial para personajes en Unreal Engine 5. |
|
Audio2Face Training Framework |
Framework (v1.0) para crear modelos de Audio2Face con tus propios datos. |
|
Audio2Face Training Sample Data |
Datos de ejemplo para comenzar a usar el training framework. |
|
Audio2Face Models |
Modelos de regresión (v2.2) y de difusión (v3.0) para generar lip-sync. |
|
Audio2Emotion Models |
Modelos de producción (v2.2) y experimentales (v3.0) para inferir el estado emocional a partir de audio. |
Más sobre NVIDIA y Tecnología. No te pierdas de nuestras noticias en Google News.