Realizm w grach wchodzi na nowy poziom! NVIDIA udostępnia twórcom darmowe i potężne narzędzie

NVIDIA zrobiła ogromny krok w stronę upowszechnienia technologii AI, udostępniając swoje Audio2Face jako narzędzie open source.
To przełom dla twórców gier i animacji, ponieważ od teraz każdy może generować realistyczne mimiki postaci na podstawie dźwięku.





Audio2Face to zestaw SDK, pluginów do Maya i Unreal Engine 5 oraz gotowych modeli AI, które zamieniają mowę na naturalny ruch ust, w tym pokazując emocje w czasie rzeczywistym. Najnowszy model 3.0 bazuje na technikach dyfuzji, co przekłada się na jeszcze większą precyzję i wykrywanie emocji.
Technologia została już sprawdzona „w boju”. Wykorzystano ją w grach od takich gigantów jak Codemasters, NetEase czy Reallusion. Wojciech Pazdur z The Farm 51 podkreśla, że Audio2Face „pozwoliło zaoszczędzić setki godzin ręcznej animacji” przy tworzeniu Chernobylite 2: Exclusion Zone.

A rynek cyfrowych awatarów wręc eksploduje. W 2024 roku wyceniano go na 29,06 mld dolarów, a do 2032 ma osiągnąć aż 652,29 mld. Segment gier odpowiada za 30% rynku, a tempo wzrostu w tej branży to zawrotne 49,24% rocznie.
Audio2Face analizuje dźwięk, rozpoznaje fonemy i intonację, a potem automatycznie generuje odpowiednią mimikę. To koniec żmudnego tworzenia animacji i droga do jeszcze bardziej autentycznych emocji w grach i filmach.