Character.AI szokuje! Fotorealistyczne awatary w czasie rzeczywistym
Character.AI wprowadza przełomowe technologie wideo – AvatarFX i TalkingMachines, które umożliwiają tworzenie realistycznych awatarów wideo i interaktywnych rozmów w czasie rzeczywistym, zmieniając oblicze cyfrowej komunikacji.
Character.AI zaprezentowało dwie innowacyjne technologie: AvatarFX i TalkingMachines. AvatarFX przekształca statyczne obrazy w dynamiczne filmy z zsynchronizowaną mową i ruchem, oferując niespotykany realizm w animacji twarzy, rąk i ciała. Technologia ta sprawdza się w generowaniu filmów z postaciami 2D, 3D, a nawet zwierzętami, które mogą mówić, śpiewać i wyrażać emocje.
TalkingMachines to generator wideo w czasie rzeczywistym, działający w stylu „FaceTime”. Umożliwia interaktywne doświadczenia z awatarami, które reagują na głos i mowę w czasie rzeczywistym. Wykorzystuje zaawansowaną synchronizację ruchu warg, analizując mowę i automatycznie generując naturalne ruchy ust.
Obie technologie opierają się na architekturze Diffusion Transformers (DiT), łączącej modele dyfuzyjne z transformatorami. AvatarFX generuje dopracowane filmy o wysokiej wierności, idealne do udostępniania, podczas gdy TalkingMachines skupia się na płynnych, interaktywnych rozmowach. DiT zapewnia spójność czasową i skalowalność, poprawiając jakość wizualną.
Kluczowe innowacje AvatarFX i TalkingMachines obejmują osadzanie wideo, mechanizmy uwagi przestrzennej i czasowej oraz enkodery. TalkingMachines wykorzystuje dodatkowo moduł audio o 1,2 miliarda parametrów, który synchronizuje ruchy z dźwiękiem, oraz technologię Flow-Matched Diffusion dla dynamicznych gestów.
Nowe technologie Character.AI otwierają drzwi do tworzenia fotorealistycznych awatarów wideo, które mogą zrewolucjonizować rozrywkę, edukację czy komunikację online. AvatarFX jest już dostępny na stronie Character.AI, a wkrótce pojawi się na urządzeniach mobilnych, podczas gdy TalkingMachines oferować ma nowy wymiar interaktywnych rozmów. Wiecej informacj, w tym jak prezentują się awatary znajdziecie w tym miejscu.
