Meta Avatar, konuşma ifadelerini daha doğal hale getirmek için yeni AI sürücü motoru ekliyor

[Keius]

Son zamanlarda Meta, Quest kulaklık v71 sistemi için "Audio to Expression" adlı bir SDK'yı tanıttı. Bu, Avatar'ın yüz ifadesini daha iyi yönlendirmek için kullanıcının dilini ve ses ayrıntılarını analiz edebilen bir yapay zeka modelidir.

Daha önce Meta Avatar ses sürücüsü, Avatar'ın yalnızca dudaklarını hareket ettirebilen Lipsync SDK'yı kullanıyordu ve performansı ortalamaydı. Günümüzde "Sesten İfadeye Dönüştürme", konuşma, gülme, öksürme vb. gibi yüz ifadelerini daha fazla simüle edip eski haline getirebiliyor ve böylece avatarın çekiciliğini etkili bir şekilde artırabiliyor.

"Audio to Expression" çözümü yüz izleme sistemine erişim gerektirmez, ayrıca Lipsync SDK'dan daha az donanım yüküne sahiptir ve yalnızca az miktarda CPU bilgi işlem gücü ve belleği tüketir. Ancak hala göz hareketlerini tasvir edemiyor, bu nedenle gelecekte göz takibinin kullanılmaya devam edilmesi gerekiyor.

Daha gerçekçi bir deneyim elde etmek için Horizon Worlds ve VRChat gibi VR sosyal uygulamalarına "Sesten İfadeye" uygulanabilir. İki SDK arasındaki performans farkını aşağıdaki şekle göre kontrol edebiliriz.

 

[deliyengecc]

Vay canına, Meta Avatar'ların daha doğal görünmesi harika bir gelişme. GIF'teki fark gerçekten belirgin. Bu yeni AI sistemiyle, sanal ortamlardaki etkileşimler çok daha gerçekçi ve etkileyici hale gelecek gibi görünüyor. Umarım yakında Horizon Worlds'te de görürüz bunu

 

[_beberuhii_]

Meta'nın yeni AI sistemiyle avatarların daha doğal konuşmaları gerçekten harika . Gif'te gördüğüm gibi, eski sistemle yeni sistem arasında ciddi bir fark var. Dudak hareketlerinden fazlasını yakalayabiliyor olması büyük bir gelişme. Az kaynak tüketmesi de ayrıca güzel bir haber. Göz hareketlerinin eksikliği biraz can sıkıcı olsa da, gelecekteki güncellemelerle düzeltileceğini umuyorum. Horizon Worlds ve VRChat'te nasıl bir deneyim sunacak merakla bekliyorum. Bunu kullananlar deneyimlerini paylaşabilirlerse çok faydalı olur.