M. Cem TURKMEN Meta Reality Labs’teki araştırmacılar, şirketin fotogerçekçi Codec Avatarlarını bağımsız bir VR gözlükte işlemeyi mümkün kılmak için AI işlemeyi işlemek üzere özel olarak tasarlanmış bir hızlandırıcı çipli bir prototip VR gözlüğü oluşturdu.
Şirketin adını değiştirmesinden çok önce Meta, sanal gerçeklikte neredeyse fotogerçekçi avatarları gerçeğe dönüştürmeyi amaçlayan Codec Avatarları projesi üzerinde çalıştı. Göz izleme ve ağız izleme gibi cihaz üzerindeki sensörler ile AI işlemenin bir kombinasyonunu kullanan sistem, kullanıcının haritasını ayrıntılı bir şekilde yeniden oluşturulmasını gerçek zamanlı olarak gerçekçi bir şekilde canlandırıyor.
Fotogerçekçi Avatarlar (Codec Avatarlar)
Ya da en azından üst düzey PC donanımınız olduğunda bu şekilde çalışacak.
Şirketin Codec Avatar araştırmasının ilk sürümleri, Meta’nın en yeni Quest 2 gözlüğü gibi bir şeyde bulunan gücü küçülterek kullanılmasını sağlayan NVIDIA Titan X GPU’nun gücüyle desteklendi.
Ancak şirket, geçen ayki 2022 IEEE CICC konferansıyla birlikte yayınlanan bir makalede olduğu gibi, düşük güçlü bağımsız gözlüklerde Codec Avatarlarının nasıl kullablabilir hale geleceğini araştırmaya devam etti. Makalede Meta, özellikle Codec Avatarları için bir hızlandırıcı olarak işlev görmek üzere 7nm işlemle oluşturulmuş özel bir çip oluşturduğunu yazdı.
7nm Özel Çip
Araştırmacılara göre, çip şuan için son kullanıcılara daha hazır değil. Codec Avatarları işleme hattının önemli bir bölümünü göz önünde bulundurarak, özellikle de göz izleme görüntülerini analiz ederek, Codec Avatars modeli için gereken verileri oluşturarak tasarladı. Çipin kapladığı alan yalnızca 1,6 mm²’dir.
Araştırmacılar, “7nm teknoloji düğümünde üretilen test çipi, 1024 Multiply-Accumulate (MAC) dizisi, 2MB çip üzerinde SRAM ve 32bit RISC-V CPU’dan oluşan bir Sinir Ağı (NN) hızlandırıcısına sahip” diyor. .
Buna karşılık, çipin özel mimarisinden yararlanmak için Codec Avatars AI modelinin bir kısmını da yeniden oluşturdular.
Reality Labs. araştırmacılarına göre. “Devre düzeyinde evrişim işlemini verimli bir şekilde hızlandırarak, sunulan prototip [çip], düşük form faktörlerinde düşük güç tüketimi ile saniyede 30 kare performans elde ediyor.”
Chip, Codec Avatarlarının iş yükünün yoğun bir bölümünü hızlandırarak yalnızca süreci hızlandırmakla kalmıyor, aynı zamanda gereken güç ve ısıyı da azaltıyor. Codec Avatarlarının göz izleme bileşeninin yeniden tasarlanmış yazılım tasarımını bilgilendiren özel çip yapısı sayesinde, bunu genel amaçlı bir CPU’dan daha verimli bir şekilde yapabilir.
Ancak VR gözlüğün genel amaçlı CPU’su (bu durumda Quest 2’nin Snapdragon XR2 yongası). Özel çip, Codec Avatarları kodlama sürecinin bir bölümünü yönetirken, XR2, kod çözme sürecini ve avatarın gerçek görsellerini oluşturmayı yönetir.
Özel bir çip gerekli olsa bile Meta’nın Codec Avatarlarının bağımsız bir VR gözlükte çalışabilmesi etkileyici. Ancak bilmediğimiz bir şey, avatarların görsel olarak işlenmesinin ne kadar iyi işlendiğidir. Kullanıcıların temel taramaları oldukça ayrıntılı ve Quest 2’de tam olarak işlenemeyecek kadar karmaşık olabilir. Bu örnekte Codec Avatarlarının ‘fotogerçekçi’ kısmının ne kadar korunduğu açık değil, bunu zamanla göreceğiz.