Kontrolör ile VR tam vücut takibi mümkün mü? Carnegie Mellon Üniversitesi’nden araştırmacılar, kullanıcının vücudunu daha iyi görebilmek için kontrolörlere monte edilmiş kameraları kullanarak VR’da tam vücut takibi için pratik bir sistem sergilediler.
VR’da tam vücut takibi elde etmek mümkün olsa da, vücudunuza bağlanması gereken ekstra donanımların (örneğin, Vive Tracker’lar veya IMU tracker’lar) kullanılmasını gerektiriyor. Bu, tam vücut izlemeyi, ekstra donanıma bağlanmak için para ve zaman harcamak isteyen, hardcore VR meraklıları dışında kalan kişilere uzak bir teknoloji olarak kalıyor.
Kontrolör ile VR Tam vücut takibi
Bağımsız VR gözlüklerinde zaten dünyadaki konumlarını ve kullanıcının kontrolörlerini takip etmek için kameralar bulunduğundan, teorik olarak kullanıcının vücuduna bakmak ve onu takip etmek için bir bilgisayarlı görme yaklaşımı kullanmak da mümkün.
Ne yazık ki, gözlükten gelen kameraların açısı, kullanıcının bacaklarının güvenilir bir görüntüsünü elde etmek için yeterli değil, bu da Meta’nın yakın zamanda tam vücut izlemenin bağımsız bir gözlükte (özellikle de küçüldükçe) uygun olmadığı sonucuna varmasına neden oluyor.
Carnegie Mellon Üniversitesi’nden araştırmacılar, kullanıcının vücudunun çok daha net bir görünümünü elde etmek için kontrolörlere kameralar ekleyen, bacaklar ve gövde için güvenilir izleme verileri elde etmeyi mümkün kılan bir prototip bağımsız VR sistemi ile bu fikre meydan okuyorlar.
Bu yaklaşımla ilgili özellikle ilginç olan şey, yeni nesil VR kontrolörlerinin halihazırda gelişmekte olduğu yön ile uyumlu görünmesi; Hem Meta’nın Project Cambria‘sı hem de Magic Leap 2, kendi içten-dış izleme sistemiyle konumlarını hesaplamak için gözlüğe bağlı bir izleme sistemini ortadan kaldıran kontrolörler kullanıyor.
Prototip sistemlerinin temeli olarak standart bir Quest 2 gözlüğü kullanan araştırmacılar, kontrol cihazına kullanıcıya bakan iki kamera eklediler. Kullanıcının elleri önlerindeyken kameralar üst ve alt gövdeyi çok daha net görebiliyor.
Bu görünüm, bir bilgisayarlı görme sisteminin kullanıcının pozunu en iyi şekilde çıkarabilmesi ve ardından bu verileri başın ve ellerin bilinen konumuyla birleştirerek bir tam vücut izleme modeli oluşturabilmesi için yeterli.
Elbette kullanıcının eli her zaman ön taraf da olmayacak. Araştırmacılar, bazı sınırlı testlerin, VR kullanıcılarının yaklaşık %68’inde ellerini önlerinde tuttuğunu gösterdiğini söylüyor. Eller vücudu yakalamak için iyi bir konumda olmadığında, sistem vücut pozisyonunun bir IK tahminine geri dönmelidir.
Prototipleri bu kadar ileri gitmemiş olsa da, araştırmacılar kontrolörde ek bir kamera açısıyla, kullanıcının kolları ve kontrolörleri yanlarında dururken bile bacak konumunu yakalamanın mümkün olacağına inandıklarını söylüyorlar.
Doğruluk konusunda, araştırmacılar, Karan Ahuja, Vivian Shen, Cathy Mengying Fang, Nathan Riopelle, Andy Kong ve Chris Harrison, milimetre izleme hassasiyetinin bu tür bir sistem için muhtemelen söz konusu olmadığını, ancak santimetre izleme hassasiyetinin muhtemel olduğunu söylüyorlar.
Bu, birçok VR kullanım durumu için yeterli olabilir. Spesifik olarak prototipleri için, sistemin “ortalama 3D birleştirme hatası 6,98 cm” vardı, ancak araştırmacılar, sistemi optimize etmek için harcadıkları sınırlı süre göz önüne alındığında bunun “tavan değil de, performans tabanı olarak görülmesi” gerektiğini söylüyorlar.
Tüm vücut takibi ile bacaklar nihayet deneyimin uygulanabilir bir parçası. Bu sadece avatarınızın diğer insanlara daha gerçekçi görünmesini sağlamak için değil, aynı zamanda alt bedeninizi deneyime dahil etme seçeneği, oyunun içine daldırma ve oyuncuların oyunda kullanmaları için başka bir girdi sağlama seçeneği için artı olacak.
Araştırmacılar, sistem için yalnızca tam gelişmiş bir izleme modeli oluşturmakla kalmadılar, aynı zamanda izlenen bacakların oyuna nasıl katkıda bulunabileceğini göstermek için bazı prototip deneyimleri de yaptılar.
Oyuncuların vücutlarının herhangi bir kısmıyla bloke edebileceği bir hokey kaleci deneyimi gösterdiler; oyuncuların gelen bir duvarın şeklini içinden geçmek için eşleştirdiği bir ‘vücut şekli eşleştirme’ deneyimi; ve hatta oyuncuların blokları elleri ve ayaklarıyla kestikleri bir ‘Feet Saber’ oyunu.
Peki Magic Leap 2 ve Project Cambria gibi gözlüklerden tüm vücut takibini görebilir miyiz? Bu noktada söylemek zor; kontrolörler kendi içten-dışa takibini yapıyor gibi görünse de, kontrolörlerin üzerindeki kameralar çoğunlukla kullanıcıdan uzaklaşıyor gibi görünüyor.
Ama belki gelecekte bir VR gözlük ya da sadece yükseltilmiş bir kumanda bunu gerçekleştirebilir.