Apple’ın MR gözlüğü Vision Pro teknik analizi ile sizlere Apple’ın teknolojiye dahil olması ile birlikte yeni MR gözlüğü ile ilgili teknik analiz detaylarını toplayarak sunmaya çalıştık. Vision Pro resmi olarak piyasaya sürüldü. Apple’ın XR savaşına katılmasıyla sektör yeni bir çağ açacak. Apple’ın ilk MR cihazının öneminin ne olduğunu ve hangi teknik noktalara dikkat edilmesi gerektiğini büyük bir heyecanla incelemekten kendimizi alamadık.
“Bugün bilgisayar teknolojisinde yeni bir çağın başlangıcını işaret ediyor.” Apple CEO’su Tim Cook şunları söyledi.
“Mac’in bizi kişisel bilgi işlem çağına getirmesi gibi, iPhone da bizi mobil bilgi işlem çağına getirdi, Apple Vision Pro da bizi uzamsal bilgi işlem çağına getirecek. Apple’ın onlarca yıllık inovasyon birikimine dayanan Vision Pro, benzeri görülmemiş bir yaratımdır bu, rekabetin çok ilerisinde. Devrim niteliğinde yeni bir giriş sistemi ve binlerce yenilikçi teknoloji sunuyor. Kullanıcılara harika bir deneyim ve geliştiriciler için heyecan verici yeni fırsatlar sunuyor.”
Bilgi işlem platformları PC’lerden cep telefonlarına evrildi. Ekranlar büyükten küçüğe, kullanım senaryoları evden mobile ve taşınabilire, akıllı olmayandan akıllıya doğru değişse de, insan-bilgisayar etkileşimi yolları, insanlar İnsanlara ve insanlardan dünyaya hala sınırlıdır. 2D ekranda sınırlar vardır, bu nedenle nihai sürükleyicilik hissini sağlayamaz. Bu nedenle VR, ortaya çıktığı andan itibaren binlerce uygulayıcıyı heyecanlandırdı.
İnternetin gelecekteki biçimi, insanlar ve makineler, insanlar ve insanlar ve nesneler ile nesneler arasındaki etkileşimi tamamen değiştirecek olan 3 boyutlu uzay İnterneti olacaktır. Geleceğin 3 boyutlu uzay internetine giriş konusuna gelince, beyin-bilgisayar arayüzü hayata geçmeden önce VR Gyro bunun kesinlikle VR ve AR terminalleri olacağına inanıyor.
Ancak ister VR ister AR terminali olsun, sektörün mevcut ürün tanımlarına bakarsanız, Apple Vision Pro, biçim ve teknik yol açısından açıkça VR kategorisinde sınıflandırılacaktır. Tam renkli “Video See Through” özelliğini kullanır. (bundan sonra VST olarak anılacaktır) MR füzyon etkisini elde etmek için. Bundan önce Meta, PICO ve diğer start-up şirketleri de dahil olmak üzere VR gözlükler bu yönde ilgili ürünleri piyasaya sürmüştü.
MR’ın optik formu VST ve OST olarak ikiye ayrılır. Önce gerçekliği bir kamera aracılığıyla yakalayıp daha sonra sanal dünyaya aktaran ve daha sonra algoritmalar aracılığıyla birleştiren VR ile karşılaştırıldığında AR ürünleri, gerçek dünyanın perspektifini doğrudan gerçekleştirir. optik: Gerçek ortamın algılanması, sanal nesnelerin onunla harmanlanmasına olanak tanır.
Yukarıdakiler, mevcut iki temel ürün formu kapsamında MR’ı gerçekleştirmenin teknik formlarıdır. Apple’ın bu aşamada doğrudan OST tabanlı AR ürünlerini piyasaya sürmeyip VST tabanlı VR ürünlerini tercih etmesinin altında yatan teknoloji gelişimi, tedarik zinciri ve endüstriyel ekolojiyle yakından ilgili.
VR geliştirme ve yineleme yılları boyunca, optiklerin Fresnel lenslerden Pancake’e geçişi gibi birçok şey yavaş yavaş standartlar oluşturdu ve ilgili teknik yollar, uygulama etkileri ve üretim süreçleri doğrulandı ve iyileştirildi; diğer ilgili teknolojiler, VST füzyonu, göz izleme, jest tanıma vb. gibi yöntemler de nispeten yaygın olarak kullanılmaktadır. Ayrıca VR’nin ürün formu ve içerik ekolojisi de yıllar içinde birikerek 20 milyon adedin üzerinde sevkiyat seviyesine ulaşmış ve tüketici pazarında belirli bir bilişsel ve ekolojik temele sahip olmuştur.
AR’ye dönüp bakıldığında herkesin nihai hedefi, geniş görüş alanı, düşük güç tüketimi, uzun pil ömrü, birden fazla sahne ve her türlü hava koşulunda kullanım ile sıradan gözlükler kadar ince ve hafif olmaktır…
Temel optik teknolojisi hâlâ gelişme aşamasındadır. prizmalar ve serbest biçimli yüzeyler. Birdbath, dizi dalga kılavuzu, kırınım dalga kılavuzu ve hacim holografik dalga kılavuzu ile son derece parçalanmış bir durum bir arada bulunur ve farklı senaryolar için farklı optik çözümlerin kullanımı tutarsızdır.
Tüketici pazarı için nihai hedef gereksinimlerini karşılayabilecek ürünlerin optik teknoloji, ekran, etkileşim, seri üretim süreci, pil, güç tüketimi vb. konularda yinelenmesi zaman alacaktır. Öte yandan AR endüstrisinin tüketici pazarına yönelik ekolojik temeli de, özellikle de henüz tam olarak geliştirilmemiş içerik geliştirme ekolojisi ve içerik iş modeli daha zayıftır.
Birçok faktörden dolayı bu aşamada VR yolunun AR’ye göre daha güvenilir olduğu açıktır.
VR ve AR’nin ikisi de ilginç, ancak şu anda AR’nin daha değerli olacağını düşünüyorum. AR oturup birbirimizle yüz yüze konuşmamıza olanak tanıyor ve ayrıca başka şeyler de görebiliyoruz. Bunlar Bahsettiğimiz şeyle bir ilgisi olabilir, orada olmayan ve oradaymış gibi davranan biri olabilir.
AR’a büyük bir inancım var. Gerçek dünyayı kapatmak veya kapatmak yerine, yaptığımız konuşmaları geliştirebilir, öğrenmeyi geliştirebilir ve teknolojinin ve insanların değerini gerçekten artırabilir.
AR eninde sonunda tıpkı iPhone gibi günde üç öğün yemek kadar herkesin hayatının bir parçası olacak. AR ile karşılaştırıldığında VR da önemli olsa da uygulama alanı bu kadar geniş olmayacak.
AR’ın çok ilginç ve temel bir teknoloji olduğunu düşünüyorum. Bu yüzden perde arkasında birçok şey hakkında konuşuyoruz (yapıyoruz).
AR, dünya üzerinde İnternet’in kendisi kadar derin bir etkiye sahip olacak.
Bence bu (AR) akıllı telefonlar kadar büyük bir fikir olacak ve tıpkı akıllı telefonlar gibi herkes için geçerli olacak.
Sektörün Apple’ın bu trende öncülük edebileceğine inanmasının nedeni, Apple’ın ürün gücünden ayrılamaz olmalı. Stili benzersiz ve etiketi açıktır, kullanıcılara neye ihtiyaçları olduğunu sorup sonra onları tatmin etmez, kullanıcıların ihtiyaçlarını yönlendirecek bir ürün yaratır. Bu ürün konsepti kapsamında Apple, tüm tüketici elektroniği pazarında büyük bir başarı elde etti ve endüstriyel teknoloji için bir referans noktası haline geldi. Bu nedenle herkes Apple’ın sektöre değişiklik getirmesini bekliyor.
Perspektifinden bakıldığında, Apple’ın Vision Pro ürünleri, sektörün, tavan seviyesinde efektler elde etmek için maliyeti ne olursa olsun malzemeleri istifleme ürün fikrine tanık olmasını sağladı.
Vision Pro’da dikkate değer birkaç teknik bölüm vardır: Vision Pro Teknik Analizi
1,42 inç Mikro OLED 4K ekran
Görüntü açısından Vision Pro’nun ana ekranı, tek göz çözünürlüğü 4K olan Mikro OLED kullanıyor. Bu, binoküler 8K efekti elde etmek için Mikro OLED kullanan piyasadaki ilk üründür. Gerçekler ayrıca ultra- yüksek çözünürlük elde edilir Görsel deneyim geri bildirimleri genellikle çok olumludur ve ürünü deneyimleyen hemen hemen tüm bilinen kişiler ürüne çok yüksek değerlendirmeler vermiştir.
Piyasadaki çoğu VR ürünü, maliyet kaygılarından dolayı şu anda LCD veya Mini LED arka ışık + LCD kullanıyor. Düşük maliyet, olgun seri üretim ve yüksek verim gibi avantajları açıktır. Ancak parlaklık, ppi gibi dezavantajları da açıktır. Kontrast ve renk gamı gibi parametreler de daha düşüktür.
Bu nedenle Quest 2 ve PICO 4‘ün fiyatları 2.000-3.000 yuan arasında. Tek bir Mikro OLED ekranın fiyatı yüzlerce dolara ulaştı. Apple’ın Mirco OLED’inin tamamen özelleştirilmiş olduğu ve şu anda en büyük Mikro OLED ekran olan 1,42 inç boyutunda olduğu anlaşılıyor.
Mikro OLED ekranlar yarı iletken teknolojisinin kullanılmasını gerektiriyor ve seri üretim süreci aslında olgunlaşmış durumda. Ancak daha önceki ürünlerin çoğu SLR kameraların vizörleri gibi alanlarda kullanılmış ve sevkiyatları milyonlara ulaşmıştı.
Ayrıca son yıllarda, Birdbath çözümü AR gözlükleri de Mikro OLED için önemli bir uygulama konumudur ancak bu alanlarda kullanılan ekran boyutlarının tümü 1 inç dahilindedir. Örneğin AR gözlüklerde kullanılan boyutlar çoğunlukla 0,71, 0,68 ve 0,49 inçtir. beden ürünlerde bu artış daha önce ilgili pazar talebinin olmamasından kaynaklanmaktadır.
Günümüzde VR ürünlerine uygulandığında daha büyük bir FOV elde etmek için daha büyük ekran desteğine ihtiyaç duyulmaktadır, bu nedenle tedarik zinciri şirketleri 1,3 inç’in üzerinde Mikro OLED ekranlar geliştirmeye odaklanmaktadır.
Bu aynı zamanda seri üretim süreçleri için daha yüksek gereksinimler olduğu anlamına da gelir; çünkü süreç olgunlaşmış olsa bile renk, gri tonlama, parlaklık, tekdüzelik, ölü pikseller vb. gibi aynı kalite standartlarının bir ekranda korunması gerekir. Orijinal kalite standartlarını aşmayın, bu nedenle verim oranının arttırılması, Mikro OLED üreticilerinin şu anda yüzleşmesi ve çözmesi gereken temel sorundur.
M2+R1 ikili çip kombinasyonu
Çift çipli eşleştirme aynı zamanda mevcut MR ekipmanlarında (özellikle VR) ortaya çıkan ilk çözümdür. M2, başlangıçta Apple’ın en yüksek özellikli SOC serisine aitti ve çoğunlukla Mac bilgisayarlarda kullanılıyordu; dolayısıyla bu MR cihazında kullanımı, bilgisayarın işlem gücünü mobil terminale getirmeye eşdeğerdir.
M2, 2022 yılında piyasaya sürülen bir çip platformu olduğu için performansı burada detaylı olarak anlatılmayacak. M2 ile karşılaştırıldığında bu sefer piyasaya sürülen M2 Ultra da ilgiye değer. M1 Ultra’dan 20 milyar daha fazla olan 134 milyar transistörden oluşuyor. Henüz MR ekipmanında kullanılmamış olmasına rağmen, tanıtılan teknik performansların çoğu açıkça hedeflenmiş ve optimize edilmiştir.
Örneğin GPU performansı M2 Max’in iki katıdır ve son derece hızlı ProRes hızlandırmasına olanak tanır. M1 Ultra ile Mac Studio’dan 3 kat daha hızlı olan M2 Ultra ile Mac Studio’da 3D efektler oluşturmak için Octane’ı kullanın; 32 çekirdekli sinir ağı motoru, M1 Ultra’dan %40 daha hızlı, saniyede 31,6 trilyon işlem sağlayabilir; özel destekleri ile donanım H.264, HEVC ve ProRes kodlama ve kod çözme yetenekleri, 22 adede kadar 8K ProRes 422 video akışını oynatma kapasitesine sahip; ekran motoru, 100 milyondan fazla pikseli destekleyen altı adede kadar Pro Display XDR’yi destekliyor.
Çekirdek bilgi işlem, 3D işleme, AI sinir ağı, video kod çözme, ekran desteği vb., MR’da son derece ihtiyaç duyulan temel yeteneklerdir ve performansları, mevcut VR hepsi bir arada aygıt tarafından kullanılan mobil platform SOC’nin performansını çok aşmaktadır. makineler.
Halihazırda o kadar güçlü bir ana işlem çipi var ki, neden hala bir ortak işleme çipi kullanmamız gerektiği, ürün tasarımında da düşünmeye değer.
AR’de ortak işlem çipleri kullanılmaya başlandı. Örneğin Qualcomm’un piyasaya sürdüğü AR2, AR gözlükler için slam ve kablosuz fonksiyonlarını uygulayan bir ortak işlem çipi. Mekansal konumlandırma verileri, yükü azaltmak için ayrı bir çip tarafından işleniyor. ana işlemcide yük. AR hafiflik ve kablosuz hususlarına dayanıyorsa, Apple’ın ortak işlemeyi kullanmasının nedeni daha çok çok fazla sensörün olması ve işlem baskısının paylaşılması gerektiği gibi görünüyor.
Apple Vision Pro’da Slam mekansal ortam algısını, hareket tanımayı ve algılamayı işlemek için kullanılan toplam 12 kamera ve 5 sensör (1*LiDAR, 2*yapılandırılmış ışık derinliği algılama, 2*IR kızılötesi algılama dahil) bulunmaktadır. Modelleme ve göz takibi gibi üç boyutlu özellikler.
Nispeten yüksek bilgi işlem gücü, esas olarak VST uygulayan iki 4K RGB kameradan geliyor. Bu, yüksek çözünürlüklü VST efektlerine ulaşmanın anahtarıdır ve uzun süre çalışır durumda kalır. Quest Pro yalnızca bir adet 16 megapiksel RGB ile donatılmıştır, bu nedenle gözlüğe iletilen gerçek hayattaki görüntüler daha düşük çözünürlüğe sahiptir.
Vision Pro, sanal ve gerçek ortamlar arasında kesintisiz geçişi destekler. Tek tıklamayla doğrudan sanaldan gerçeğe geçiş yapan diğer ürünlerin aksine Vision Pro, düğme aracılığıyla hassas ve yumuşak bir degrade efekti elde ediyor.
Bu etkiyi elde etmek için ortak işlemcideki RGB VST işlemenin, kullanıcı tarafından herhangi bir zamanda değiştirilebilmesi için saf sanal ortamda bile her zaman çalışması gerekir. Çift 4K RGB kameralar sürekli olarak saniyede 60 kare hızında çekim yapar, bu da veri işlemede büyük miktarda hesaplama ve buna karşılık gelen güç tüketimi sağlar. Bu nedenle, ortak işleme çipi olarak R1 işlemi 5nm’ye ulaştı.
Yüksek çözünürlüklü + pürüzsüz VST efekti, Vision Pro’nun öne çıkan teknik özelliklerinden biridir. Resmi verilere göre görüntü gecikmesi 12 ms’den azdır.
Gecikmenin fiziksel gecikme ve dikkat çekici gecikme olarak ikiye ayrıldığı anlaşılıyor. Apple’ın burada kastettiği şey fiziksel gecikme olmalı.
Fiziksel gecikme olarak adlandırılan süre, sensörün çıkıp yardımcı işlemciden geçerek doğrudan ekranda görüntülenene kadar geçen süredir. Ancak algoritmanın ekrana çıkmadan önce telafi etmesi gerekir. Algoritma tarafından telafi edilmeyen gecikmeye fiziksel gecikme, algoritmanın telafi edildikten sonraki gecikmeye ise göz giriş gecikmesi adı verilir.
Meta’nın ortak işlemci olmadan kullanılması ve CPU ve GPU tarafından işlenmesi durumunda fiziksel gecikmenin 30-40ms civarında olacağı, fiziksel gecikme ne kadar büyük olursa algoritmanın etkisinin biraz eksik olacağı anlaşılmaktadır. Dolayısıyla Apple’ın fiziksel gecikmesi en uç noktaya ulaştıktan sonra algoritmasının etkisi özellikle iyi olacaktır.
VST etkisinin gecikmeyi neredeyse hiç hissetmemesinin ana nedeni de budur. İki farklı işleme yolu karşılaştırıldığında VST sektöründe ortak işlemenin daha verimli olduğu açıktır. İki 4K RGB kameranın görüntü işlemesine ek olarak Vision Pro’da kullanılan diğer sensörlerin sayısı diğer VR cihazlarının sayısını çok aşıyor.
Quest Pro’yu örnek alırsak gözlükteki kamera ve sensör sayısı 10, Apple’da ise 17. Apple, daha iyi üç boyutlu uzay modellemesi ve uzaysal algının yanı sıra Avatar oluşturmak için üç boyutlu yüz yeniden yapılandırması elde etmek için bir lidar ve iki yapılandırılmış ışık derinliği sensörü ekledi.
Uygulama senaryolarında 3 boyutlu görüntü ve video çekimi bu sensörlerin RGB kameralarla birleştirilmesine dayanmaktadır. Göz izleme kısmında Apple da 4 kamera kullanırken, ilgili Quest Pro sadece 2 kamera kullanıyor. Apple’ın efekt uğruna maliyeti hiç dikkate almadığını da söylemek gerekiyor.
Malzemelerin çılgınca kullanılması aynı zamanda bazı dezavantajları da beraberinde getiriyor: yüksek güç tüketimi, tek gözlü 4K Mikro OLED ekran + çok sayıda sensör veri işleme, takılabilir pil ömrünün yalnızca 2 saat olmasıyla sonuçlanır.
Optik efekt, işlem zorluğu, ağırlık
Gözleme katlama optik yolu şu anda VR ekipmanı için ana optik çözümdür ve Apple bu çözümü benimseme konusunda bir istisna değildir. Geleneksel VR ekran ışık motorları (Fresnel ve asferik) ile karşılaştırıldığında, Pancake katlanır ışık yolu tasarımı kalınlığı önemli ölçüde azaltabilir.
Temel prensip, görüntü kaynağının yarı yansıtıcı ve yarı şeffaf merceğe girdikten sonra ışığın içinden geçmesidir. mercek, faz geciktirme filmi ve Yansıtıcı polarizörler birçok kez ileri geri katlanır ve son olarak yansıtıcı polarizörlerden yayılır.
PICO çift lens çözümüyle karşılaştırıldığında Apple, daha iyi optik efektler elde etmek için 3 lens kullanır. 1P ve 2P Pancake tasarımlarıyla karşılaştırıldığında (TTL temel olarak 20 mm’nin üzerindedir), 3P Pancake optik modülü yalnızca daha yüksek çözünürlük, daha küçük bozulma ve renk sapması sağlamakla kalmaz, aynı zamanda tekrarlanan katlamalardan sonra kalınlığı daha da geliştirilebilir.
Ancak sürecin zorluğunu, malzeme maliyetini ve ağırlığı artıracak dezavantajlar da açıktır. Görülüyor ki optik açıdan en iyi görsel efektleri elde etmek için Apple en zor yönü seçmiş. Ayrıca Pancake’in büyük ışık kaybı nedeniyle daha yüksek göz parlaklığı elde etmek için yüksek parlaklıkta bir ekrana ihtiyaç duyuluyor ki bu da Mikro OLED’in avantajlarından biri.
Apple’ın gerçek makinesinin kalınlığına bakılırsa (görsel inceleme), kulaklığın sünger vizör adaptörü olmadan kalınlığı yaklaşık 30 mm’dir. Mükemmel endüstriyel tasarım (görsel yanlış hizalama) sayesinde kulaklığın genel görünümü ve hissi çok ince.
Gizlilik ve güvenlik için en iyi çözüm: iris tanıma
Birkaç gün önce Qixin Yiwei ve Tencent WeChat Pay tarafından ortaklaşa başlatılan göz takip + iris tanıma VR/AR ödeme çözümünün haberi duyuruldu. VR jiroskopu da bu modülle donatılmış çözümü deneyimlemek için ilk kez Skyworth’a gitti. Bu aynı zamanda Çin’de ticari bir VR gözlüğe iris tanıma ödeme çözümünün kurulumu ilktir.
VR/AR ile ödeme her zaman işletmelerin başına bela olan bir sorun olmuştur. VR/AR’nin ürün formu ve etkileşim yöntemleri nedeniyle şu anda yaygın olarak kullanılan parmak izleri, yüzler ve şifreler geçerli değildir. Ödemenin sorunsuz bir şekilde gerçekleştirilmesi zor olduğundan Deneyim sürecinde çoğu uygulama tek seferlik ödeme ile mobil uygulama üzerinden indirilmektedir.
Iris, gelecekteki VR/AR’da ideal bir gizlilik güvenliği teknolojisi çözümü olarak kabul ediliyor. Her şeyden önce parmak izlerinden, yüzlerden ve şifrelerden daha yüksek bir güvenlik faktörüne sahip. İrisin özellikleri kişiden kişiye değişir ve tek yumurta ikizleri de istisna değildir.
Doğumdan 18 ay sonra iris son halini alır ve yaşam boyunca değişmeden kalır. Dış iklim ortamındaki değişikliklerden, fiziksel değişikliklerden vb. çok az etkilenir. Çok kararlı bir biyolojik özelliktir. Bu, iris özelliklerinin benzersizliğini belirler ve aynı zamanda kimliğin benzersizliğini de belirler. Bu nedenle irisin şifre olarak kullanılmasının daha uzun vadeli güvenlik sağladığı tespit edildi.
İris tanıma aslında nispeten olgun bir teknolojidir. 20 yıldan fazla bir süre önce askeri ve bilimsel araştırma birimlerinde daha yüksek güvenlik seviyeleriyle kullanılmıştı. Artık yavaş yavaş bazı cep telefonları da dahil olmak üzere tüketici pazarında uygulanmaya başlandı.
İrisin ana prensibi, iris fotoğraflarını toplamak ve ardından görüntüyü ön işleme tabi tutmak için görüntü edinme sistemini kullanmaktır. Toplanan görüntülerden iris doğru bir şekilde konumlandırılır ve görüntü iyileştirilir. Daha sonra iris özellikleri çıkarılır ve özel bir algoritma kullanılır.
İris görüntüsünden irisi çıkarın, iris tanıma için gerekli özellik noktalarını çıkarın ve kodlayın, son olarak iris kimliğini eşleştirin, özellik çıkarımıyla elde edilen özellik kodlarını veritabanındaki iris görüntüsü özellik kodları ile tek tek eşleştirin ve olup olmadığını belirleyin. bunlar aynı iristir, dolayısıyla kimlik tanıma hedefine ulaşılır.
Temel yöntemi yüzlere ve parmak izlerine benzer ve güvenlik faktörü daha yüksektir çünkü iris ile tesadüf oranı son derece düşüktür ve yasa dışı faaliyetler için başkaları tarafından kolayca toplanamayacaktır.
Aynı zamanda doğal olarak VR/AR ile birleştirilmiştir. Ek donanım modüllerine ihtiyaç duyulmadan iris yakalamak ve tanımlamak için göz takip modüllerinin doğrudan VR/AR cihazlarda paylaşılabileceği, ayrıca yakalama ucu için piksel gereksinimlerinin yüksek olmadığı ve 2 milyon piksele ulaşılabileceği anlaşıldı.
Tanıma oranı ve uygulanabilirlik açısından iris, farklı göz rengine sahip hemen hemen tüm kişileri çok doğru bir şekilde tanımayı başarabilmektedir. Glokom ve katarakt gibi göz hastalıkları olan kişiler dahi teoride etkilenmeyecektir çünkü göz hastalıkları iris bilgisini etkilememektedir. mercek kısmı. Ancak gözbebeklerinin yanlışlıkla oval veya kareye dönüşmesi gibi bazı hastalıkların tanımlanması temelde zordur.
Tencent tarafından yürütülen Apple MR’ın yerleşik iris fonksiyonunun, yakında daha fazla VR terminalinde görülebileceği öngörülebilir.
Gerçek zamanlı + yüksek özgürlük, mekansal ses izleme teknolojisi
Görmeyle karşılaştırıldığında işitmeye pek dikkat edilmiyor ancak Apple’ın da bu konuda Vision Pro’da sunduğu bir düzeni var.
Tıpkı ışın izleme gibi ses de geometrik akustik (GA) olarak adlandırılan ışın izlemeli olabilir. Apple, 2021 gibi erken bir tarihte ilgili teknoloji patentlerini duyurdu.
Görselleştirmeye benzer şekilde, sanal ortamların sözde “işitselleştirilmesi”, sentetik ses dalgalarının belirli gerçekçi davranışlarının getirdiği işitsel uyarımı simüle etmek için geometrik akustikten (GA) gelen yöntemlerin kullanılabileceği duvarlar içindeki ses yayılımının simülasyonunu açıklar.
Bu simülasyonda, ses dalgası yankılanma modellerinin yanı sıra üç boyutlu ortamdaki çeşitli ses dalgası yansıma modellerini de dikkate alan uzamsal ses sinyallerinin üretilebileceği anlaşılmaktadır. Bu tür uzamsal ses, örneğin Dijital Ses İş İstasyonu (DAW) yazılımı veya benzeri kullanılarak üretilebilir ve oda planlama ve/veya müzik ve mimari ses simülasyonları gibi çeşitli uygulamalarda kullanılabilir.
Mevcut uzamsal ses sentezi yazılımı, hareketli bir alıcı etrafındaki hareketli ses kaynaklarını gerçek zamanlı olarak simüle etmenin hesaplama yükünü çoğu zaman yönetebilir, ancak bu simülasyonlar genellikle statik yankılanmaya dayanır. Gerçek dünya senaryolarında, ses dalgaları ile yansıtıcı/engelleyici yüzeyler arasında, bir odaya girerken veya odadan çıkarken meydana gelen değişiklikler gibi önemli etkileşimler vardır.
Ek olarak, kullanıcı (veya sanal kullanıcı) sentezlenmiş ses sinyallerini dinleyerek gerçek dünya (veya sanal) ortamda gezindikçe, odadaki çeşitli portallar (örneğin kapılar, pencereler, çatılar) dinamik olarak açılabilir ve/veya kapanabilir. Bir odanın mimarisindeki veya bir sahnenin kompozisyonundaki her değişiklik, odadaki ses dalgalarının herhangi bir anda gerçek zamanlı olarak nasıl simüle edildiği üzerinde önemli bir etkiye sahip olabilir.
Bu nedenle, sanal üç boyutlu ortamların gerçek zamanlı, fiziksel olarak doğru işitselleştirilmesi için teknolojinin geliştirilmesine ihtiyaç vardır. Bu, içindeki ortamın herhangi birini (veya tamamını) içerir: ses kaynağı, ses alıcısı ve ses kaynağı simüle edildiğinde sanal ortamdaki geometrinin/yüzeylerin üretebileceği dinamik değişiklikler.
Bu teknoloji aynı zamanda artırılmış gerçeklik (AR) senaryolarına da uygulanabilir; örneğin, dinleyicinin gerçek dünya ortamında bulunmayan “sanal” ses kaynağı nesnelerini doğru bir şekilde simüle etmek için dinleyicinin gerçek dünya ortamına ek ses bilgileri eklemek.
Dolayısıyla kullanıcı sanal alanda nereye giderse gitsin, mekan genelinde gerçekçi ses efektlerinin gerçek zamanlı işlenmesini duyabilmektedir. Bu sesler, mekandaki nesnelerin, hatta malzemelerin konumuna ve içinde hareket eden insanlara göre değişecektir. gerçek zamanlı, böylece daha gerçekçi hale gelir.
Ancak bu teknolojinin uzayda karmaşık nesneler ve çok sayıda insan olduğunda işlemesi gereken ses ışınlarının da katlanarak artacağı, dolayısıyla performansa belli bir yük getireceği anlaşılıyor.
Ancak bu teknolojiye dayalı olarak gelecekte sanal ortamlarda daha gerçekçi ses efektleri elde edilebilecek. Elbette buna paralel olarak gelecekte sanal sahnelerdeki üç boyutlu nesnelerin yalnızca optik yansıma malzemelerini tanımlamaya değil, aynı zamanda masa, duvar, perde gibi tek tek ayarlanması gereken akustik malzemeleri de tanımlamaya ihtiyacı olabilir.
Sınırlı alan nedeniyle, bu makale şimdilik donanımın yalnızca birkaç belirgin teknik parçasını tanıtıyor ve senaryoları ve ekolojiyi daha sonra daha ayrıntılı olarak açıklayacak.
Apple’ın resmi Vision Pro tanımı, devrim niteliğinde bir mekansal bilgi işlem cihazıdır. Teknik açıdan Apple, görme, duyma ve etkileşim açısından devrim niteliğindeki doğasını yansıtıyor.
