Feyza DURMAZ Meta’nın insan-bilgisayar etkileşimi dokunsal eldivenleri, ve bu teknolojinin gelişim süreci olan 7 yıllık sürecin sırrı. Beyin-bilgisayar arayüzleri, AR gözlükleri ve EMG bileklikleri İnsan-bilgisayar etkileşiminin devrimini keşfetme yolunda Meta’nın sunduğu her çözüm, yeterince dikkat çekiyor. 16 Kasım’da Meta, insan-bilgisayar etkileşimi araştırma sonuçlarını duyurdu: dokunsal eldivenler.
Dokunsal eldiven giyen kullanıcılar, sanal nesnelere dokunurken gerçek bir dokunma hissine sahip olacaklar. Şimdiye kadar, Meta’nın insan-bilgisayar etkileşimi araştırması “üç parçalı takım” halinde şekillendi.
Meta’nın Facebook Reality Labs (RL) laboratuvarında, VR/AR etkileşimli keşiflere adanmış bir ekip var. Araştırmacılar, mühendisler ve tasarımcılardan oluşan bu ekip uzun vadeli araştırmalarla uğraşıyorlar. Önümüzdeki 10-15 yıl içinde dijital dünya için interaktif teknoloji anlamında büyük gelişmeler olacak gibi görünüyor.
VR/AR interaktif teknolojisini keşfetme sürecinde, üretilen bilimsel ve teknolojik başarılar yalnızca VR/AR’ın gelişim sürecini temelden değiştirmekle kalmaz, aynı zamanda tıp ve uzay yolculuğu gibi çeşitli endüstrileri de etkileyebilir. Bu amaçla, FRL bir dizi insan-bilgisayar etkileşimi (HCI) çalışması yürüttü.
Meta’nın İnsan-Bilgisayar Etkileşimi Dokunsal Eldivenleri
Bu araştırma dizisi üç yöne ayrılmıştır:
İlk olarak AR gözlükleri, bu Meta tarafından belirlenen 10 yıllık vizyon. AR gözlüklerinin etkileşimi AI tarafından yönlendirilir ve bağlam farkındalığı yeteneklerine sahiptir. Kullanıcının paylaşmayı seçtiği bilgileri aktif olarak yardım sağlamak için kullanabilir ve kullanıcı bu bilgileri arayarak görüntüleyebilir;
İkincisi, nispeten kısa süreli bir çalışma olan EMG bileziği. Kullanım şekli bileğe dayalıdır ve belirli bir AI ile birleştirilir, bu da kullanıcıya ve kullanıcının etrafındaki çevreye dinamik olarak uyum sağlayabilir;
Üçüncüsü, şimdi bahsedilen dokunsal eldivenlerdir.Bu araştırma, yumuşak robotlar, mikroakışkanlar, el izleme, dokunsal işleme ve algı bilimi bilgilerini birleştirir.
Beyin-bilgisayar arayüzü başlangıçta Meta tarafından incelenen insan-bilgisayar etkileşim planlarından biriydi. Daha sonra, uygulama derecesi gibi sorunlar nedeniyle Meta bu yılın başlarında geçici olarak vazgeçtiğini söyledi.
Kalan üç etkileşimli çözüm arasında, dokunsal eldivenler VR somatosensör cihazları olarak yeni değil. En azından biçim açısından dikkat çekici değil ve VR/AR sahnelerinde çıplak elle yapılan el izleme deneyimiyle karşılaştırıldığında, dokunsal eldivenler. periferik olarak daha makul görünüyor.
Ama gerçekçilik söz konusu olduğunda, Meta’nın verdiği insan-bilgisayar etkileşim şemasında, sanal dünyada sanal fizik ile etkileşime girerken sadece dokunsal eldivenler gerçek bir dokunma hissi elde edebilir.
Meta yayınlanan makalesinde, bu insan-bilgisayar etkileşimi araştırma projesinin meta evrenin temel zorluklarından birini çözmeyi hedeflediğini yazdı: sanal dünyayla nasıl iletişim kurulur. Sanal dünyaya dokunmak nasıl bir deneyim?
Sanal dünyaya dokunmak nasıl bir deneyim?
Meta tarafından yayınlanan demo videodan, dokunsal eldivenlerin geri çekilebilir, hareketli siyah cihazlarla kaplandığını, parmak uçlarının bile hareket edip değişebildiğini görebiliyoruz.
Oyun etkileşimi açısından, eldiven giydikten sonra, jest tanıma çok doğrusal ve esnektir. Oyuncular farklı nesneleri kavrayabilir ve manipüle edebilir, dominoyu devirebilir ve elinizdeki küre, elin hareketi ile yuvarlanabilir.
El sıkışma, yumruk atma, parmaklar arasındaki etkileşim vb. gibi kullanıcılar arasındaki gerçek etkileşimler için hareket tanıma çok doğru ve ayrıntılı görünüyor. Ne yazık ki, biz izleyiciler olarak, ellerimiz sanal nesnelerle etkileşime girdiğinde simüle edilmiş dokunsal duyumları kişisel olarak deneyimleyemiyoruz.
Demo videoya göre, akan su, cam, metal, ahşap, kazak gibi gerçek dünyanın zengin dokunuşunu sanal dünyada simüle etmek hala çok uzakta… Öyle olsa bile, mevcut etkiyi elde etmek için İnsan-bilgisayar etkileşiminin keşfi bile şu an için büyük bir artı olacak.
Yedi yıl sonra, Meta’nın insan-bilgisayar etkileşimi çözümü, dokunsal eldivenlerle başa çıkmanın zor yolu.
Çok sayıda yüksek teknolojili yeteneği bir araya toplayan Meta gibi bir şirket için bile VR dokunsal geribildirim eldivenlerini çok iyi şekilde yapmak kolay değil.
Sean Keller, RL araştırma ofisinin direktörü ve bu sorunu çözmek için ekibin kurucusudur. Onun liderliğinde, bu ekip yedi yılda, bir kişiden başladığı yolda yeni ekip arkadaşları ile birlikte, dünya çapında yüzlerce uzmana ulaştı.
Keller grubu, yumuşak ve hafif bir dokunsal eldiven icat etmek istiyor. VR/AR etkileşiminin iki problemini çözmesi gerekiyor: bilgisayarın kullanıcının elinin çalışmasını doğru bir şekilde anlamasına ve geri bildirim vermesine yardımcı olmak ve bir dizi karmaşık ve ince duyumları yeniden üretmek. Eldeki sanal nesnelerin gerçek hissini simüle etmek için basınç, doku ve titreşim gibi.
Bu yeni tip dokunsal eldivenler, disiplinler arası ve mühendislik disiplinleri hakkında profesyonel bilgi ve bu temelde atılımlar gerektirir. Keller liderliğindeki RL ekibi, dokunma duyusunun nasıl algılanacağını öğrendi ve eldivenlerin kullanıcının eliyle bağlantıyı sürdürürken farklı boyutlardaki ellere nasıl uyum sağlayabileceğini sürekli olarak inceledi.
VR Eldiveni ile ellerde inandırıcı bir dokunuş yaratmak
Gerçek bir dokunma hissi sağlamak ve kullanıcıya sanal bir nesneye dokunuyormuş gibi hissettirecek şekilde hareket için, dokunsal eldivenin elin her tarafında yüzlerce aktüatöre (mikromotor) ihtiyacı vardır. Mevcut mekanik frenlerle aşırı ısı üretilir ve kullanıcılar bunları tüm gün rahatça kullanamazlar. Gerçekçi bir dokunuş sağlamak için şuanki halleri çok büyük, çok pahalı ve çok fazla tüketiyorlar.
Hava akışını kontrol edin: yüksek hızlı bir mikroakışkan işlemci oluşturmak
RL Research’te donanım mühendisliği direktörü Tristan Trutna, “1000 küçük motor ve kabloyu elinize almak imkansız. Böyle bir şeyi sınırsız kaynağınız olsa bile yapamazsınız. Bu durum çok karmaşıktır, Farklı konumlarda ve farklı mesafelerde binlerce somut kuvvet pnömatik, hidrolik veya yüksek yoğunluklu elektrikli frenler gerektiriyor. Buda çok yüksek bir ısıya neden olacak.
İki yıllık araştırmadan sonra ekip, geleneksel elektrikli metal bileşenlerle kısıtlandı. Bu nedenle, mekanik sürücüleri yumuşak, esnek sürücülerle değiştirme hipotezini oluşturdular. Bu sürücüler yeni malzemelerden yapıldı ve kullanıcının hareketlerine göre şekil değiştirebilecek şekilde geliştirildi.
Ekip, protezlerde ve PoCket teşhis cihazlarında yaygın olarak kullanılan, gelişmekte olan yumuşak robotik ve mikroakışkan alanına yönelmeye başladı. Son iki yılda hem havalı frende (kuvvet oluşturmak için hava basıncını kullanarak) hem de elektrikli frende (bir elektrik alanı oluştuğunda şekil ve boyut değiştirme) büyük ilerleme kaydettiler.
Bu yeni yumuşak frenleri kontrol etmek için ekip, hava akışını kontrol etmek için. dünyanın ilk yüksek hızlı mikroakışkan işlemcisini inşa ediyor. Bir eldiven üzerine monte edilmiş çok küçük bir mikroakışkan çip, yüksek hızlı valflerden ne zaman ve ne kadar uzakta geçiş yapacağını tahmin edebiliyor
“Dokunsal oluşturma”: sanal ortamda hassas duyular oluşturma
Hava akışını kontrol etmek için bir yöntemle bile, sistemin doğru hissi ne zaman ve nerede sağlayacağını bilmesi gerekir. Bu, bilgisayarın sanal sahnede elin konumunu, sanal sahnede olup olmadığını doğru bir şekilde bilmesini sağlamak için gelişmiş el izleme teknolojisi gerektiriyor.
Bu aynı zamanda, elin konumuna ve sanal ortamın dokusu, ağırlığı ve sertliği dahil olmak üzere sanal ortamın anlaşılmasına bağlı olarak el üzerindeki frene doğru zamanda doğru talimatları gönderebilen yeni bir tür oluşturma yazılımı gerektiriyor.
RL araştırma yazılımı mühendisi Forrest Smith, “İnsanlar genellikle ‘oluşturmayı’ görsel bir efekt olarak düşünür. Bu kelimeyi eldivenlerde de kullanırız. Yaptığımız şey, sanal dünyanın durumunu ve onunla etkileşiminizi elde etmektir ve Bu, kullanıcının ilgili hissi alabilmesi için frenlere aktarılır.”
RL araştırma mühendisi Justin Clark, “Nesnelerle gerçek zamanlı etkileşimi sağlamak için, karşılık gelen fiziksel simülasyonları gerçekleştirmemiz gerekiyor” diye yazdı. Fizik motoru (video oyunlarında nesnelerin etkileşimini simüle etmek için kullanılan yazılım), sanal nesnelerle etkileşime girerken elinizin hissettiği kuvvetin yönünü, boyutunu ve konumunu belirlemek için kullanılır. dokunsal Cihaza doğru talimatları göndermek için özellikler (her bir frenin konumu ve nitelikleri gibi) birleştirilir.
RL Araştırma yazılım mühendisi Andrew Doxon şunları ekledi: “Zorluklardan biri, farklı aktüatör türleri için uygun ve çeşitli dokunsal deneyimleri destekleyen yazılımlar oluşturmaktır. ”
İşitsel, görsel ve dokunsal geri bildirimi birleştirme
Takımın araştırmasının dördüncü yılında, üçüncü zorluk ortaya çıktı. Doku ve duyumun çalışmasını sağlamak için gerçek fiziği tamamen yeniden üretmeden gerçek fiziksel dokunuşu simüle etmeleri gerekiyordu.
Dokunsal eldivenler belirli dokunsal geri bildirim sağlayabilse de, el sanal nesneyi kavradığında tam olarak kapanamazlar veya sanal nesne masaüstüne yerleştirildiğinde elin sanal masaüstüne girmesini engelleyemezler.
İnsan duyularının dünya anlayışımızı inşa etmek için nasıl birlikte çalıştığını incelemek için algısal bilime ve çok-duyusal entegrasyona dönmeye başladılar.
UX Araştırma Bilim Müdürü Sophie Kim, ekibin ikna edici duyumlar yaratmak için insan algısını nasıl kullandığını şöyle açıkladı: “Beynimiz biraz dokunma sinyali, biraz görsel sinyal, biraz işitsel sinyal alma ve bunları bir araya getirme konusunda çok iyidir. Üç noktanın bir araya getirilmesi önemli, boyutsal duygu ve beyni elinde bir nesne olduğuna inandırmak”.
RL algı araştırma bilimcisi Jess Hartcher-O’Brien, küpü manipüle etmenin AR/VR’de “his entegrasyonunun” nasıl görünebileceğini anlamamızı nasıl sağladığını anlattı. “Bir küp alırsam, malzeme türü ve ağırlığı hakkında zaten bazı varsayımlarım var. Onu alırım ve malzemeyi doğrularım, bu yüzden malzeme özellikleriyle ilgili ilk kez görsel ipuçlarını alacağım şu anda dokunsal geri bildirim, bir cismi manipüle ettiğimde beynim sürtünmeyi ve ataletini tanır ve cismin yoğunluğunu veya ağırlığını hesaplayabilir. Görme sistemim kolumun hareketini buna göre görüyor.
Dokunsal eldivenler, nesneyi tutarken yerçekimi kuvvetini simüle etmek için kullanıcının parmaklarının derisini bir frenle hafifçe çekerek, kullanıcının algılama sisteminin nesnenin ağırlığını hissettiğine inanmasını bile sağlayabilir. Ancak tüm bunları doğru bir şekilde zamanlanmalıdır.
2017 sonunda yapılan bir deneyde (aşağıda resmedilmiştir), ekip dokunsal geri bildirim sağlamak için parmak uçlarında tek bir vibro-dokunsal cihaz kullandı.Farklı malzemelerden yapılmış bu sanal toplar VR’da yukardan aşağı düştü. Farklı malzemeler nedeniyle, her topun parmağa çarptıktan sonraki düşme şekli farklı oldu. Sanal parmak uçlarında benzersiz görsel, işitsel ve dokunsal geri bildirim ipuçları vardır.
Keller, “Her zaman mühendislik bu tür görsel-işitsel-dokunsal deneyim için çok uygundur. Bir şeyin köpük, ahşap veya mermer olduğunu hissedebilirsiniz. Bu malzemelerin parmaklarınıza hafifçe vurduğu hissi yaşayabilirsiniz. Bunu yaşadığımda çok etkileyici geliyor.”
Konfor ve dayanıklılık öncülüğünde, eldiven malzemesinin keşfi
Proje olgunlaştıkça ekip, eldiven konforunun zorluklarını ve sensörlerin, robot frenlerinin eldiven malzemesine entegrasyonunu ele almaya başladı.
Sert, ağır, elden çıkması kolay olan veya başka türlü rahatsız edici olan bir eldiven, kullanıcıyı sanal deneyimden çıkaracaktır. Bunu önlemek için eldivenler hafif, yumuşak ve son derece dayanıklı olmalıdır.
RL mühendisi Katherine Healy bunu şöyle açıkladı: “Yeni teknolojileri minyatürleştirmemiz ve çok işlevli sistemler tasarlamamız gerektiğini fark ettik. Bu, daha fazla bileşen kurmamıza ve daha küçük bir alanda daha fazla şey yapmamıza olanak tanıyor, bu da konforu sağlamak için çok önemli.”
Malzeme ekibi, hem rahat hem de gerilebilir olan yeni, ucuz polimerler (plastik ve silikon gibi esnek malzemeler) geliştirmeye etmeye başladı ve bunlar yeni işlevleri karşılamak için moleküler düzeyde özelleştirildi. Bu, yeni malzemeleri daha sonra dikilebilen, örülebilen veya eldiven haline getirilebilen çok ince liflere dönüştürmek için yeni üretim teknikleri gerektiriyor.
RL Araştırma Bilim Müdürü Kristy Jost şunları söyledi: “İletken iplik, VR’de etkileşim kurmak için ihtiyaç duyduğumuz tüm işlevleri sağlamıyor, bu yüzden aynı elyaf veya kumaşta iletkenlik, kapasitans ve algılama işlevi dahil olmak üzere birden fazla işlevin nasıl oluşturulacağını araştırıyoruz.”
İnce, hafif dokunsal eldivenler yapmak ve bu eldivenleri milyarlarca insana uyacak şekilde uyarlamak farklı zorluluklar oluşturuyor.
Bu nedenle malzeme ekibi, her bir eldivenin maksimum dokunsal hassasiyet ve konfor elde etmek üzere özelleştirilebilmesi için üretim tekniklerini de araştırıyor. Bunu yapmak, mikro frenleri tasarlamak ve üretmek için yeni yöntemler geliştirmek ve bunları eldivenlere doğru bir şekilde yerleştirmek için yeni örgü ve nakış işlemleri oluşturmak anlamına geliyor.
Healy, “Günümüzde eldivenler kalifiye mühendis ve teknisyenler tarafından tek tek üretiliyor, alt sistemler ve eldivenler elle üretiliyor. Mümkün olduğunca yarı otomatik işlemler kullanıyoruz ama bu eldivenlerin seri üretimi yeni üretim süreçlerinin icadını gerektiriyor.”
Yukarıdaki dört “eşikten” sonra, Meta’nın RL laboratuvarı, Meta’nın üçüncü insan-bilgisayar etkileşimli dokunsal eldivenini gerçeğe dönüştürmeyi başardı.
Bununla birlikte, VR girişimi HaptX’in haptik eldiveni geliştiricisi, Meta dokunsal eldiven prototipini patentlerini çalmakla suçladığına dair son haberler, Meta‘nın araştırma sonuçlarına gölge düşürdü.
RL araştırma ofisi müdürü Sean Keller şunları söyledi: “VR/AR etkileşimi sorununu çözmede iki elin değeri çok büyük.” Bu eldivenler sadece çevre birimleri değil, daha da önemlisi sanal dünyayı somut hale getirebilirler.
Sanal Gerçeklik Giysilerinin Kullanım Alanları ve VR İçin Gelecekteki Önemi