近日，在2021版IEEE VR會(huì)議論文集中，蘇黎世聯(lián)邦理工學(xué)院的研究人員研發(fā)出一種手環(huán)，能夠?yàn)閂R頭顯提供沉浸式的手勢(shì)交互。

無(wú)需手握控制器，點(diǎn)點(diǎn)手指，就能獲得像操作電腦、平板一樣的體驗(yàn)。如果這一技術(shù)被商用，有望大大解放VR設(shè)備的交互限制，為VR設(shè)備釋放新的市場(chǎng)潛力。

一、懸空動(dòng)動(dòng)手指，就能寫文案、彈鋼琴

傳統(tǒng)的VR手勢(shì)操作一般有兩種方案，一個(gè)是通過(guò)VR頭顯上的攝像頭識(shí)別，另一個(gè)是手握控制器檢測(cè)。

但研究人員認(rèn)為這兩種方案都不能很好的滿足VR交互需求，因此提出這種名為TapID的手環(huán)。

TapID是一種可以用來(lái)檢測(cè)手部動(dòng)作的腕帶設(shè)備，將跟蹤的手部姿勢(shì)與VR設(shè)備聯(lián)動(dòng)。用戶在左右手佩戴TapID，就能夠配合VR體驗(yàn)虛擬現(xiàn)實(shí)交互。

比如，可以向用戶顯示一個(gè)像電腦鍵盤一樣的頁(yè)面，進(jìn)行文本輸入。

可以像面前有一臺(tái)電腦一樣，預(yù)覽網(wǎng)頁(yè)，進(jìn)入搜索引擎搜索信息。

還可以在熟悉的應(yīng)用程序，進(jìn)行圖片、文檔操作。

也可以使用TapID來(lái)檢測(cè)手臂上的觸覺(jué)，比如識(shí)別到手指的觸碰，從而旋轉(zhuǎn)手握的模型。

是不是輕裝上陣，又獲得了沉浸感十足的體驗(yàn)？

二、識(shí)別精度達(dá)99.7%，采用兩個(gè)加速度計(jì)

下圖為TapID，中心的芯片為Dialog半導(dǎo)體公司的DA14695，該芯片是Dialog的藍(lán)牙低功耗微控制器，最大的特性是“多核+藍(lán)牙BLE5.1”。DA14695對(duì)所有慣性傳感器進(jìn)行采樣，通過(guò)串行連接將IMU數(shù)據(jù)傳輸?shù)诫娔X上。

TapID配置兩個(gè)意法半導(dǎo)體的LIS2DH，是兩個(gè)低功耗加速度計(jì)，通過(guò)柔性PCB嵌入腕帶，以及兩個(gè)板載加速度計(jì)，用于測(cè)試和比較不同的傳感器配置。

上圖為動(dòng)作識(shí)別的流程示意模型。數(shù)據(jù)采集來(lái)自于兩個(gè)3D加速度計(jì)的連續(xù)流，通過(guò)其使用變化率分?jǐn)?shù)識(shí)別手指點(diǎn)擊動(dòng)作。在檢測(cè)到動(dòng)作后，輸入到神經(jīng)網(wǎng)絡(luò)分類器中識(shí)別點(diǎn)擊動(dòng)作。神經(jīng)網(wǎng)絡(luò)分類器架構(gòu)包括五個(gè)卷積層塊和兩個(gè)最終的線性層，它們構(gòu)成softmax激活函數(shù)，根據(jù)手指動(dòng)作呈現(xiàn)概率分布。當(dāng)確定了那個(gè)手指導(dǎo)致波動(dòng)后，會(huì)檢測(cè)指尖位置，從而將動(dòng)作傳輸給應(yīng)用程序。

TapID在靈活的表帶上嵌入了一對(duì)慣性傳感器，可以可靠地檢測(cè)表面觸覺(jué)，更重要的是，它還可以識(shí)別手指作動(dòng)。研究人員在一批用戶中評(píng)估了TapID的識(shí)別精度，能夠達(dá)到99.7%。

結(jié)語(yǔ)：觸覺(jué)反饋將成為VR、AR釋放潛力的關(guān)鍵技術(shù)

自2020年以來(lái)，VR、AR出現(xiàn)回暖的跡象，并且朝著更加深層次的交互方向發(fā)展。本次我們看到的TapID就是從手勢(shì)控制角度打破原有邊界的研發(fā)。

正如扎克伯格所說(shuō)，VR、AR在未來(lái)十年有望改變智能手機(jī)統(tǒng)治的霸權(quán)。以TapID為代表的觸覺(jué)反饋技術(shù)有望成為VR、AR釋放潛力的關(guān)鍵技術(shù)。