早于在語言經常出現之前,人類就習慣用于肢體和手勢,這種幾近本能的交流方式,來相互交流。在機器被發明者之后,手勢因不具備鍵盤、鼠標、觸屏等交互方式所無法替代的天然優勢,依然有諸多應用于場景。

在電影《鋼鐵俠》里面,主角一鞠躬,憑空EMU拖拽操縱虛擬世界物體,真是不要過于炫酷了。做像電影中那樣高精度、穩定性好的手勢辨識,必須硬件和算法的護持,兩者缺一不可。手勢辨識都有哪些少見的硬件方案?工程師是如何用AI算法來優化辨識效果的?少見的手勢辨識應用于場景都有哪些?接下來,竟然RokidR-Lab算法工程師張兆輝為我們娓娓道來。手勢辨識的三大硬件方案手勢辨識的原理并不簡單,它通過硬件捕捉大自然信號,就像照相機捕捉圖片信息那樣,然后通過軟件算法計算出來獲得手的方位、姿態、手勢等,處置成計算機可以解讀的信息。

目前手勢辨識主要有以下3種硬件方案:1、攝像頭方案少見的又分彩色攝像頭方案和深度攝像頭方案。1．1彩色攝像頭方案彩色攝像頭方案只必須一個普通攝像頭,捕獵攝制一張彩色圖片,通過AI算法獲得圖片中手的方位、姿態、手勢等信息。優勢是設備成本低、數據更容易提供。目前這種基于單目RGB的手勢辨識在學術界和工業界研究的較為多,商用的方案商有英梅吉、ManoMotion、虹硬等。

還有一些人工智能開放平臺某種程度獲取這種方案。比如騰訊AI開放平臺獲取靜態手勢辨識和手部關鍵點,百度AI開放平臺和Face++獲取靜態手勢檢測。以及一些開源項目比如openpose和GoogleMediapipe等。

圖為openpose的手勢關鍵點檢測比起深度攝像頭方案,彩色攝像頭方案缺少深度信息,不受光照影響十分大,夜間無法用于,穩定性和精度都沒深度照相機方案好。1．2深度攝像頭方案這個方案是通過深度攝像頭來提供具有深度信息的圖片。

優勢是更容易提供手部的3D信息,比較不應的通過AI算法獲得的手部3D關鍵點也更為精確和平穩。但缺點是必須額外的設備、硬件成本較為低。深度照相機又分三大類:ToF、結構光和雙目成像。

其中,ToF和結構光獲得的深度圖較為定,但成本較為低,多用作手勢的科研領域,商用的較為較少,比如微軟公司HoloLens、極魚科技ThisVR。雙目成像因為視場角大,幀親率低,很合適用來做手勢辨識,唯一缺點就是因為光學原理的容許,使得整個雙目照相機模組的體積對比ToF和結構光來說大很多。使用雙目成像的公司以目前僅次于的手勢辨識公司LeapMotion為代表,該公司用于的是主動雙目成像方案,除了雙目攝像頭外還有三個補光單元,可捕捉雙手26DoF、靜態手勢、動態手勢等。

此外,LeapMotion還獲取了十分原始的SDK,對各個平臺反對都不俗(除手機平臺)。圖為LeapMotion的展示國內也有在做到雙目手勢的公司,比如uSensFingo是基于主動雙目的視覺方案,獲取雙手26DoF、靜態手勢、動態手勢辨識等功能。比起于LeapMotion,uSens更加專心于對手機以及其他低功耗嵌入式設備的反對。

此外還有微動VidooPrimary也有基于雙目的手勢解決方案。2、毫米波雷達毫米波雷達方案的代表有谷歌發售的一款類似設計的雷達傳感器——ProjectSoli,它可以跟蹤亞毫米精準度的高速運動,但目前尚能處在實驗室階段。從其發布的展示來看,目前可以辨識個別登錄的手勢,并在小范圍內辨識微小準確的手勢操作者,很合適充分發揮人類精準的小肌肉運動技能(finemotorskills)。

但缺點是有效地范圍太小,無法獲得手的所有維度。[參照谷歌ProjectSoli了解解析]圖為ProjectSoli的展示3、數據手套數據手套是所指在手上帶上一個內置傳感器的特制手套,通過傳感器檢測手指的舒展角度或方位,再行根據Inversekinematics(逆運動學)來計算出來使出的方位。一般中用的傳感器有傾斜傳感器、角度傳感器、磁力傳感器等。

傾斜傳感器和角度傳感器類似于都是可檢測手指的傾斜程度,我們以DEXMO力反饋手套為事例,該手套用于轉動傳感器捕獵11個維度的手部運動,還包括每根手指的彎曲和傾斜,以及大拇指一個額外的轉動維度。此方案輸掉的局部動作檢測很定,而且不不受視覺方案中視野范圍的容許。但缺點是手上必需戴著手套不方便,且不能檢測局部的手指動作,無法定位手部整體的方位角度。若想檢測手的方位角度,DEXMO須要因應其他6維度追蹤器用于。

當然DEXMO的僅次于賣點只不過不是手勢辨識,而是細致的觸覺對系統(haptics)+手勢辨識。手勢辨識+觸覺對系統的方案認同不會是以后嵌入式的重要一環。最近并購LeapMotion的UltraHaptics就是一家做到觸覺對系統的公司。

還有一種用磁力傳感器的——trakSTAR電磁式空間方位跟蹤系統。通過在手上張貼的磁力傳感器的磁場變化,來確認傳感器的方位角度,再行根據反運動學確認手的具體位置。圖為trakSTAR用于示意圖此方案需在手部張貼6個磁力傳感器(5個指尖+1個手背),并在面前敲一個磁力發射器。

磁力發射器不會在一定范圍內構成一個類似的電磁場,然后根據傳感器在電磁場中有所不同方位角度檢測到的電磁場強度的有所不同,來推斷出指尖及手掌的方位角度。再行通過反運動學,確認所有手部關節點的方位。此方案的缺點是有效地用于范圍太小,價格太貴,限于場景過于較少。

優點是精度很高,穩定性很好,并且可取得手部所有維度。目前此方案還只有顯科研在用,最近幾個學術界公開發表的手勢數據集FHAB、BigHand都是用此設備收集的。

本文來源：凱發k8官網-www.eee49.com