第277期

MatchPoint 手邊小物成遙控器 

2017年UIST年會發布的Matchpoint手勢控制技術,將會改變你對於遙控的看法。

MatchPoint 手邊小物成遙控器 

徐仟妤 報導

晚間八點,阿明百般聊賴的看著電視上的政論節目,不料,他正準備轉台時卻發現身邊沒有遙控器。眼看一個生活中的小意外,將要破壞這個不願起身的肥宅難得清閒的夜晚,他鎮定地將手上的馬克杯隨意一揮,電視頻道就切換到了他喜歡的節目。這樣的故事聽起來不可思議,但它可能即將發生在我們的日常生活中。 

2017年10月22日在加拿大魁北克舉辦的UIST(User Interface Software and Technology)使用者介面軟體與科技人機互動年會上,由英國蘭開斯特電機與通訊學院發表的MatchPoint系統,藉由自發性空間耦合技術支援的手勢控制,只需要一個簡單的網路攝影機,就能將手邊的任何東西變成小型遙控器。
 

蘭開斯特大學的研究員Christopher Clarke經由移動手邊的馬克杯、轉動攪拌器等方式,不斷控制螢幕。(影片來源/Scientias.nl

自發性空間耦合

MatchPoint的原理是基於自發性空間耦合技術(Spontaneous Spatial Coupling),耦合(Coupling)在此是指系統與控制物件的配對,系統會經由深度攝影機自動辨識空間中使用者的動態變化。當使用者的手勢動作與預設動態相符時,自發性空間耦合就會自行配對使用者與系統的控制指標。與現有手勢控制技術不一樣的是,系統不會去偵測預先儲存的手部資料,而是經由旋轉的動作本身作為觸發點,為進行動作的部位與控制螢幕的狀態建立連結。所以不需要事先訓練系統去辨別多種手勢,或是透過軟體手動設定連接的對象。

除了與手部及其他身體部位進行耦合之外,使用者還可以將靜止的物體連接到控制器上,一旦使用者將物體從攝影機的視野中移除,就可以隨時解除連接狀態。另一方面,一旦物體與系統建立連結,即使經過長時間的放置也會保持控制功能。研究人員認為Match Point除了讓一般大眾更加方便,也能夠適用於無法以滑鼠、遙控器或鍵盤等傳統形式控制指標的人,如身心障礙者。

 

當使用者的動態(B)與系統內建動態(A)同步時,自發性空間耦合便會將物件與系統連結。(圖片來源/MatchPoint

 

建立連結後,使用者僅需經由簡單的上下左右移動(C)進行控制(D),不需學習繁複的手部指令。(圖片來源/MatchPoint

基於影像進行辨識

由於自發性空間耦合透過深度攝影機進行辨識,首先要針對影像中的「運動」本身進行匹配。MatchPoint使用運動配對系統,原理是當系統感知旋轉動作發生時,會輸入影像特徵點的x軸與y軸數據,並計算其與圓形軌道的相關係數,當相關性達到一定的數值時,兩者便會進行配對,追蹤器也會同步初始化。當追蹤器初始化時,系統會劃定一個ROI範圍(Region of Interest),ROI能夠有效縮減系統的計算量,方便追蹤器計算各影格間的重心變化,取得每一幀影像的ROI重心變化平均值,就可以取得手部或物件的運動軌跡,同步進行螢幕畫面的控制。
 

一旦運動軌跡與同步,MatchPoint的追蹤器就會初始化,並劃定ROI。(圖片來源/徐仟妤重製) 資料來源:MatchPoint

MatchPoint目前距離完全實現仍有幾個限制,第一為空間耦合的追蹤器無法處理其他外物的遮擋;第二則是檢測到用戶的不同身體部位時,同時運動可能會導致追蹤的誤差,且多人同時執行完全相同的動作時,系統可能會將這些動作識別為其他的組合動作;第三是當使用者想要利用其他物體當作控制器時,系統有時仍會以手部做為辨別對象。「關鍵在於如何取得命令主導權。」交通大學電機與控制工程系教授陳永平說,如果使用者單純只是需要喝杯咖啡,並非想要控制螢幕,該如何區分控制動作與日常動作將是一大難題,研究者指出未來可以結合目標辨識的資訊,並將各身體部位進行分段辨識以改善此問題。

智慧辨識與控制技術

手勢控制的原型為手勢辨識(Gesture Recognition)技術,隨著近年電腦視覺的蓬勃發展,智慧辨識與控制技術發展迅速。工研院產經中心(IEK)於三大辨識技術應用趨勢探討一文指出,近期熱門的辨識技術集中於場景、人臉及動態行為辨識,三者皆以視覺運算為基礎,擷取影像再根據內建資料庫及機器學習進行局部細節比對分析。場景辨識為對於單一區域透過影像處理方式辨別內容物,常用於交通及空間的監測系統;人臉辨識以2017年9月發布的iPhone X最具代表性,根據臉部特徵的差異進行比對;手勢辨識則屬於動態行為辨識領域,動態行為辨識技術相對複雜,又分為全身(Whole Body)與部分(Partial Body)辨識,近年相關零組件的發展逐漸完善,使辨識精確度及速度持續提高,為原本就應用廣泛的動態行為辨識,帶來更大的優勢。

2015-2016年10月各項技術辨識專利數量(圖片來源/經濟部技術處

陳永平表示,手勢控制技術源於80年代,最初輔以聲音控制及穿戴式手套與系統互動。目前被廣泛應用於遊戲產業,例如著名的Microsoft Kinect,即是一款為Xbox主機以及Windows PC開發的感應設備。此外,在醫療行業上,AiCure公司利用智慧型手機,搭配手勢辨識,讓病人能正確使用藥物的APP;在汽車行業中,許多廠商將手勢控制融入儀表板控制,期望在汽車及駕駛間創造一種新的互動模式,德國知名汽車廠牌BMW即在2016年的消費者技術展(Consumer Tech Show)更推出了一款以手勢辨識為基礎的汽車。工研院產經中心亦指出,動態行為辨識已成為相關廠商不可或缺的技術布局重點,Microsoft、NEC與三星等大廠皆已投入。未來結合人工智慧與深度學習(Deep Learning),智慧辨識與控制技術將成為日常生活中不可或缺的一環。


想像你在廚房學習做菜時,不用放下手邊工作,直接旋轉手上的菜刀,就能夠暫停平板電腦上播放的烹飪教學影片。而在旁邊嬉戲的女兒,則通過滾動玩具車調整播放器裡的兒歌音量,這樣魔術般的未來家庭想像,經由智慧控制技術可能就快要成真了。

(縮圖來源/EurekAlert

記者 徐仟妤
一個沒有文采的人在做需要文采的事,嗚呼哀哉。
編輯 甘愷璇
想隱居深山
記者 徐仟妤
編輯 甘愷璇