圖片來源: 

iThome

早期所發展的擴增實境(Augmented Reality,AR)大多體現在娛樂應用,像是讓鏡頭拍攝一張圖像時,接著就能在一旁的螢幕或平板畫面上,顯現攝影鏡頭捕捉到的實景之外,並自動顯現生動的虛擬影像。

近年來,AR應用越來越夯,並有許多企業能夠應用的情境與方案,像是與平板結合應用,將系統資訊與實景整合,以提供更主動與視覺化的應用,對於設備檢查與維護很有幫助。

像是現場工作人員可以拿著平板電腦,以裝置內建的相機掃描設備旁的QRcode,就能在平板畫面上顯示AR擴增實境的內容,包含設備的維護、檢查指示、維修紀錄等,也就是可以直接提供更多的資訊內容在實景之中。

另一方面,穿戴式裝置應用也是未來技術的熱門議題,在醫療、娛樂、運動健身等領域已經率先發光發熱,同時企業也正積極找尋相關應用情境,不過,雖然穿戴式裝置夠便利,但也受到一些技術的限制,使得輸入操作沒那麼方便。

AR技術加持,讓穿戴式裝置也能顯示鍵盤並操作

今年NEC在日本東京舉行的C&C User Forum & iEXPO2015大會帶來的新技術,則是更進一步讓AR技術與穿戴裝置有更好的結合,如智慧眼鏡與智慧手錶,組合結果相當令人驚艷。

NEC新推的這種手臂虛擬鍵盤應用,稱之為ARmKeypad,主要利用智慧眼鏡與智慧手錶來實作,該眼鏡可用來幫助使用者看到手臂上的虛擬鍵盤,而智慧手錶來偵測確認觸控位置,做到輸入操作的目的。

 

(圖片來源/NEC)

新的技術組合讓ARmKeypad應用具有實用性

基本上,ARmKeypad結合了AR擴增實境與穿戴式眼鏡、手錶連動的應用方式,能在手臂呈現大型的虛擬鍵盤,供使用者打字與輸入指令。

 

(圖片來源/NEC)

ARmKeypad結合自動提示、辨識和輸入,提升工作效率

這種將鍵盤直接呈現在手臂的方式,讓行動工作者在工作時,不需要再用手拿取其他裝置,就能直接看到提示或警告訊息,並且做到打字輸入與控制,使工作流程不中斷。不論是設備保養維修、庫存管理等業務,或是機動性的現場外勤人員,都可增加工作效率。

 

 

(圖片來源/NEC)

NEC早期曾發展利用手臂操作IT系統的技術

其實,與手臂相關的操作解決方案,在過去就有很多設想,像是NEC本身也提出過,利用配戴在手腕上的加速度感應器,偵測使用者拍打手臂的位置,進而傳達操作指令。

 

基本上,使用者只要戴著眼鏡往手上一看,馬上就能透過智慧眼鏡看到虛擬鍵盤顯示在手臂上,讓工作現場能夠不用帶著平板等手持設備,就能直接進行設備操作,因此可對應免持式作業的工作情境。

我們也可以說,與之前的AR技術應用相比,ARmKeypad的概念就是要以穿戴式裝置取代手持式裝置的使用,讓工作方式更直接。

進一步了解ARmKeypad的運作原理,主要是從智慧手錶開啟應用軟體,並顯示相對應的QR Code資訊,當使用者看著自己的手臂時,智慧眼鏡上的攝影鏡頭,就能捕捉到手腕上的智慧手錶,並識別上面的QR Code,以對應顯示軟體的虛擬鍵盤畫面在智慧眼鏡上,讓使用者可以同時看到一個系統資訊與實景整合的畫面。

而這個虛擬鍵盤介面,將顯示在你戴的智慧手錶旁的手臂區域,透過智慧眼鏡上方的攝影鏡頭,就能偵測使用者指尖所按到的AR虛擬鍵盤位置,同時,透過智慧手錶的加速度感應器,來偵測觸控的時間。如此一來,便能輸入到智慧手錶的應用軟體上。

當然,ARmKeypad可以根據不同應用軟體,自動調整需要的虛擬鍵盤畫面,以對應各種的使用場景。甚至,智慧手錶上的顯示畫面,也能變更為連動的使用者介面。

同時,在觸控輸入過程中,由於這樣的操作方式是在使用者自己的手臂上進行,用戶本身可以有較具體的感受,來確認觸控操作,這也顯然讓實體與虛擬的結合性更高。

不僅如此,此方案為了適應各種情況,也提供了更多控制能力,像是在無法使用鍵盤時,能搭配語音輸入的方式作業。

 

擴增實境與智慧眼鏡、手錶連動,改變輸入操作體驗

使用者只要戴上智慧眼鏡,然後往戴著智慧手錶的手上一看,就能在智慧眼鏡上看到顯示在手臂上的虛擬鍵盤,並可直接觸控操作。

 

能在手臂上顯示虛擬鍵盤並操作

使用者透過智慧眼鏡所看到的畫面,就跟圖中平板電腦所顯示的畫面相當,是一個系統資訊與實景整合的介面。只要觸碰虛擬按鍵的位置,就能開始操作虛擬鍵盤,使用方式非常直覺。

 

(圖片來源/NEC)

現場作業毋須仰賴手持電腦或行動裝置,雙手更自由

現場工作人員要操作設備時,不用手持裝置,就能透過智慧眼鏡看到虛實整合的畫面,並有夠大的輸入範圍去操作。

 

提供免持應用,並解決智慧眼鏡的輸入問題

相較於過去AR擴增實境的應用,ARmKeypad最大的優勢在於免持,讓使用者的雙手不用拿著具有顯示器、鍵盤元件的相關裝置,就能看到提示、警告,並直接輸入指令。

從另一角度來看,對於智慧眼鏡的使用方式而言,在資訊的輸入方面,一直是急需克服的一大課題。以往可能需要搭配按鈕、觸控感應器,或採手勢辨識等機制,現在NEC提出與智慧手錶、擴增實境搭配的方式,並以手臂作為觸控操作的基準。如此一來,使用者不需要再用手拿取其他裝置,虛擬按鍵區域範圍也能隨著自己的手臂區域延伸,鍵盤的版面配置也有高度的自由,操作也能有具體的觸感回饋,並且不用記憶特別的操作方式,同時針對操作準確性與反應速度加以優化,以提升操作效率。

 

利用智慧眼鏡看到虛擬鍵盤介面與實景的重疊影像

現場展示時,NEC搭配了Epson智慧眼鏡,智慧眼鏡的正中央區域具有顯示器,就是使用者能夠看到虛擬按鍵的關鍵,而智慧眼鏡上方的攝影鏡頭,則可以輔助捕捉使用者的輸入位置。

 

運用智慧手錶顯示的QR Code,啟動虛擬鍵盤

當使用者的智慧眼鏡朝向手臂看時,智慧眼鏡的攝影鏡頭能透過智慧手錶上顯示與應用軟體相對應的QR Code,進而識別該條碼,以對應顯示虛擬鍵盤於智慧眼鏡。這樣的輸入過程中也很有感,因為是在自己的手臂上進行,使用者在身體碰觸時,可更真實地確認觸控操作。

 

(圖片來源/NEC)

可適應各種作業情境的虛擬按鍵

可對應顯示軟體的虛擬鍵盤畫面,像是功能控制按鍵,或是全尺寸的英文輸入鍵盤、數字鍵盤,甚至是鋼琴鍵。

 

其實, NEC過去也發表過與手臂相關的操作技術,透過配戴在手腕上的加速度感應器,當使用者拍打手臂產生的加速度來判斷拍打位置(像是上手臂、下手臂前段或後段),進而傳達操作指令。只是,這樣的輸入方式會受到局限,不像虛擬鍵盤可以對應更多的操作選項,提供更直覺可視化的操作。現在這種穿戴式裝置與AR擴增實境的結合應用,算是為穿戴裝置的輸入問題帶來一種解法。

綜合來看,原本不易操控的穿戴應用,這一兩年已經在市面上看到各式不同的解法,多元的設計與應用方式紛紛提出,而從使用情境去考量企業要如合應用這樣的技術,應該是不錯的方向。NEC表示,現階段以製造業的應用情境最容易想像,像是設備保全、維護或品檢工作,以及庫存管理的業務,其他能夠應用的工作領域,還包括像是保全、流通、醫療等,需要免持裝置作業的使用情境。

未來,他們也將不斷持續發展與強化ARmKeypad,運用在設備檢查與管理的解決方案。

 

ARmKeypad的應用特點

不會中斷正在做的事 

只要戴著眼鏡往手上一看,馬上就出現了虛擬鍵盤,即可開始進行輸入。不用因為手拿的動作,而讓進行中的任務受干擾。

更便於使用 

虛擬鍵盤能在手臂上顯示較大的輸入範圍,也不用背誦特別的操作方式。

而且,在無法使用鍵盤時,使用者也能利用語音輸入方式繼續操作。因此,語音控制將是穿戴式裝置未來應用的另一關鍵。

輸入具觸感,操作更具體 

由於是在手臂上觸控來判別是否輸入,與手勢辨識相比,使用者更能清楚辨別操作的情形。


Advertisement

更多 iThome相關內容