直擊首套國產AI無人商店（上）讓顧客「拿了就走」關鍵技術大解密

你能想像靠一支手機於商店內不需要與任何人互動，就能完成購物嗎？走進工研院光復院區的無人商店實驗場域，只要憑手機App掃描QR Code，就可穿過閘門，進入模擬商店，拿取屬意的商品，直接在App上完成付款後，就能帶著商品離開，不需排隊結帳。而這整個選購流程，完全靠AI辨識，並以手機為支付載具，來達到無人化。

2016年底，亞馬遜發表了首個無人商店Amazon Go的概念，立刻受到全球矚目，成為零售業的創新指標，促使各地零售業者紛紛加入此股風潮。而在臺灣，除陸續有零售業者展開小規模的無人商店測試計畫，工研院也從2017年開始，著手研發全國產的AI無人商店技術，且決心要落地產業現場，所以其技術方案整合了整間商店所需的硬體、軟體和營運管理服務。

為了早日讓技術在產業落地，工研院於研發之初，就於光復院區剛落成的研發大樓1樓，打造了約20坪的模擬超商店鋪，作為技術驗證的實驗場域。負責工研院無人商店技術研發工作的工研院巨量資訊科技中心執行長馮文生表示，「從研發第一天我們就確立，不只是要研發技術，更要讓技術運用於實際的營運場域。」

工研院陸續進行了商品取放辨識、人員綁定追蹤、IoT溝通管理等技術和系統的開發工作。研發期間，工研院還於不同的活動會場，先行展示了無人商店概念的縮小版應用「易取」智慧貨架。這個具自助販賣機功能的設備，運用重量感測器、電腦視覺辨識技術等，讓消費者透過手機App開櫃選購，並在關閉櫃門後，利用手機App完成付款，是工研院無人商店購物流程的簡易情境。

經歷3年的研發，工研院無人商店的各項技術和系統，於今年達到一定的成熟度和穩定度，工研院也在近日首度對外亮相該智慧商店的實驗場域，並宣布與全家便利商店（簡稱全家）簽約，預告雙方將於同一場地，共同建置採用該套整合方案的智慧商店。

走進工研院無人商店的實驗場域，可以看到兩個自動閘門通道，管控人員進出模擬商店，閘門的一旁有一個小房間，是支援整間商店運算需求的機房，而往店內一望，可看到31個智慧貨架，背靠背，並排陳列共逾300種商品，再抬頭一看，可以看到天花板上，有逾40臺攝影機組成的陣列，能自動追蹤、辨識消費者的位置和動作。

天花板攝影機陣列是消費者行為追蹤關鍵｜無人商店天花板布建了45臺攝影機，來追蹤、辨識消費者於店內的位置和行為。多數是1080P一般攝影機，能由上而下來辨識顧客姿勢，如伸手拿取商品的行為，少數是追蹤顧客移動軌跡的廣角攝影機。（攝影／黃郁芸）

智慧貨架靠3大技術來辨識拿取商品｜智慧貨架有三層貨架，每層內側上方架設3臺攝影機、下方層板則內嵌數個重量感測器，層板外緣還安裝紅外線光柵，結合影像、重量和紅外線等多重感測技術，來辨識消費者拿取的商品內容和數量。（攝影／黃郁芸）

購物免排隊結帳，進出商店、付款全靠App

工研院這間無人商店的購物流程十分簡單。首先，消費者利用綁定好支付方式的手機App，作為進店消費的憑證，對著入口閘門上的條碼掃描機，掃App上的QR Code來開啟閘門，就可進入店內選購商品。而這個簡單的掃碼動作，不單是要讓進出閘門控制系統，開啟閘門，更是要讓智慧購物行為辨識系統獲悉消費者的身分，來開始追蹤其於店內的行為。

手機App綁定支付後才能進店｜實名註冊的顧客，得先在專用的手機App中綁定支付方式，取得進入無人商店的QR Code，才能掃碼開啟入口閘門。（攝影／翁芊儒）

接著，消費者只要拿取商品，智慧購物行為辨識系統就會辨識取放行為，再由多重感測技術即時辨識商品資訊，並將商品與消費者綁定，自動於App的虛擬購物車中，顯示商品的名稱與數量，而若消費者改變心意，將商品放回了貨架，系統也會立即自動從購物車中，移除該商品的資訊。

消費者選購完商品後，直接於App上點選付款程序，進行付款。一旦結帳完成，消費者便可從App上查看明細，或可點選「離開商店」的選項，獲得離店QR Code。最後，消費者只要再次對著閘門上的條碼掃描機，掃QR Code，即可開啟閘門、離開商店。整個購物流程，省去了排隊結帳的動作與時間。

根據記者實際體驗，從商品拿取，到App呈現商品資訊，中間約有3至5秒的時間差，整體使用者體驗仍有改善的空間。對此，工研院巨量資訊科技中心經理崔文說明，因App的伺服器位於雲端上，任何資訊都需透過外網連接雲端，才可呈現於App上，而產生了通訊上的延遲。

國產AI無人商店關鍵技術大解密

讓顧客「拿了就走」的無人商店模式，從追蹤顧客進店面後的軌跡、取放商品的行為，到自動辨識正確品項並加入手機App購物車中，這整套流程背後的關鍵技術，就是工研院獨立研發的多視角影像辨識技術、與多重感測器分析技術。

多視角影像辨識技術，是透過天花板裝設的多個攝影鏡頭以及廣角攝影機，在顧客掃描QR Code進入智慧商店之後，即時追蹤其移動軌跡與行為，比如在顧客拿取商品後，同步將商品加入虛擬購物車中，反之若是放回商品，購物車也會同步移除。其中，廣角鏡頭因拍攝範圍更大，主要用來追蹤顧客軌跡，一般攝影鏡頭則是能由上而下地辨識顧客姿勢，比如伸手取放商品等行為。

崔文進一步說明，由於顧客在伸手拿取商品時，仍有機率發生遮蔽、交叉取物等影響上方攝影機辨識的情況，因此，當顧客站在天花板一臺攝影機正下方時，前、後、左、右相鄰的四個攝影機，也會同時透過斜角的視野來辨識顧客姿勢，藉此降低誤判機率。工研院目前也在嘗試，將現為平面向下的攝影機改以多角度來架設，試圖找到提升姿勢辨識準確率的方法。

方向採取從天花板由上向下進行辨識的設計，馮文生解釋，是為了避免直接拍攝到人臉的監控爭議。不過，若未來客戶提出針對性別、年齡分眾行銷的需求，技術上仍然可以透過部署不同角度的攝影機來達成。

雖然頂部的攝影機可以追蹤顧客位置，但在一個貨架的多種商品中，顧客伸手究竟拿了哪一樣商品？就要運用到多重感測器分析技術了。這項技術隱身在一個個貨架中，主要運用紅外線光柵、貨架層板上的攝影機以及重量感測器，來確實辨識顧客拿取的商品並加入虛擬購物車中。其運作方式，是在顧客伸手取物、觸碰到貨架外緣的紅外線光柵時，同步喚醒貨架內的攝影機與重量感測裝置，接著，透過重量分布的改變，同時搭配攝影機比對取物前後的畫面，判斷出被取出的商品品項。

層板紅外線光柵是運算量降低關鍵｜貨架底部層板外緣，隱藏內嵌了紅外線光柵，只有顧客伸手取商品時才會觸發，再啟動對應的攝影機和重量感測器，不用隨時開啟攝影機，可以大幅降低後端硬體的運算量。（攝影／翁芊儒）

馮文生表示，設置了紅外線光柵的好處是，可以讓貨架內的感測裝置只需在觸發後啟動，能大幅降低後端硬體運算量，且透過影像辨識搭配重量感測技術，也能降低模型訓練時單一品項所需的影像數量，比如一般市面常見的盒狀包裝商品，只要包裝盒六面的影像各一張，再加上商品的重量資訊，就能滿足AI訓練所需，比起只用影像辨識技術來辨識商品，也能進一步降低運算量。

整體運算量降低後，也讓這套無人店技術需要的硬體運算資源門檻下降。比如崔文形容，現在工研院無人店運用含CPU、GPU在內的硬體裝置，約一般電競PC的運算力，就能處理整間店所有軟體的綜合運算分析需求。

目前，結合上述兩套關鍵技術，排除惡意行為干擾下的實測，辨識率約為98～99%。也就是說，在大多時候，行動App能確實記錄下顧客選購的商品，並在顧客確認無誤後一鍵結帳，達成從選購到結帳的無人化。文⊙翁芊儒、黃郁芸

冷藏貨架也能用多重感測辨識取貨｜這套辨識取貨的多重感測技術，不只可以安裝於常溫貨架，也可以運用到冷藏貨架上，來辨識顧客拿取架上冷藏商品的行為，目前實驗場域內有兩個冷藏智慧貨架，但還無法支援冷凍貨架。（攝影／黃郁芸）

後臺系統即時呈現店內人流及取貨狀態｜目前無人商店可同時開放5～10人入場，後臺系統可以即時顯示每一個人在店內的位置，若有商品被拿取，該貨架也會出現黃色提示。工研院目標是支援20人入場。（攝影／黃郁芸）

工研院國產無人商店7大特色

 特色1  全國產研發
 特色2  以落地為目標，壓低建置成本到百萬元等級
 特色3  綁定會員， 以手機為消費載具，刷QR Code進出店
 特色4  以AI技術驅動，追蹤顧客移動軌跡、取放商品等行為
 特色5  觸及貨架外緣紅外線光柵才啟動商品辨識機制，藉此降低運算量
 特色6  研發操作簡易的商品辨識模型訓練系統，加速新商品的上架流程
 特色7  將人流追蹤攝影機架設於天花板，避免人臉監控爭議

無人商店目前4大不足

 不足1  部份過輕、過小、生鮮蔬果類、冷凍商品仍無法辨識
 不足2  仍有部分場景未克服，如無法分辨不同人取放商品或服裝相似者
 不足3  雛形的硬體系統仍不夠穩定
 不足4  實測時，取物後需等3∼5秒，App購物車才會顯示商品

資料來源：工研院，iThome整理，2020年7月

 相關報導  直擊首套國產AI無人商店（下）百萬元國產貨不輸造價千萬的Amazon Go，軟硬體關鍵大公開