工研院用4年打造全球首套臺灣街景自駕資料庫，今年要擴增預碰撞事件資料

工研院資通所所長闕志克22日揭露工研院自駕車技術進展，今年要擴充全球首套臺灣自駕車街景影像資料集Formosa Dataset的預碰撞事件（Pre-crash Event），要納入不同環境下的道路標誌、地面標誌、車尾燈等影像，來讓AI模型學習避免碰撞。明年，還要整合多元感測資料，來提高時空間中，物件半自動預標記的效率。同時，他也揭露自駕車產業化應用，明年除了要生產7臺Level 3自駕巴士外，還要將技術應用於工廠或物流中心裡的自動搬運車（AGV）。

鎖定自駕車感知能力，以AI辨識為核心

自駕車技術可分為感知、決策和控制三部分，他回顧，三年半前工研院投入自駕車領域時，就聚焦於感知。而自駕車的感知資訊，來自於相機鏡頭、光達和雷達等設備，工研院也根據這些設備，研發出一系列感知系統。

首先是針對相機鏡頭的車用視覺技術，可分為三大技術，第一是影像預處理系統，可用來除雨去霧、檢測和去除鏡頭畫面中的鬼影，也能用於高動態範圍成像；再來是辨識行車環境的深度學習模型，「我們仿照Nvidia，訓練了7個環境辨識模型。」闕志克指出，這7個模型分別負責辨識空間、道路交通標誌、車道巷弄、紅綠燈號，以及對車輛燈號、機車燈號和行人的偵測。

第三個技術則是工研院獨創的影像分割技術，「是領先全球的自駕車影像分割演算法！」該架構為工研院自行研發的ITRI-Seg，辨識準確率達99.5％，遠高於基準測試的即時影像分割類神經網路ENet準確率（95.2％），且速度也略勝一籌。

接下來，工研院針對自駕車的另一感知來源：雷達和光達，開發了複合式的長短距離偵測系統。這個系統整合了長距離和短距離雷達與相機，能擴大偵測範圍、辨識距離物件，減少死角視差。

不只如此，工研院也針對多種感測器，建立兩套感知融合系統，也就是Early Fusion和Late Fusion，能分別利用全車數十個相機、光達和雷達，來提供100公尺內的高精度深度圖（RGBD），或是根據當下環境條件，來融合這些感測器的辨識決策，提高辨識精準度。

有了對環境的感知後，再來，就是對行人穿越馬路和車輛行駛的意圖預測。首先，為預測行人是否會穿越馬路，工研院建立一套人體辨識系統，先定位出人體骨架，再結合姿態語意分析，來即時了解行人穿越馬路的意圖，比如是否會闖紅燈。

對於車輛行蹤預測，則是仰賴車尾燈、方向燈等影像辨識和物件追蹤技術，來即時預測前方車輛是否會緊急剎車、臨停或轉向等。不過，闕志克坦言，光是要讓AI模型辨識方向燈，就是一件很不容易的事，「因為車子有各種形式的方向燈，有時還搭配停車燈，需要很多訓練資料才行。」

4年打造全球首套臺灣街景影像資料庫，今年要完成預碰撞影像收集

由於這些感知系統都以AI辨識模型為基礎，因此需要大量訓練資料才行。為此，工研院在2年前開始，逐步建立一套專屬臺灣的街景影像資料庫Formosa Dataset。他們鎖定臺灣300多條重要道路中，容易發生碰撞的道路，並在不同天氣條件下，收集這些道路的影像資料，目標要達到10萬公里資料量。

這些資料涵蓋了不同級別的道路，像是市區、巷弄、圓環、交通標誌等道路場景，其中的物件還可分為150項。這套資料庫，也包括了自動化標記平臺，可用來加速物件標記時間。

經過2年發展，這套資料庫已具備交通物件和地面道路圖形標誌的標記影像，去年也完成了部分車尾燈狀態的標記。今年則是要擴充行車影像難以收集的預碰撞事件，也就是車輛發生碰撞前的影像資料。

進一步來說，這些預碰撞資料包括了黎明、黃昏和起霧時的交通標誌與地面道路圖形標誌，以及日夜陰晴情境下，共10萬臺汽機車的車尾燈影像。此外，還要收集光達點雲物件標記的資料，以及立方體影像物件的標記。

工研院也將預碰撞影像資料，分為五大類，像是同車道追撞、闖紅燈、對向相撞等。為了讓資料更豐富，團隊也在YouTube上尋找車禍影片，以影片為基礎，透過電腦繪圖在模擬器中產生不同場景的車禍情境，比如雨天、夜晚等。

除了今年要完成預碰撞事件資料的收集，明年，工研院還要結合可見光影像、熱感應影像、光達點雲等多種感測影像資料，來自動進行時間、空間的整合性標記。

打造整輛自駕巴士，明年要能行駛在一般道路上

闕志克表示，工研院自駕車感知系統瞄準車用電子業，「比如提供光達辨識模組或相機影像辨識模組，給ADAS廠商發揮。」不只如此，工研院後來也實際將自家的感知系統，整合開發出自駕巴士，目標是明年要在一般道路上行駛、速度要達每小時50公里。而且，感知程度也要有所精進，比如能感知大雨、交通警察和弱勢用路人，並讀懂交通警察的手勢。

他也揭露了工研院自駕車的產業化成果，首先，透過與車王電子聯手，他們整合了國內14家設備和軟硬體廠商，在今年打造3臺自駕能力為Level 3的自駕接駁中巴和大巴，明年還是要生產7臺。所謂Level 3，是指系統能自動行車，進行加減速和超車，而且在特定條件下，駕駛人的手可以完全離開方向盤，腳也不必踩在踏板上。除了打造Level 3自駕巴士，工研院也與車王電子發展電動大巴的Level 2輔助駕駛系統。

闕志克也指出，工研院不只將這套自駕感知技術用於汽車產業，還用來發展「自主室內移動搬運車」（AMR），改善工廠和物流中心的AGV。也就是說，AGV不再只受限於固定路線，能藉助感知系統來動態行車，而且在避障上，還能繞越障礙物，不像傳統AGC只會停在原地。工研院也在8月時，完成場域試驗。