圖片來源: 

攝影/王若樸

工研院資通所所長闕志克22日揭露工研院自駕車技術進展,今年要擴充全球首套臺灣自駕車街景影像資料集Formosa Dataset的預碰撞事件(Pre-crash Event),要納入不同環境下的道路標誌、地面標誌、車尾燈等影像,來讓AI模型學習避免碰撞。明年,還要整合多元感測資料,來提高時空間中,物件半自動預標記的效率。同時,他也揭露自駕車產業化應用,明年除了要生產7臺Level 3自駕巴士外,還要將技術應用於工廠或物流中心裡的自動搬運車(AGV)。

鎖定自駕車感知能力,以AI辨識為核心

自駕車技術可分為感知、決策和控制三部分,他回顧,三年半前工研院投入自駕車領域時,就聚焦於感知。而自駕車的感知資訊,來自於相機鏡頭、光達和雷達等設備,工研院也根據這些設備,研發出一系列感知系統。

首先是針對相機鏡頭的車用視覺技術,可分為三大技術,第一是影像預處理系統,可用來除雨去霧、檢測和去除鏡頭畫面中的鬼影,也能用於高動態範圍成像;再來是辨識行車環境的深度學習模型,「我們仿照Nvidia,訓練了7個環境辨識模型。」闕志克指出,這7個模型分別負責辨識空間、道路交通標誌、車道巷弄、紅綠燈號,以及對車輛燈號、機車燈號和行人的偵測。

第三個技術則是工研院獨創的影像分割技術,「是領先全球的自駕車影像分割演算法!」該架構為工研院自行研發的ITRI-Seg,辨識準確率達99.5%,遠高於基準測試的即時影像分割類神經網路ENet準確率(95.2%),且速度也略勝一籌。

接下來,工研院針對自駕車的另一感知來源:雷達和光達,開發了複合式的長短距離偵測系統。這個系統整合了長距離和短距離雷達與相機,能擴大偵測範圍、辨識距離物件,減少死角視差。

不只如此,工研院也針對多種感測器,建立兩套感知融合系統,也就是Early Fusion和Late Fusion,能分別利用全車數十個相機、光達和雷達,來提供100公尺內的高精度深度圖(RGBD),或是根據當下環境條件,來融合這些感測器的辨識決策,提高辨識精準度。

有了對環境的感知後,再來,就是對行人穿越馬路和車輛行駛的意圖預測。首先,為預測行人是否會穿越馬路,工研院建立一套人體辨識系統,先定位出人體骨架,再結合姿態語意分析,來即時了解行人穿越馬路的意圖,比如是否會闖紅燈。

對於車輛行蹤預測,則是仰賴車尾燈、方向燈等影像辨識和物件追蹤技術,來即時預測前方車輛是否會緊急剎車、臨停或轉向等。不過,闕志克坦言,光是要讓AI模型辨識方向燈,就是一件很不容易的事,「因為車子有各種形式的方向燈,有時還搭配停車燈,需要很多訓練資料才行。」

4年打造全球首套臺灣街景影像資料庫,今年要完成預碰撞影像收集

由於這些感知系統都以AI辨識模型為基礎,因此需要大量訓練資料才行。為此,工研院在2年前開始,逐步建立一套專屬臺灣的街景影像資料庫Formosa Dataset。他們鎖定臺灣300多條重要道路中,容易發生碰撞的道路,並在不同天氣條件下,收集這些道路的影像資料,目標要達到10萬公里資料量。

這些資料涵蓋了不同級別的道路,像是市區、巷弄、圓環、交通標誌等道路場景,其中的物件還可分為150項。這套資料庫,也包括了自動化標記平臺,可用來加速物件標記時間。

經過2年發展,這套資料庫已具備交通物件和地面道路圖形標誌的標記影像,去年也完成了部分車尾燈狀態的標記。今年則是要擴充行車影像難以收集的預碰撞事件,也就是車輛發生碰撞前的影像資料。

進一步來說,這些預碰撞資料包括了黎明、黃昏和起霧時的交通標誌與地面道路圖形標誌,以及日夜陰晴情境下,共10萬臺汽機車的車尾燈影像。此外,還要收集光達點雲物件標記的資料,以及立方體影像物件的標記。

工研院也將預碰撞影像資料,分為五大類,像是同車道追撞、闖紅燈、對向相撞等。為了讓資料更豐富,團隊也在YouTube上尋找車禍影片,以影片為基礎,透過電腦繪圖在模擬器中產生不同場景的車禍情境,比如雨天、夜晚等。

除了今年要完成預碰撞事件資料的收集,明年,工研院還要結合可見光影像、熱感應影像、光達點雲等多種感測影像資料,來自動進行時間、空間的整合性標記。

打造整輛自駕巴士,明年要能行駛在一般道路上

闕志克表示,工研院自駕車感知系統瞄準車用電子業,「比如提供光達辨識模組或相機影像辨識模組,給ADAS廠商發揮。」不只如此,工研院後來也實際將自家的感知系統,整合開發出自駕巴士,目標是明年要在一般道路上行駛、速度要達每小時50公里。而且,感知程度也要有所精進,比如能感知大雨、交通警察和弱勢用路人,並讀懂交通警察的手勢。

他也揭露了工研院自駕車的產業化成果,首先,透過與車王電子聯手,他們整合了國內14家設備和軟硬體廠商,在今年打造3臺自駕能力為Level 3的自駕接駁中巴和大巴,明年還是要生產7臺。所謂Level 3,是指系統能自動行車,進行加減速和超車,而且在特定條件下,駕駛人的手可以完全離開方向盤,腳也不必踩在踏板上。除了打造Level 3自駕巴士,工研院也與車王電子發展電動大巴的Level 2輔助駕駛系統。

闕志克也指出,工研院不只將這套自駕感知技術用於汽車產業,還用來發展「自主室內移動搬運車」(AMR),改善工廠和物流中心的AGV。也就是說,AGV不再只受限於固定路線,能藉助感知系統來動態行車,而且在避障上,還能繞越障礙物,不像傳統AGC只會停在原地。工研院也在8月時,完成場域試驗。


熱門新聞

Advertisement