圖片來源: 

為了改善新聞中體育賽事的報導方式,紐約時報研發人員開發以人工智慧3D姿勢量測模型,從連拍相片中計算出體操選手的3D骨架,擷取人們容易看漏的姿勢細節,讓記者有更完整的資料,報導運動員的表現。

紐約時報提到,他們本來因為要準備2020夏季奧運的播報,因此在去年的時候,開始探索在運動賽事中應用電腦視覺技術,以更好地了解運動員的表現,在運動員沒有配戴實體標記的條件下,也能量測運動員的動作。傳統的動作捕捉技術需要搭配實體標記才能達成,但是在現場運動賽事不可能要求運動員配戴標記,因此紐約時報於是想透過攝影師拍攝的照片,結合機器學習和電腦視覺技術,捕捉運動員的動作細節。

這項技術目前主要鎖定體操項目,因為體操運動員的姿勢,包括關節的位置,是得分的關鍵,而且在夏季運動會中,女子體操是很受歡迎的項目。這項研究的成果,紐約時報現在僅用3臺攝影機拍攝的連續相片,就能擷取實況運動賽事運動員的3D姿勢和效能指標。

在比賽現場,紐約時報的攝影師會從多個角度拍攝運動員,並且在攝影機間同步影格,機器學習技術會算出每個影格中運動員的2D姿勢,接著利用相機參數,以電腦視覺演算法從2D姿勢回推3D姿勢,而計算出來的3D姿勢序列,系統就能計算出旋轉速度、跳躍高度等運動選手評分指標。

要從多角度同步捕捉運動員的照片,需要物理連接相機,但在實際賽事卻難以達成,因此研發團隊打造了新硬體,能夠使用GPS時鐘以及遠端無線觸發器,來同步多臺相機的快門,進而在不同角度同時拍攝照片。研發團隊解釋,因為攝影師本來就會以連拍紀錄運動賽事,而且相片比影片中的影格還要清楚很多,可讓機器學習模型更準確地捕捉運動員姿勢。


(圖片來源/紐約時報)

機器學習模型能從照片中,估算出運動員的2D姿勢,研發人員表示,他們試了各種電腦視覺模型,但是都無法成功算出運動員的姿勢,原因是這些模型都是使用日常活動,像是走路等照片訓練,因此無法辨識體操選手的姿勢,最後電腦視覺廠商Wrnch提供了開箱即用的模型,才得以正確辨識體操選手的動作。

在計算運動員3D姿勢之前,系統還需要知道相機的參數,包括位置以及朝向,傳統的方法要求相機擺放在固定的位置,並且在所有相機可拍攝到的地方,放置實體校準板,但這種方法同樣無法用於運動賽事中,因為比賽時無法在多臺相機中間擺放校準板,最後研發人員參考了華盛頓大學、臉書和Google共同發表的方法,以體操平衡木作為校準物體,而這個方法也能被擴展應用到網球或是田徑等其他運動比賽上。

一旦計算出相機的位置以及朝向,就能以三角化演算法從2D姿勢推算出3D姿勢,而這將會得出運動員每個關節的xyz座標,只要對相片序列的每個影格進行計算,就能夠算出運動員完整動作的3D姿勢,還能進一步推算跟運動員表現相關的指標,像是跳躍高度、身體加速度或是旋轉速度等資訊。


(圖片來源/紐約時報)


Advertisement

更多 iThome相關內容