Google釋出MediaPipe裝置上即時姿勢追蹤功能BlazePose

Google在跨平臺人工智慧工作管線框架MediaPipe，推出採用最新技術的身體姿勢追蹤功能BlazePose，能夠在手機上即時精確地定位身體姿勢關鍵點，可廣泛用於運動應用程式上，偵測健身或是瑜伽等姿勢。

Google提到，量測影片中人物的姿勢，對於瑜伽、舞蹈和健身等應用程式，是非常重要的能力，但要追蹤這些運動的姿勢有其困難度，像是瑜伽就有數百種體位法，動作自由度皆不同，而且經常有遮蔽的情況發生，也就是身體或其他物體擋住攝影機拍攝四肢。

現在用於追蹤姿勢的標準模型是以COCO拓樸結構做為基礎，但主要還是必須仰賴桌上型電腦強大的運算能力，而Google現在釋出的人體姿勢感測方法BlazePose，是利用機器學習推測人體33個2D特徵點，在單個影格標記人體姿勢，除了比COCO拓樸結構更精確之外，BlazePose可以利用行動裝置的CPU進行即時推測，運用GPU甚至可以達到超即時效能，除了姿勢之外，還能同時追蹤臉部表情和手部姿勢。

COCO拓撲可標記出軀幹、四肢和臉部17個特徵點，但是這些點最多僅能定位出腳踝和手腕，缺乏手和腳的大小和朝向等資訊，因此使得在健身或是舞蹈等應用程式功能受到限制，Google提到，能夠提供越多特徵點，運動應用程式也就能夠提供更多關鍵功能，而BlazePose可以提供33個人體特徵點的拓樸，比COCO拓樸還要多了16個，BlazePose是COCO、BlazeFace和BlazePalm拓樸的超集合，因此開發者能夠從運用表情、手部和身體姿勢，決定一致的身體語義。

要能夠即時完成包含姿勢偵測和追蹤模型的工作管線運算，每個元件執行的速度必須非常快，每影格只有幾毫秒的處理時間。且為了要追蹤瑜伽大關節角度的動作，Google採用了特殊的維特魯威人方法，透過連接臀部和肩膀的中點，算出人物的中心、旋轉和尺寸，可以追蹤非常複雜的瑜伽姿勢。

Google展示了BlazePose的應用情境，包括深蹲以及伏地挺身，該應用可以自動統計用戶資料，驗證技術和訓練品質。目前Google發布了可在Android、iOS和Python上執行的MediaPipe BlazePose，而Google之後也會在即將發布的新版機器學習開發套件ML Kit中，提供姿勢偵測API，供更廣泛的行動裝置開發社群使用。