小心隔牆有眼！MIT成功以無線訊號隔牆畫出人體動作

現在不只要小心隔牆有耳，現在還要注意隔牆有眼，MIT研究出能穿牆精準估測人體2D骨架的技術。研究團隊以深度學習分析射頻（Radio Frequency）訊號，並以先進的視覺模型來提供跨模態的監督訓練，與一般基於電腦視覺的技術不同，由於無線電訊號可以穿牆，因此即使人體位於障礙物後方，姿勢仍然可以被感知出來。

估量人體姿勢是電腦視覺在監控、活動辨識以及遊戲重要的任務，電腦被期望可以分辨出人的頭部、軀幹與四肢等重要部位，而這個技術在過去也的確有長足的發展。不過，視覺遮蔽是其中一個根本性的障礙，過去會以可見的部位推測不可見部位的動作，但由於人的肢體靈活性很大，因此光靠推測難以取得準確的結果。

MIT的研究團隊使用完全不同的思維來處理姿勢估量的遮蔽問題，既然可見光容易遭到不透明物體的遮避阻擋，那使用無線電波就能穿透這些物體了。在近期有部分類似的研究，但是都只能頂多做到偵測人體的移動速度或是產生一個人體模糊的輪廓，皆無法具體的描述人類的精確姿勢。

這個MIT團隊提出了RF-Pose方法，這是第一個使用神經網路解析無線訊號，即便人體受到障礙物遮蔽，都能夠精確提取人體2D姿勢的研究。RF-Pose的概念是發射低功率無線訊號，觀察訊號在環境的反射情況，以估量人體姿勢，而他們也只把無線電反射當作系統輸入。

不過這個方法有一個挑戰，研究團隊無法提供模型標籤訓練資料，因此他們使用跨模態的監督訓練。在訓練期間，連接無線感測器與網路攝影機，同步無線以及視覺串流，透過傳統電腦視覺提取姿勢資訊，並將其當作無線串流的監督訊號。一旦模型訓練完成，輸入就只剩無線訊號，輸出則為2D的人體姿勢。

RF-Pose不只可以在人體未受遮蔽的情況下，抓取人的姿勢外，連人體完全受到遮蔽的情境也可以運作的非常良好，無論是一個人或是多個人都不是問題，RF-Pose甚至可以同時對場景中100個人抓取每個人的骨架，而這正是傳統基於電腦視覺做不到的事，因為人們在畫面中會互相遮蔽，而使用無線電波當作輸入，則完全沒有這個問題。