圖片來源: 

微軟

自今年5月微軟在公有雲平臺釋出影片索引器(Video Indexer)後,近日該公司宣布,影片索引器服務正式上線。這款服務結合了人工智慧,自動幫使用者分析影片中由話語、人臉、人物和表情,建立索引後提供使用者搜尋服務。同時,影片索引服務也能搭配遷入式套件,讓開發者可以將該服務與其他應用程式整合。

微軟表示,影片索引器搭配了數組機器學習模型,分別能處理聲音、演說,以及視覺資料。而這一次正式上線後,微軟新加入了數組機器學習模組。第一組機器學習模型可分析進行情緒偵測(emotion detection),結合影片中的演說情境以及語片,判定影音資料中的情緒內容,例如憤怒、恐懼、悲傷以及歡樂等。

情緒偵測功能也是這次影片索引器上線的新亮點,利用相異顏色劃分情緒種類,在時間軸列出該影片中出現情緒的時間比例。圖片來源:微軟

第二組機器學習模型的功能,則是自動判定影片中使用的語言,未來使用者批次上傳影片檔時,不需要再手動標註,影片索引服務自動就能分析。目前微軟能支援自動判定的語言,包含英語、法語、日語、葡萄牙語、西班牙文、中文等大宗語言。

再者,現在影片索引服務也變得更聰明,開始能辨別該影片的議題、內容。微軟解釋,此功能意即讓系統根據影片中的演說內容、視覺提示(Visual cues)資訊,理解高層次的議題。在關鍵字擷取模型中,演說內容必須出現關鍵字,系統才能判定該演說的範疇。而微軟表示,這個新模型可以根據演說內容,推論該議題的重點,「即便關鍵字未出現在其中。」

除了新增影片索引器內建的機器學習模型,該服務的既有功能也進行加強。例如影片索引器中名人辨識(celebrity recognition)模型,微軟就利用外部資料來源,如大型電影資料庫IMDb、維基百科、LinkedIn等,作為模型訓練的素材。

影片索引服務上線後,內建的名人辨識功能也有加強。在上圖示範中,影片上傳至該分析工具,系統就辨識出微軟執行長Satya Nadella的出現長度,總共占據17%。而在該使用介面,還可以直接搜索與該人相關的資料、簡歷。圖片來源:微軟


Advertisement

更多 iThome相關內容