圖片來源: 

微軟

微軟在今年的Build開發者大會上發表Seeing AI專案,協助視覺受損或盲人來理解他們周遭的人事物,使用者可以透過智慧型手機或是透過穿戴攝影技術廠商Pivothead的智慧眼鏡來使用Seeing AI工具。

Seeing AI使用微軟認知服務(Cognitive Service)的智慧API建立而成,使用圖像辨識和自然語言處理,能夠用語音來形容使用者的周遭環境,還可以讀出文字、回答使用者的問題,甚至是辨識人類的面部表情。

而Seeing AI的其中一名開發者就是盲人,根據微軟在YouTube上發布的Seeing AI App影片,微軟軟體工程師Saqib Shaikh在7歲時就失去雙眼的視力,進入了盲人學校,並開始學習與電腦對話,也開啟了他認識這個世界的機會,而Saqib Shaikh在10年前加入微軟擔任軟體工程師,喜歡創造能改善人類生活的事物,現在則協助微軟開發Seeing AI專案。

影片中,Saqib Shaikh輕拍一下智慧眼鏡來拍攝周遭環境的照片,Seeing AI就會向他形容拍下的照片內容,除了描述照片中人物的動作和物品,還可以辨識性別、年齡和表情。另外,當他使用手機的Seeing AI App時,Seeing AI則會引導Saqib Shaikh正確地拍下照片,且能辨識照片上的文字,例如,引導使用者拍下菜單,並讀出菜單的內容。

與Saqib Shaikh同樣是盲人的微軟資深專案經理Anne Taylor則形容Seeing AI像一把瑞士刀(Swiss Army Knife),使用各種最新的科技,允許視力受損的人可以獨立認識他們周遭的世界。另外,Seeing AI除了可以協助視力受損的人之外,也可以用在需要了解圖像資訊卻又沒辦法看圖像的使用者,例如正在開車的駕駛。

同時,微軟也揭露了CaptionBot網站,使用者可以上傳照片到CaptionBot,CaptionBot就會透過文字解釋照片上的人事物和情境,此網站和Seeing AI一樣使用了電腦視覺、圖像辨識、自然語言處理和機器學習等技術建置而成。

微軟Seeing AI App介紹影片:

 

 


Advertisement

更多 iThome相關內容