微軟使用之前所開發的負責任人工智慧(Responsible AI,RAI)工具,開發出了最新的Error Analysis工具,讓使用者可以對模型進行除錯,探索其可能出現錯誤的情況。

微軟提到,在現實世界部署機器學習模型,開發團隊常會遇到評估模型效能的問題。模型準確性可能在不同的資料子集並不一致,還可能因為特定輸入條件,使得模型發生錯誤的機率更高,這類的錯誤使得機器學習應用缺乏可靠性和安全性,像是交通號誌偵測器可能在部分日光條件,或是意外輸入下無法運作,因此即便模型整體的準確性可能很高,但是開發團隊能掌握模型,會在特定情況發生錯誤,仍是一件重要的事。

而目前模型評估方法存在一些問題,最明顯的是使用匯總指標來對模型進行評分,但是模型的詳細情況,很難只用一個數字來表達,因此匯總指標有其限制,另外,輸入特徵空間也存在多個維度,像是自動駕駛汽車開發團隊,便需要關心車輛在黑夜以及雪地中運作的狀況,在特殊的條件下,自動導航的能力可能會受到限制。而且隨著資料和技術改進,模型在更新和重新部署後,開發團隊還必須持續追蹤和監控模型行為,避免混入新的錯誤。

為了解決這個問題,微軟開發了Error Analysis工具,該工具使用機器學習技術,以有意義的維度切分模型錯誤,讓開發者能夠更好地掌握模型的錯誤模式,使得開發者能夠更快速、準確地辨識出不準確的子集,進而從根本解決問題。微軟現在公開Error Analysis的原始碼,並且已經成為微軟開發人工智慧應用,不可缺少的工具之一。

微軟在2020年5月的Build大會,發表了三個負責任人工智慧工具InterpretML、Fairlearn和SmartNoise,這些工具可以讓資料科學家深入理解模型預測,還有評估模型公平性和提高資料隱私,而Error Analysis便是建立在這些工具基礎之上,該專案整合負責任人工智慧小工具OSS儲存庫,開發人員除了可以使用Error Analysis分析模型錯誤,同時也可以利用Fairlearn、InterpretML和SmartNoise來改進機器學習模型。

熱門新聞

Advertisement