MLCommons成立AIS工作組，推動AI安全基準測試發展

開放工程聯盟MLCommons宣布成立人工智慧安全（AI Safety，AIS）工作組，該工作組的目標是要建立一個平臺，由許多貢獻者組成測試池，支援各種使用案例的人工智慧安全基準。該工作組最初的重點，將會使用史丹佛大學所開發的Holistic Evaluation of Language Models（HELM）框架，作為大型語言模型開發安全基準。

MLCommons是一個開放協作的生態系，目的在於推動機器學習的發展和應用，該組織的重點在於發展基準測試、最佳實踐、資料集和各種共享資源上，以促進機器學習社群的成長與創新。像是該組織在9月時就發布了人工智慧基準測試，用以強化模型推論和儲存評估。

雖然人工智慧系統對社會帶來巨大利益，但也存在風險，輸出可能存在毒性、錯誤資訊和偏見，MLCommons指出，人工智慧與其他複雜技術一樣，社會需要一個產業標準的安全測試，在實現利益的同時，最大程度降低風險。

MLCommons的新平臺將提供一個機制，讓使用者能夠從測試池中選擇基準測試，並將輸出整合成容易理解的分數，類似其他產業標準的方式，如汽車安全測試和能源之星評分，對人工智慧系統的安全性進行評級。

該平臺的短期重點，在於支援嚴謹可靠的人工智慧安全測試技術發展，AIS工作組會運用成員和人工智慧社群的技術與營運專業，用以創建人工智慧安全基準測試技術。而AIS工作組的第一個任務，便是替大型語言模型制定安全基準，以史丹佛大學基礎模型研究中心的研究成果，以及歷經兩年時間開發的HELM框架作為基礎，開發大型語言模型安全基準。

除了HELM框架之外，AIS工作組中多個成員，也計畫將內部用於人工智慧安全測試技術公開，與MLCommons社群共享，加速安全基準發展腳步。AIS工作組是一個多學科與跨領域的集合體，專家來自Anthropic、Coactive AI、Google、Inflection、英特爾、Meta、微軟、Nvidia、OpenAI、Qualcomm等多家人工智慧領域重要公司，同時還有來自學術界的Joaquin Vanschoren、Percy Liang與Bo Li等多位人工智慧重要學者。

AIS工作組透過整合不同領域專家知識和經驗，共同創建和指導人工智慧安全基準測試技術，該工作組鼓勵社群開放參與以吸引更多專家，加入推動此人工智慧安全議題。