OpenAI
OpenAI周四(10/26)宣布,正在建立Preparedness團隊來評估通用AI(Artificial General Intelligence,AGI)可能造成的災難性風險,並交由麻省理工學院(MIT)的可部署機器學習中心主任Aleksander Madry來主導。
OpenAI表示,他們相信前沿的AI模型將超越目前最先進的既有模型,只是這些前沿模型不僅具備造福全人類的潛力,也可能帶來嚴重的風險,管理這些潛在的災難性風險必須知道前沿AI系統被濫用時有多危險,也應建立一個強大的框架來監控、評估、預測及防範前沿AI系統的危險能力,以及倘若AI模型的權重遭竊,駭客會如何利用它們?
為了最小化這些前沿AI系統可能衍生的風險,OpenAI打造了一個新的Preparedness團隊,借調了MIT可部署機器學習中心主任Aleksander Madry來負責,將針對各種前沿模型來進行能力的評估與紅隊測試,包括OpenAI在不久的將來所開發的模型,以及那些具備AGI能力的模型,以追蹤、預測及防範各類別的災難性風險。
相關的風險涵蓋個人化說服、網路安全、化學/生物/放射性/核(CBRN)威脅,以及自主複製與適應(Autonomous Replication and Adaptation,ARA)。其中,個人化說服指的是以AI建立的個人化內容或建議,來影響個人的行為、觀點或決策,以達到操縱或剝削的目的;至於ARA意謂著AI系統具備自我複製與演進能力,使得它脫離人類的控制,或產生非預期的目標。
Preparedness團隊的任務也將包括開發及維護風險意識發展政策(Risk-Informed Development Policy,RDP),闡述該團隊所開發的模型能力評估與監控的方法,並建立一個治理架構。
OpenAI已開始招募不同背景的人才加入Preparedness團隊,同時推出AI Preparedness挑戰賽,鼓勵參賽者設想自己是名駭客,在可無限制地存取Whisper、Voice、GPT-4V及DALLE·3等模型時,有哪些可造成災難的獨特使用情境,前10名將可獲得OpenAI所提供的、價值2.5萬美元的API使用額度。
熱門新聞
2024-12-03
2024-11-29
2024-12-02
2024-12-02
2024-12-03