OpenAI周二(9/19)宣布成立AI紅隊演練網路(OpenAI Red Teaming Network),並公開對外招募各個領域的專家,以協助OpenAI改善其各種模型的安全性。

紅隊(Red Team)或紅隊演練(Red Teaming)一詞最早出現在1960年代,當時是軍隊用來形容模擬的攻擊行動;之後也被應用在資安領域,指的是針對組織進行模擬入侵攻擊;隨著AI時代的來臨,該名詞也被應用在大型語言模型中,指的是針對AI系統的各種探測與攻擊,以探索AI模型是否會產出仇恨或暴力煽動的有害內容。

之前OpenAI在打造DALL . E2與GPT-4等系統時,便曾邀請專家來開發特定領域的風險分類法,並評估新系統中可能的有害功能,但相關措施都是一次性的,這次OpenAI將正式邀請各領域的專家成為OpenAI Red Teaming Network的成員,讓它變成一個常態性的架構,一旦打造出新系統或模型,就能邀請該網路的專家進行紅隊演練。

OpenAI所招募的專家涵蓋數十個專業領域,從認知科學、生物學、化學、物理、經濟、社會學、公平與偏見、教育、法律、網路安全、不實資訊、隱私、語言、健康照護、兒童安全、金融到人類學等,亦希望該網路能夠容納多元化的背景、傳統上代表性不足的群體、來自不同的地區,以及對AI安全性具備熱情的專業人士。

OpenAI說,這些專家並不一定要有AI系統或語言模型的經驗,因為他們更重視的是專家們是否願意提出專業觀點,來協助OpenAI評估AI系統的影響。

此外,並非所有的AI紅隊演練網路成員,都會參與每一個新系統或每一個階段的演練,OpenAI將會根據需求邀請成員參加,且會提供報酬,OpenAI也強調,參與的時間不見得很長,一年或許只需要貢獻5個小時,但這5個小時的建議對OpenAI而言可能非常寶貴,歡迎時間有限但有興趣的專家提出申請。

這次的AI紅隊演練網路招募計畫,將開放申請至今年的12月1日,值得注意的是,由於可能涉及OpenAI正在開發的新模型,因此成員將被要求簽署保密協議。

熱門新聞

Advertisement