圖片來源: 

微軟

微軟計畫讓個人版及企業版Bing Chat聊天機器人的查詢輸入字元上限,由現行的4,000字元提高一倍來到8,000字元,但說礙於成本問題,可能沒法那麼快。

Bing Chat今年初推出時,一開始只要回覆問題超過15次就會表現出異常行為,像是和用戶衝突或出現過激語氣,迫使微軟很快就縮減用戶問答次數及輸入字元數。隨著它表現穩定後,微軟逐步放寬Bing Chat和用戶對談輸入內容。目前Windows用戶一次可向Bing Chat詢問20個問題,以及4,000字元。7月上線的企業版Bing Chat也具有相同限制。

本周微軟搜尋部門Mikhail Parakhin回覆一名Bing Chat企業版用戶的要求時,表示微軟計畫擴增Windows消費版及企業版Bing Chat的輸入字元上限,由4,000字元增加為8,000字元(Chrome版Bing Chat輸入上限則是2,000字元),但是得再等一段時日。原因是演算法會造成context空間需求以次方增加,因此字元擴增為2倍會讓Bing Chat營運成本增加為4倍。

雖然微軟絕對會實踐其承諾,但現實是營運聊天機器人相當耗資源。營運AI聊天機器人的伺服器不但相當耗能,也牽涉更高的冷卻成本;根據《財星雜誌》引述一份加州大學研究指出,使用者在微軟Bing Chat或ChatGPT等聊天機器人每次查詢一次散發的伺服器熱氣,都耗掉1瓶水。微軟的資料顯示,由於AI系統使用量大增,導致該公司2022年全球資料中心用水量比前一年激增34%。

這些龐大開支對新創公司更是一大考驗。研究機構估計OpenAI的ChatGPT一天營運成本高達70萬美元,要不是有微軟的資金挹注,可能明年就會破產。

熱門新聞

Advertisement