AI幻覺 | iThome

英國AI研究與評測公司Artificial Analysis發表幻覺基準測試AA-Omniscience，用以衡量模型是否容易輸出錯誤知識

2025-11-18

惡意NPM套件埋藏惡意程式碼出現更隱密的手法！資安業者Koi Security揭露一起大規模攻擊行動PhantomRaven，並指出攻擊者將惡意內容存放於外部伺服器上的相依套件，使得大部分資安檢測工具難以察覺異狀

2025-10-30

由紐約大學、康乃爾大學及華盛頓大學學者組成的研究團隊實驗發現，由OpenAI的Whisper模型所轉錄的醫療訪談文字紀錄，有1.4%機率會生成AI幻覺內容，可能對診斷或治療造成影響

2024-10-30

為了解決模型生成錯誤資訊的幻覺問題，Google利用檢索交錯生成（RIG）以及檢索增強生成（RAG）技術，讓開源模型Gemma結合開源知識圖譜Data Commons，發展出查證能力更好的DataGemma模型

2024-09-16

Google Cloud宣布Vertex AI平臺提供的grounding功能，能夠基於Google搜尋或第三方資料，來減少Gemini輸出結果的幻覺問題

2024-07-01

Google新研究發現，在給定的有限運算資源下，小模型生成成果更好；國科會發起GenAI Stars生成式AI百工百業應用選拔賽；Google發表強大的文字嵌入模型Gecko；Workers AI正式上線，還支援Hugging Face一鍵部署模型

2024-04-08

微軟公布Azure平臺上的AI安全工具，協助生成式AI應用開發單位偵測及防範提示注入攻擊、AI幻覺、模型濫用等風險

2024-04-01

非營利機構AI Forensics與AlgorithmWatch在今年8月到10月間的實驗發現，微軟基於AI的搜尋引擎Bing Chat針對歐洲選舉資訊提供的資訊，3成有事實上的錯誤，包括投票日期錯誤、列出以前的候選人、虛構特定候選人醜聞

2023-12-18

趁著Google剛宣布自家生成式AI助理進一步支援Gmail、Maps等旗下服務，一名用戶要求Google Bard搜尋他的Gmail信箱並回答查詢，但發現Bard找錯郵件導致提供無中生有的資訊

2023-09-25

安全風險管理廠商Vulcan研究發現，ChatGPT在回答常見的程式開發問題時，會提供不存在的Python與NPM套件資料，這讓攻擊者得以利用這類AI幻覺捏造出來的套件散布惡意程式

2023-06-14

考量到ChatGPT等對話AI所生成的法律資訊正確度有待商榷，美國開始有法官要求訴訟雙方提出的文件，除了應告知是否有生成性AI內容，也必須證明已通過人類審查其準確性

2023-06-01