AI爬蟲 | iThome

| 維基百科 | Wikipedia | AI | AI爬蟲

維基百科敦促AI業者使用其付費API、標明內容來源

Wikimedia基金會要求AI開發商及內容重覆利用者負責任使用其平臺內容，包括註明內容來源，並透過Wikimedia Enterprise平臺來取用維基百科內容

2025-11-11

| Fastly | AI爬蟲 | 即時擷取 | 網站流量

Fastly發現網站AI流量多來自爬蟲，即時擷取卻成最大壓力源

Fastly報告指出人工智慧機器人流量多為爬蟲占80％，但真正威脅在即時擷取，高峰時每分鐘可達3.9萬次請求，遠超爬蟲千次規模，對未防護網站可能造成類似DDoS的風險

2025-08-21

Martech雙周報第78期：AI爬蟲衝擊出版商流量及收益，IAB Tech Lab和Cloudflare相繼推出網站主對爬蟲系統收費的機制

本期Martech雙周報重點：IAB Tech Lab推出讓出版商及品牌與AI爬蟲系統互動的API框架；Cloudflare推出對AI爬蟲系統收費的機制；Yahoo! Japan如何透過預渲染技術同時提升使用者體驗及廣告點擊率

2025-07-21

| CloudFlare | Pay per crawl | AI爬蟲 | 網頁爬蟲

Cloudflare將預設封鎖AI網頁爬蟲　除非付費給內容網站

Cloudflare將預設封鎖AI爬蟲，同時發表Pay per crawl支付方案，讓願意付費給內容網站的AI業者，得以擷取網頁內容訓練模型

2025-07-02

Reddit控告Anthropic擅自抓取資料訓練AI模型

Reddit控告Anthropic未經授權使用該平臺內容來訓練Claude模型，也拒絕與Reddit協商授權事宜，要求Anthropic支付補償性賠償金

2025-06-05

| IT周報 | LLM | 幻覺 | 微軟 | AI認證 | 人才 | 國泰金控 | 生成式AI | AI爬蟲

AI趨勢周報第260期：能偵測又能修正LLM幻覺內容，微軟預覽新功能Correction

微軟預覽一款Azure AI內容安全功能Correction，可偵測、修正LLM幻覺內容；臺灣人工智慧學校年底前開辦工程級AI認證；國泰金控揭露生成式AI技術發展框架；可阻擋AI爬蟲了，Cloudflare釋出免費工具；國泰聯手中信、玉山、新光驗證聯邦學習架構；Meta釋出Llama新模型，開始支援多模態了

2024-09-29