Cloudflare揭露，AI爬蟲已占全球逾4%的HTML流量

CDN與資安服務業者Cloudflare周一（12/15）公布2025 Cloudflare Radar Year in Review年度網路觀測報告，顯示AI爬蟲已占全球逾4%的HTML流量，而全球最受歡迎的前五大生成式AI服務依序是：OpenAI的ChatGPT、Anthropic的Claude、Perplexity、Google Gemini，以及Character.AI 。

從2024年開始，全球網路上的機器人流量便已超過了人類流量，而在2025年的網路流量中，有47.9%的流量來自機器人，包括搜尋引擎、SEO工具、監測服務、廣告/分析系統，或是自動化程式等；人類流量占了43.5%；Googlebot為4.5%；各種AI Bot為4.2%。

其中，用來抓取網站內容以支援搜尋引擎及AI訓練的Googlebot，是Cloudflare所檢測到的最活躍的機器人，占據了逾28%來自已驗證機器人的流量；OpenAI的GPTBot在活躍度上排名第二，貢獻7.5%的已驗證機器人流量。

如果把Googlebot也算進AI Bot，那麼全球網路流量中，已有接近9%為AI所用。此外，在排名前1萬個網域中，有3,879個robots.txt文件出現了有關AI爬蟲的設定，涵蓋完全或部分允許，以及完全或部分禁止等不同管理方式，顯示此一原本針對搜尋引擎設計的文件，已將AI爬蟲視為不同且獨立的爬蟲。

值得注意的是，Cloudflare也探究了搜尋/AI爬蟲對網頁的抓取量及回導流量之比例（Crawl-to-Refer Ratio），顯示Claude爬蟲抓了超過7萬次才導流一次，OpenAI是1,600:1，Perplexity是202:1，微軟是40:1，Yandex為18:1，Google是9.4:1，百度是1:1。

市場分析認為，此一看來失衡的流量也反映出平臺角色的轉變，搜尋引擎仍以導流來支撐內容生態，但生成式AI將內容直接內化為服務價值，改變了既有的交換關係，未來的關鍵不在限制抓取，而在建立授權、回饋或分潤機制，重新定義AI與內容產業的合作模式。

Cloudflare也列出了全球前十大生成式AI服務，它們依序為ChatGPT、Claude、Perplexity、Google Gemini、Character.AI、GitHub Copilot、Windsurf AI、QuillBot、xAI的Grok，以及來自中國的DeepSeek。