Cloudflare推出內容協商轉換服務，支援AI爬蟲即時把網頁轉為Markdown格式

Cloudflare推出Markdown for Agents服務，主打以HTTP內容協商機制，讓AI爬蟲與AI代理在送出請求時透過Accept表明偏好text/markdown後，針對已啟用該功能的網站，由Cloudflare網路在可行時把來源網站的HTML即時轉換為Markdown再回傳，降低AI系統擷取網頁內容時的前處理負擔。

Cloudflare提到，對AI系統而言，直接處理HTML往往得先略過大量與語意無關的標籤與版面元素，會造成詞元消耗與解析成本。以同篇部落格文章為例，Cloudflare表示原始HTML為16,180個詞元，轉成Markdown後為3,150個詞元，詞元用量減少80%。代理取得較精煉且結構更明確的文本格式後，就能把更多上下文窗口留給內容本體。

Markdown for Agents以Accept標頭觸發內容協商，當請求包含text/markdown，Cloudflare會先向來源站取回原始HTML，接著在傳遞過程中完成轉換並以text/markdown回應，同時以vary: accept表示回應內容會依Accept標頭不同而變動。轉換後的回應還會附上x-markdown-tokens標頭，用於提供該份Markdown文件的詞元估算值，供代理在讀取前先評估上下文窗口規畫或分段策略。

Cloudflare也把這個HTML轉換Markdown功能，與自家先前提出的內容訊號（Content Signals）框架串在一起。內容訊號政策中定義search、ai-input、ai-train三種用途語彙，網站可透過robots.txt表達資料被使用的偏好，而轉換成Markdown的回應，預設會標示內容可被用於AI訓練、搜尋索引，以及提供給AI系統作為輸入等用途。

另外，Cloudflare也把觀測機制納入Cloudflare Radar資料平臺。Cloudflare表示，Radar的AI Insights新增以MIME型別分組的content_type維度，讓使用者觀察AI機器人與爬蟲抓取的內容型別分布，分類也納入Markdown，在符合條件的情況下，各個AI爬蟲的專屬資訊頁面上，會顯示該爬蟲實際取得的內容型別分布。

Markdown for Agents目前以Beta測試版提供，啟用入口在Cloudflare儀表板的Quick Actions中。該功能現階段對Pro、Business、Enterprise方案，以及SSL for SaaS用戶提供，不另外收費。