對外24小時開放的網站流量當中,除了一般使用者連入瀏覽之外,其實有相當大的比例,是一些應用系統透過機器人程式(Bot)的方式自動存取所致,這些網路流量的合法性屬於灰色地帶,例如搜尋引擎的網頁爬取器(Crawler)、擷取網頁內容或產品價格資料的抓取程式、自動點擊網頁廣告的詐財程式、搶購限量商品和服務的交易機器人程式(例如有人設計出臺鐵搶票程式)。當然,也有一些連入的機器人程式,是屬於惡意程式滲透到企業網站的相關活動。

面對這些不請自來的自動化網路流量,若是惡意性質的存取,我們可以借助防火牆、入侵偵測防禦系統、網站應用防火牆等資安系統的幫忙,加以識別、控制,然而,對於這類型介於正常與異常之間的網站存取請求,企業大多透過QoS的方式,針對來自特定IP位址的連線或某些網路應用服務,提高、降低存取優先順序。若是透過傳統的機器人程式偵測或緩解方案來發現、封鎖自動化網站存取流量,又會打草驚蛇,使得這類流量為此改變活動模式,以迴避相關的偵測。

會提出存取網站內容的請求,不只是一般使用者,還包括上門來抓取資料的網站機器人程式,有些是合法、企業允許的,但也有可能是競爭廠商想透過擷取這些資料,分析出彼此的優劣勢,甚至制定不利於網站所屬公司本身的策略,導致企業因內容開放而損失,且毫無知覺。
現在終於有這方面的因應方案了!Akamai推出Bot Manager號稱可針對多種類型的網站機器人程式,提供流量監控與緩解的機制。

針對這樣的應用需求,今年Akamai推出了Bot Manager雲端服務,企業能在網站使用時,運用全新、更為全面的策略,處理各種主動上門抓取資料的機器人程式。這套服務可協助用戶辨識與掌握機器人程式存取他們網站的流量狀態,並提供比簡易阻擋更進階的因應作法,採取最適合當下情況的動作,不論面對的是一般或異常機器人程式的流量,皆可獲得程度更佳的掌控。

Bot Manager整合在Akamai Luna Control Center的網頁管理介面當中,在最右側有一項Bot Activity,即是與管理網站機器人活動有關的操作功能。

若租用Bot Manager,企業可以在Akamai管理平臺的Security Center頁面中,看到網站機器人活動的網路流量與占比。(圖中下半部紅線處)

內建豐富的網站機器人特徵資料,並結合即時協同偵測機制,提升辨識精準度

Bot Manager本身坐落在超大型分散式運算平臺Akamai Intelligent Platform,所架設的IT基礎架構橫跨110個國家以上,當中包含超過1,400個網路、20萬臺伺服器,具有承載大規模服務與識別網路流量的能力,目前提供一套涵蓋15種合法網站與商用服務系統的型錄,也預設了1,300筆以上的機器人程式特徵資料(signatures),足以辨認網路上常見的機器人程式流量。

此外,租戶可自行建立機器人程式的特徵與分類,以便因應那些專門針對所屬行業別或業務應用而來的機器人程式,Bot Manager目前在此預設提供3種類別:用戶已知、Akamai已知、未知。

對於未知機器人程式的偵測,這套服務綜合了多種即時執行方法來判斷,只要有機器人程式或任何電腦、伺服器想要抓取Akamai用戶網站資料,Bot Manager就會自動發現。因為Akamai也運用本身的威脅研究團隊,持續增進與更新系統即時偵測機器人程式的技巧,以因應這些程式的層出不窮與推陳出新,協助網站管理人員以更簡單的方式,自動對付這些灰色流量,減輕負擔。

可搭配政策控管,租戶可根據不同管制需求,預先配置對應作法

除了透過特徵、分類及未知程式即時偵測,來辨識與管制網站機器人的存取,Bot Manager的租戶也能透過實施政策的方式,彈性處理不同的機器人程式——企業可針對每一個預設或自行定義的機器人程式分類,套用不同的管理政策,如此一來,租戶就能依據本身所面臨的特殊情況,靈活配置機器人程式管理策略。

另外,機器人程式對企業網站的存取,就動機而言,雖然可區分為合法、灰色地帶與惡意,管制上若採取全面封鎖的作法,並非良策,而Bot Manager可提供多種管理政策對應,例如,減緩或延遲機器人程式的網路流量、重新導向至替代的網站、提供老舊、過期的網站內容,或是辨識相關流量並由用戶採取其他動作來因應,達到矯正使用的效果,以兼顧既有合法使用的網站機器人存取行為,並藉此降低灰色或惡意機器人程式因此改變而導致持續演化的機會。

與網站機器人程式採取硬碰硬的阻擋策略,未必能奏效,Akamai Bot Manager可提供拖延戰術與替代內容,來因應這類存取行為。看來面對網站機器人的來訪,尤其是企業所不歡迎的對象,現在可借助Akamai的服務,提供緩兵之計的戰略實施。

 

能隨時查看網站機器人程式的活動,以及掌握相關的流量趨勢分析

在使用Bot Manager期間,租戶也會取得機器人活動(Bot Activity),以及機器人分析(Bot Analysis)等這2份統計報表,分別列出機器人程式的活動狀態與流量分析。

前者是針對整個企業組織的環境,根據機器人程式的分類、偵測方式、最常被機器人程式存取的網址等特性,以摘要的方式呈現對應的機器人程式流量,而且,租戶可在此看到這些因素在長時間使用下的演變過程。

點選Bot Activity之後,Akamai在這裡提供網站機器人的圖形化儀表板摘要檢視,列出這類流量引發的網頁存取請求、接觸的網頁數量、占用頻寬、機器人程式的類型,以及Bot Manager自動執行的動作,底部還會顯示網站機器人程式占總體網路流量的比例。

機器人分析的功能,則是提供較詳盡與細部的機器人程式流量資料,租戶能以10種面向,或是透過條件篩選、下探(drill down)方式深入特定領域,來檢視流量記錄。藉由這些功能來查看Bot Manager的分析結果,以便了解這些流量來源與背後正在進行的事情,之後,租戶再依據不同類型的機器人程式活動,做出適當的管理決策。

圖中是Akamai Bot Manager目前所偵測到的網站機器人所屬類型與比例,由此可知,網頁搜尋引擎仍是最大宗。

針對所偵測到的所有網站機器人程式,Akamai Bot Manager可以透過賦與編號的方式一一,租戶可依據觸發系統定義規則的次數多寡,加以排序,有助於快速識別那些經常觸犯系統設定規則的機器人程式。

若要了解最常觸發管理規則的網站機器人程式所來自的網路服務供應商,Bot Manager租戶可以點選「AS Number」這一項分析項目。

安全防護也是Bot Manager服務所附帶提供的特色之一,因為,Akamai安全專家會持續產生機器人程式流量的分析情報,供這套服務的租戶存取,同時,他們也會源源不絕地拿到更新的機器人程式特徵資料與類別,以及專家們建議採取的防護動作。

產品資訊

●原廠:Akamai(02)8722-0177

●代理商:零壹科技(02)2656-5656

●經銷商:併力科技(02)2796-1557

●建議售價:廠商未提供

●可辨識網站與業務服務類型:15種

●可辨識機器人程式類型:1,300種以上

●能管理的機器人應用:搜尋引擎、網站feed訊息聚集器、灰色行銷、垃圾郵件代發主機、網頁內容收集器(Web Scraper)

●選用功能:Site Shield、Service Optimization Assistance

 


Advertisement

更多 iThome相關內容