【接軌國際資安態勢,臺灣資安新創直闖資安大廠雲集的資安產品評測】為了讓防範難以阻擋的APT攻擊威脅,MITRE提出ATT&CK框架並發起資安產品評估計畫,以助於產品偵測能力的解析,這項類競賽的活動已經舉辦第二輪,參加的資安業者也從最早的7家,增至現在的21家,當中幾乎是國際上知名的資安大廠,不過,臺灣一家才成立不到三年的資安新創──奧義智慧(CyCraft/CyCarrier ),竟然也名列其中。

在一個小房間內,幾臺電腦與伺服器就擺放在桌子上方,正進行著一場看似沒有煙硝味的戰鬥,但其實正有駭客入侵的行為發生,只是,一旁挑戰者似乎卻不怎麼擔心被入侵,眼睜睜看著駭客攻擊持續了兩天。

這,其實是一項對於端點防護產品偵測能力的考驗,而挑戰者是來自臺灣的資安新創奧義智慧。關於這家公司,相信熟悉臺灣資安領域的人應該都不會陌生,該公司創辦人吳明蔚(Benson)、邱銘彰(Birdman)與叢培侃(PK),其實在駭客領域都是鼎鼎有名的人物。但在這個場合上,對於自己研發的資安產品能否有好的表現,他們仍有著不小的壓力。畢竟厲害的人才跟厲害的產品,未必畫上等號。

基本上,這場考驗端點防護能力的實測,並不像傳統只是單純的檢視產品識別惡意程式的能力,而是貨真價實地發動APT攻擊,對方會模擬俄國駭客攻擊組織APT29的技術手法,來檢視資安產品在入侵過程中的偵測能力與覆蓋範圍。只是,飛往美國參加實測的奧義智慧,在第一天就遇到了亂流。

「就像在美國大聯盟初登場的投手,一上場卻發現環境怎麼不一樣」邱銘彰說,從評測一開始,他們就發現有狀況,因為這裡的流程跟之前他們所預想的狀況,完全不同,究竟發生了什麼事?吳明蔚透露,這就跟考試現場一樣,你才寫完第一題,老師就說「好,先停下來檢查第一題」,有時還要給一個合理的解釋,然後直接給分,而不是全部寫完才來檢查。也就是說,這項資安產品的挑戰很重視即時性。

不僅如此,在第一天測試才進行到第4大關卡(總共20大攻擊步驟,134個小項目)時,他們就遇到亂流。簡單來說,就像是考試遇到有些不會作答的題目一樣,深怕表現不好,叢培侃笑著說,當時邱銘彰可是壓力超大,而邱銘彰也坦承,白天忙著應付測試,晚上還要趕著補交報告,因為這項挑戰,同樣也有重視後端人工支援的戰力。

這項資安產品評測,前來挑戰的廠商都是國際知名資安業者

原來,這次的評估測試,是一項利用MITRE ATT&CK的模擬駭客攻擊計畫。

MITRE是何方神聖?簡單來說,他們是協助多項資安研究的美國非營利組織,過去曾推動CVE漏洞資料庫,以及定義STIX / TAXII情資格式交換標準,近年他們推出的ATT&CK框架,也備受外界重視,因為它是首個以剖析攻擊面為出發的資料庫。

為何考驗資安產品需要這樣的架構?簡單來說,ATT&CK框架已經將各駭客組織用過的技術手法,以更有系統性的方式歸納;後續也發展出一項ATT&CK Evaluation評估計畫,就是利用實際模擬已知駭客組織的攻擊情境,來檢視端點偵測工具的偵測能力,以及幫助企業進行攻防演練,以驗證其防禦有效性。

不論你是否懂資安,事實上,這樣的方法論,已經受到相當多資安大廠的推崇與積極參與,已有許多業者的APT研究報告,以及資安產品偵測到的攻擊行為,可以對應到ATT&CK所定義的攻擊手法,而且,有越來越多業者參與到評估計畫。

以這次參與評測的業者而言,共21家廠商,他們的來頭可都不小,包括傳統防毒軟體大廠、大型資安業者,還有不少主打新世代端點防護EDR(Endpoint Detection and Response)的業者。

在此當中,多數都是來自美國本土的企業,包括BlackBerry Cylance、CrowdStrike、Elastic、SentinelOne、FireEye、GoSecure、Malwarebytes、McAfee、微軟、Palo Alto Networks、Secureworks、Broadcom(Symantec),VMware Carbon Black等,占了半數以上。

還有來自羅馬尼亞、芬蘭、俄羅斯、以色列等國業者,例如Bitdefender、F-Secure,以及Kaspersky、Cybereason,加上臺灣的趨勢科技。

不過,還有一些較不知名的業者同樣參與,例如,由中國360集團策略投資的HanSight,也參與MITRE這項如此開放的計畫。而在上述資安業者之外,最特別的是,有兩家不到百人的小公司,也在名單之中,與資安大廠同臺較勁。

其中一個是來自歐洲馬爾他,於2014年成立,由學者組成的小公司ReaQta;另一個就是臺灣的資安新創奧義智慧,成立至今僅僅2年半,是這21家業者中最年輕的一間公司。

圖片來源/奧義智慧

臺灣資安新創奧義智慧雖然只成立兩年半,不過他們也將自己的資安產品搬上由MITRE發起的ATT&CK評估計畫,與近20家資安大廠產品同臺比拚產品對於APT攻擊的偵測能力。由於MITRE評測時相當嚴謹現場無法拍照,因此他們在今年RSA大會上,與MITRE ATT&CK的攤位上合照。

 

印證臺灣技術實力不輸世界,抓住嶄露頭角的重要機會

為何奧義智慧有膽識參加這樣的國際性評測?

關於參賽的動機,邱銘彰說明有兩大因素,首先,最初在2018年的美國RSA大會參展時,當時不論提供紅隊或藍隊資安產品的人,都在討論ATT&CK,但臺灣在這方面的消息甚少;其次,端點安全產品已經變得複雜,太多的功能實在不容易搞懂,而臺灣許多企業在採購資安產品時,他們看到大多仍是沿用舊有的方法,例如,只看防毒軟體偵測率,邱銘彰認為,國內的資安觀念與國外還是有很大的鴻溝,因此,他們希望將新的資安觀念帶進臺灣。

或許,這樣的回答可能都算是部分原因,但我們認為,對於一家新成立的資安公司而言,這是一個大幅提升市場知名度的絕佳機會。畢竟,這就是完全比拼技術力的實測,吳明蔚也談到,他們曾接觸過Gartner與Forrester等研究機構,他們對於資安廠商的評估,都不實施硬底子的產品測試,多以軟性的客戶訪談為主,並重視市場份額,像是奧義智慧這樣的新創,營收集中在臺灣,研究機構也很難去評估他們的實力。

另一方面,雖然奧義智慧只是一間資安新創,但他們的創辦人其實在過去就有讓資安大廠驚艷的技術實力。舉例來說,邱銘彰過去創辦的資安公司艾克索夫(X-Solve),就被阿碼科技收購,後來他與吳明蔚共同創立的艾斯酷博(Xecure Lab),也因在2013年美國黑帽大會上,與當時在中研院資安研究員的叢培侃,共同揭露APT駭客研究,吸引到美國上市的以色列安全公司Verint(威瑞特)併購。

這次他們三人合作創業的奧義智慧,仍聚焦在資安防護最新態勢,並發展出結合AI與端點威脅偵測的產品方案,而他們也在短時間內,就能將市場拓展到日本與新加坡,其實已經有了不小的突破,而這次完成ATT&CK評估計畫的挑戰,顯然,他們更是讓臺灣新創品牌的資安產品,成為國際矚目的焦點。

事實上,MITRE這項評估計畫雖然頗受資安界的重視,但發展時間不久,並且會逐年改進、持續擴大範圍,不論是資安新秀或老將,其實誰也都沒有絕對的把握。但也正因為ATT&CK在資安圈的火紅,當一家不熟悉且資歷尚淺的資安業者出現在這個評測的名單上,就已經足以吸引到外界的目光。

不過,產品的功能可否滿足評估計畫的要求還是很重要。如果只是志在參加,雖然也有可取之處,但也突顯可能對自身產品能力認識不深。所幸,在這次評測結果出爐之後,奧義智慧對於自己的表現感到滿意。

儘管MITRE在這項計畫保持中立,沒有提供評分,只是單純展現評測所得的數據,讓各家廠商與外界自行解讀,但從公開的評測結果進一步統計相關數據,奧義智慧確實在一些地方有出色的表現,例如有效偵測並警告的部分,並且不重複關卡警告數量最多;此外,網路上也有在美國國防單位工作的資料分析科學家Jonathan Ticknor,提出自己的一套評分標準,當中也突顯奧義智慧的產品,是21家評測廠商中,表現優異之一。而這樣出色的結果,對新創公司而言,能帶來比傳統出國租攤位行銷更有實質效益的影響力。

「只有在臺灣市場經營,就只有接受臺灣的挑戰,但其實,迎接國際的挑戰會促使你更快速地成長。」吳明蔚說。因此,他們也很鼓勵國內資安新創,可以朝向國際大步邁進。他也表示,過去奧義智慧本身接到的客戶,其實都是在臺灣,以及已設立他們子公司的日本與新加坡,而在此後,他們開始接觸到有美國、東南亞的公司寫信來詢問。

體認到主辦方完整揭露測試結果、產品畫面,與中立的態度

到底,在MITRE這樣的攻防評估計畫,與自行模擬有何不同?此次參與的奧義智慧,他們經歷了那些測試要求?

簡單來說,MITRE之前已舉辦過一次評測活動,當時是以中國駭客組織APT3的攻擊手法為設想,這次奧義智慧參與的是第二輪的評測,以俄羅斯駭客組織APT29為題。在評測方式上,主辦者事先已公布測試環境,是建置在微軟Azure環境,他們並為每個參與測試的廠商都提供7個主機組成的環境,讓業者可以部署自家的用戶端程式。

吳明蔚強調,廠商部署的程式都必須是市售版本,產品版本號碼都要清楚條列,MITRE也都會稽核,這主要是避免業者拿出專門參賽版本的可能性。

到了實測當天,現場主要分成三個隊伍,MITRE將派人扮演專門攻擊的紅隊,以及裁判組的白隊,挑戰者扮演的角色就是藍隊。而裁判組的人員同時會負責記錄的工作,也就是在每次攻擊到一個階段,他們就會將藍隊系統上所呈現的偵測結果,做即時的截圖記錄。

這一點,奧義智慧認為相當難能可貴。原因在於,MITRE在現場所擷取的系統偵測畫面,都是基於當下的結果,即便之後業者以MSSP人工分析所產出的報告,MITRE也會在偵測結果中,加上MSSP的輔助形容標籤,目的就是希望,讓偵測結果可以更精準的呈現。

更重要的是,這樣的結果最後還會放到網站上公開,等於是讓外界所有的人,都能看到各家資安產品的實際樣貌與偵測結果,讓大家能看到原始資料,這種評測上的創舉,令外界敬佩。

不僅如此,業者本身也能藉此觀察其他廠商是怎麼做。邱銘彰表示,畢竟有些國外產品可能在臺灣沒有引進,而網站或手冊上所揭露的內容也有限,但在這樣公開的評測方式之下,將能實際看到各家產品在每項攻擊步驟下的表現。

還有一點也很關鍵,就是MITRE不會提供主觀的結論,只是單純展現評測所得的數據,讓各家廠商與資安社群自行解讀,以激發出更多討論。而且,現場的MITRE人員也都希望參與挑戰的資安業者,能在測試過程提供更多反餽,以便讓他們持續改善評測過程。

對此,邱銘彰分析,其實各家產品設計重點有各自強項,產品的策略也不同,他們看到主辦方,也是盡可能的將評測過程,調整成最理想的方式,而未來還將持續完善與擴大測試內容。

至於MITRE的嚴謹與中立度?或許從一些小地方也能看出他們的態度。例如評測過程中,裁判組有時會詢問產品上的問題,不過,只要想跟他們多聊幾句,他們就會變得一板一眼,而且,就連上廁所,也會有對方的人全程跟著。

另外,在評測過後的今年RSA大會上,當奧義智慧要在MITRE的攤位上照相時,現場MITRE的人員也會迅速閃避,應該是為避嫌,其實這些就可顯示出MITRE的紀律,以及中立態度上的貫徹,是這項計畫得以持續發展的關鍵。

不過,他們也有留意到,「MITRE這些執行攻擊的測試人員,看得出來都很享受工作,感覺比他們(吳明蔚三人)年輕,也很有活力。」吳明蔚說。

評測準備過程是最大收穫,理想的表現結果也符合他們期待

至於這項產品資安評估計畫的報名與準備,有些細節是局外人難以想像,奧義智慧也大方說明。例如,在報名過程中,會與MITRE有長達數個月的電子郵件往來,溝通與文件都必須是英文,還有要填寫測試的所有產品與版本,較特別的是,他們還要申請美國出口管制分類號碼(ECCN),同時報名也要付出一筆數目不小的費用。

至於準備挑戰的過程,邱銘彰表示,嚴格來說,MITRE公布以APT29為攻擊設想,及其使用的技術手法,已經算是開書考的方式,而他們在看了第一輪的評測後,也成立模擬紅隊的團隊,負責出考題來挑戰自家產品的偵測能力,準備時間大約半年。叢培侃指出,這等於也考驗公司蒐集戰役的情報能力。

而就MITRE最終評估結果來看,他們認為模擬有幫助,不過,實際還是有些不同,例如,同一項攻擊技術,MITRE實作的攻擊手法,與奧義智慧自己模擬的攻擊手法就不同。而這也可以看出,產品要偵測到所有攻擊手法有多麼的不易,儘管大家知道這個手法,但MITRE紅隊展示出的實作方法,仍有可能無法偵測,而這也就是無法演練的。

最後,關於奧義智慧對於評測有那些不滿意或滿意之處。從MITRE公開的評估結果來看,奧義智慧的產品在一項偵測類型的表現,存在數量過低的問題,該偵測類型為遙測(Telemetry)。該公司也提出他們的意見,奧義智慧認為這方面有很大的解讀差異,他們的產品在多項關卡都已經發出警告,但幾乎都沒有遙測的結果,為何如此?會發出警告當然就表示已經遙測到才對,只是,他們沒有把這樣的狀態秀在介面,而這也是原先產品功能設計上的策略,第一線IT人員不需這些難以閱讀分析的原始資料,只不過,MITRE是採階層式的偵測類別,會將各層面都會納入計算。

而奧義智慧產品表現優異的部分,有些也不是其他廠商能輕易做到的,像是攻擊者在橫向移動的過程。例如,在第20.B.1關的一項Pass the Ticket的攻擊技巧,MITRE攻擊所使用的手法,各家業者產品就很難以偵測,而他們能夠偵測得到,並能呈現電腦跟電腦的關係,也就是知道是從哪一臺電腦發動,而不只是單純偵測到單臺電腦上的攻擊。

最後,他們也提到,現在MITRE已經將這項評測計畫獨立,成立一家名為MITRE Engenuity的公司專門負責,希望加速未來的評測頻率,而他們也預告,將會繼續參加第三輪的評估計畫,下一次,MITRE將模擬的事專門攻擊金融業的駭客組織,繼續協助考驗各家業者產品的偵測甚至防護能力。

圖片來源/MITRE

關於ATT&CK評估結果

在以ATP29為攻擊設想的ATT&CK評估計畫中,共分20大攻擊步驟,以及140個攻擊過程(其中第19大關取消),MITRE並分成6大偵測類別,因此,使用者可以看出各廠商(圖為奧義智慧評估結果)在不同攻擊環節下,可以偵測到的範圍,以及能夠偵測的程度。例如,左圖中3種綠色的即時偵測類別,代表系統有一定的偵測程度,黃色部分則是透過人工分析的MSSP服務發現。不過偵測結果其實比想像要複雜,若搭配完整報告(中圖)來看,還會看到偵測類別有不同的輔助形容標籤,讓偵測定義更精準。從MITRE公布的奧義智慧產品評測結果中,所有人皆可看到這套解決方案的偵測能力,甚至還有實測當下螢幕擷圖(右圖)。例如,在第20關一項Pass the Ticket的技巧,各家產品就難以偵測到MITRE攻擊所使用的手法,而他們可以達到最好的偵測效果。

ATT&CK評估計畫發展時間表

 2013年  MITRE建立第一個ATT&CK模型,主要聚焦在Windows平臺環境(後續再延伸出Pre-ATT&CK、Mobile與ICS)

 2015年  MITRE釋出ATT&CK計畫於https://attack.mitre.org

 2017年9月  MITRE發出利用ATT&CK框架模擬APT3攻擊的計畫訊息,目的是透過擬真的攻擊,促進安全測試上的強化。

 2018年4月  ATT&CK在RSA大會上受到廣泛討論

 2018年11月  MITRE發表第一輪評估計畫結果,首次評估是模擬中國駭客組織APT3的攻擊,共有7家業者參與。後續又有5家業者參加此次測試

 2019年5月  MITRE公布第二輪評估計畫,這次是以模擬俄國駭客組織APT29發動攻擊,並且大幅調整偵測類別

 2020年2月20日  MITRE公布第三輪評估計畫,這次是模擬鎖定金融業的Carbanak and FIN7駭客組織發動攻擊

 2020年4月21日  MITRE發表第二輪評估計畫測試結果

 資料來源:MITRE,iThome整理,2020年5月


Advertisement

更多 iThome相關內容