在大數據、物聯網、人工智慧等技術浪潮的推波助瀾之下,整體資料量呈現爆炸性的增長,從市場調查機構IDC近年來發布的預測,我們可以看到所需處理的規模有多大。
例如,在2017年4月,他們認為2025年的資料量將達到163 ZB,是2016年的10倍,而到了2018年11月,他們將2025年的資料量上修至175 ZB,以儲存位置來看,當中有將近一半是存放在公有雲環境(2023年超越存放在企業環境的比例),而即時產生的資料量占比也將達到整體的30%。
就儲存媒體的年度出貨總儲存容量而言,IDC認為,單是2018到2021年期間,將達到6.9 ZB,若以更長的時間來看,也就是從2018年到2025年之間,可達到22ZB的規模。其中,硬碟與快閃儲存的比例分別為59%、26%,而在企業環境的核心與邊緣儲存應用當中,屆時仍有高達80%以上的資料量,是存放在硬碟。
無論如何,企業、組織與個人都要正視資料量大幅增長的狀況,我們不只是要準備足夠的儲存空間,也必須考量到處理器運算、記憶體載入與網路傳輸的負擔,勢必也將因此變得更為沈重。不過,在IT技術的發展歷程當中,對於如何抑制資料量的增長,一直都是業界重要的課題。
以個人電腦為例,從DOS時代開始,就陸續發展出各種檔案壓縮與硬碟壓縮的程式,後來這些工具甚至由作業系統直接內建提供(Windows 2000以後,微軟就不再提供硬碟壓縮程式)。而在Linux環境當中,若要管理檔案,往往也需要熟悉gzip、tar這類壓縮、打包指令的操作。
而在企業儲存環境的應用上,過去我們曾陸續介紹其他後續興起的資料瘦身技術,像是精簡儲存配置(Thin Provisioning)、重複資料刪除(Data DeDuplication),原本這些功能可能都需要額外選購或搭配專屬設備,才能應用在儲存系統當中,現在已有不少產品均已內建,而且,單就本土廠牌來看,就有一些選擇。
以Thin Provisioning為例,有不少國產的儲存設備廠商,都已經在他們的NAS或儲存陣列提供,像是:捷鼎國際、華芸科技、希瑞科技、普安科技、喬鼎資訊、先智雲端數據、威聯通科技、廣盛科技、群暉科技、商丞科技。
若是重複資料刪除的功能,也有不少廠商的產品能夠提供,例如,捷鼎國際、希瑞科技、普安科技、喬鼎資訊、先智雲端數據、廣盛科技。
除了企業級儲存系統提供這些資料縮減技術,在主要的作業系統平臺上,我們也看到廠商陸續有相關的進展。像是微軟Windows Server、昇陽Solaris、紅帽Red Hat Enterprise Linux,VMware伺服器虛擬化平臺所提供的儲存虛擬化環境vSAN,也引入這樣的功能。
接下來,還會有哪些環境有可能整合資料縮減技術?
或許接下來會輪到智慧型手機,以及各式各樣的物聯網設備、邊緣運算裝置。
因為,這些設備的儲存空間都相當有限,系統雖然可將資料上傳至雲端服務,集中處理與儲存,但若能在裝置本機端直接進行作業,可省去一來一往的網路頻寬與等待時間,而這部份當然也可寄望儲存媒體與運算技術的進步,提供更大、更便宜的容量與運算力,但若能同時結合資料縮減技術,想必能夠替這些連網設備,提供更好的儲存空間使用效率。
另一方面,有些儲存廠商與我們的技術主筆張明德也相當看好區塊鏈,有機會與這些資料縮減技術相互搭配。畢竟各節點傳輸的資料量過於龐大,仍是現今區塊鏈平臺發展時,所必須持續克服的重大挑戰。
總而言之,不論IT應用是新穎或傳統,關於資料的處理能力與儲存效率,仍是整個業界能否進步的關鍵,值得大家持續關注。
專欄作者
熱門新聞
2024-11-10
2024-11-12
2024-11-10
2024-11-11
2024-11-11
2024-11-12