企業空間 采購商城 存儲論壇
華為全閃存陣列 IBM云計算 Acronis 安克諾斯 安騰普 騰保數據
首頁 > 存儲資訊 > 正文

未來十年,存儲發展的趨勢是什么?

2020-01-16 00:59來源:浪潮葉毓睿
導讀:分布式存儲、云存儲、容器存儲、全閃存、AI存儲、區塊鏈存儲、邊緣存儲、量子存儲、生物存儲或基因存儲等等。

簡而言之,存儲如何以更高效、更低成本的方式,圍繞著數據的產生、存放、保護、優化、利用,直至數據成為資產,滿足數據對存儲提出的要求。

相關的關鍵詞有十個:分布式存儲、云存儲、容器存儲、全閃存、AI存儲、區塊鏈存儲、邊緣存儲、量子存儲、生物存儲或基因存儲等等。

鑒往事

我們先回顧一下歷史,過去十年(2010-2019)存儲發生了什么事件?

2010年:EMC收購Isilon,22.5億美元 ;

2010年:惠普收購3Par,23.5億美元 ;

2011年:戴爾收購Compellent,9.6億美元 ;

2011年:希捷收購三星硬盤,13.75億美元 ;

2011年:西部數據收購日立GST,48億美元 ;

2012年:VMware提出SDDC(軟件定義數據中心)和SDS(軟件定義存儲)的概念,之后推出SDS產品 – Virtual SAN的預覽版 ;

2013年:Avago收購LSI,66億美元 ;

2014年:閃迪收購Fusion-io,11億美元 ;

2015年:戴爾收購EMC,630億美元 ;

2015年:西部數據收購閃迪,160億美元 ;

2016年:IBM收購對象存儲,約13億美元 ;

2016年:HCI(超融合)概念提出者Nutanix上市;

2016年:博通收購博科,59億美元 ;

2016年:OpenText收購Dell EMC企業內容部門(包括Documentum等),16.2億美元 ;

2017年:HPE收購Nimble Storage,10.9億美元 ;

2018年:微軟收購混合云數據存儲公司Avere Systems ;

2019年: AWS收購E8 Storage,估計在5000萬美元至6000萬美元之間 ;

2019年: 谷歌收購存儲企業Elastifile, 2億美元 ;

2019年: IBM收購 RedHat, 340億美元,RedHat有兩款開源存儲產品:Ceph和Gluster。

站在企業存儲系統的角度,有幾件事值得注意:HCI、SDDC、SDS的相聚出現、戴爾收購EMC、西部數據收購閃迪、HPE收購3Par和Nimble Storage,以及云計算廠商微軟、AWS和谷歌的收購。這些事件體現了全球存儲發展的幾大趨勢:分布式、云化、閃存化、智能等。

1、分布式存儲

軟件定義存儲,為云而生。軟件定義存儲就是將硬件的可操控成分按需求,分階段的,通過編程接口或者以服務的方式逐步暴露給前端應用,分階段地滿足應用對資源的不同程度、不同方面的靈活調用。軟件定義存儲其實是一個過程,不是一蹴而就的目標,它分成不同階段:抽象、池化和自動化。目前,軟件定義存儲最顯著的特征是呈現分布式,根據近年來IDC的報告,軟件定義存儲按照訪問方式,分為三類:分布式塊存儲、分布式文件存儲、分布式對象存儲。未來十年,分布式存儲的相對市場份額將不斷增長,預計將超過集中存儲的市場份額,然而兩者將長期并存。

戴爾收購的Compellent、HP收購的3Par,實現了塊級虛擬化,將硬盤和RAID解耦;VMware Virtual SAN(現命名為vSAN)、Nutanix有別于以往的專用存儲,將文件系統軟件與服務器解耦,體現了分布式存儲征程中的不同階段

回顧一下Gartner 在2015年7月發布的技術成熟度曲線,彼時處于曲線的最高點,也即階段二(過高期望的峰值,Peak of Inflated Expectations)。四、五年左右的時間,才被市場廣泛認可,但迄今離占據市場主流份額還需一段時間。好消息是,分布式存儲發展非常迅猛,遠超平均值。

2、云化 (含容器、超融合、混合云)

據報道,全球云存儲市場2017年為307億美元,預計到2022年889.1億美元,CAGR為23.7%;中國云存儲市場2017年規模為88.68億人民幣,同比增長71.8%,2018年同比增長率將上升至72.8%,市場規模為158.5億元人民幣。

Gartner在2019年的報告中顯示:到2024年,40%的企業將實施至少一種混合云存儲方式,高于2019年的10% 。

上述提到的云存儲主要是以AWS S3、EBS、阿里云塊存儲、OSS為代表的公有云存儲。在本篇文章里,云化的概念更廣泛,包括了公有云和私有云。

云的特點包括彈性靈活、按需交付、按用付費等,除了眾所周知的公有云之外,還要看到私有云。AWS CEO Andy Jessy在AWS 2019 re:Invent大會上分享了如下消息:公有云的總支出只占到總IT支出的3% 。也就是說,全球IT支出總,私有云仍占絕大多數。我曾在2017年看到一篇文章提到:預計到2040年,公有云大約占整個IT開支的1/3和1/2之間。如果真是如此,也就是說即使二十年后,私有云仍占半壁江山。

1)私有云的云化對接

存儲如何更好的服務私有云,成為企業級存儲的一個重要課題。除了存儲自身的池化、自動化之外,向上提供API,方便私有云管理平臺按需驅動存儲資源的創建、調整、優化甚至回收,將逐漸成為必備配置。云化對接包含兩大塊,一是對接開源的云管理平臺,例如OpenStack的塊接口Cinder、文件接口Manila、對象接口Swift和幾乎成為標準的AWS S3接口;二是對接商業的云管理平臺,首當其沖的是能夠被主流Hypervisor識別,如VMware ESXi、Microsoft Hyper-V。國內存儲廠商中,浪潮的AS13000在云化對接中做得更齊全。

容器對接也可以視為云化對接的一部分,我們看到越來越多的用戶,包括互聯網、金融、電信等行業,開始部署容器技術。因此存儲支持CSI(Container Storage Interface)接口也將逐漸成為企業級存儲的必備配置。

超融合可以視為私有云的一種部署形態,當計算資源池和存儲資源池在初次采購以及后續擴容的過程中,計算和存儲的比例比較適中,也即,不會出現少量計算資源需要搭配大量存儲空間;也不會出現大量計算資源需要搭配很少的存儲空間,此時超融合是不錯的選擇。

2)公私相互滲透

在云計算領域,開始出現To C和To B的融合。

早期公有云的用戶主要是一些C端,或者小B的用戶,隨著云計算的深入和普及,云巨頭開始希望吸引大B用戶。但是,出于隱私保護、安全性、政府合規、管理、兼容性、慣性、遷移成本等多種因素的考慮,原有大B用戶遷移到公有云的進展比預期要緩慢。

因此,云巨頭早在幾年前就開始通過構建混合云或者私有云的方式來瓜分B端IT市場的大蛋糕。AWS收購E8和推出Outposts,微軟收購混合云數據存儲公司Avere,阿里云推出混合云存儲方案,騰訊云、金山云、京東云也不甘人后。

另外,因為成本、空間、能耗等因素,逐漸有更多用戶希望To B的存儲廠商,能夠支持將歷史數據備份或歸檔到公有云存儲上。

3、閃存化

根據IDC 在2019年12月31日的報道:“2019前三個季度,中國企業級全閃存存儲陣列市場同比增長超過60%。IDC預測, 2019年全閃存存儲市場仍將達到近50%的增長”。

據報道,閃存顆粒價格逐年下降(按照30%~40%的降幅),如下圖所示。

國內的長江存儲或將加速閃存顆粒下降趨勢;

當全閃存相比機械盤價格差距不大時,更多用戶愿意為延時縮短而買單(目前和15k轉,10k轉的機械盤價格相差不多;7.2k轉的機械盤當下價格還有一些優勢);

機械硬盤逐漸退化成類似磁帶地位的介質。

而且在當前的大背景下,因為機械硬盤的核心技術欠缺的原因,大力發展和推進閃存落地具有重要的意義。國內大的存儲廠商中,華為和浪潮都推出了自己的NVMe閃存盤。

閃存化的過程中,必然催生全閃存陣列的發展,其中的相關技術NVMe Over Fabric(簡稱NVMe-oF)借助RDMA等超低延時的傳輸協議,可遠程訪問SSD,解決了下一代數據中心在橫向擴展 (Scale-out) 時所遭遇的性能、功能、容量三者之間難以取舍的權衡問題。

4、智能

這里包括兩個方面,一是存儲的智能化;二是存儲如何為智能應用進行優化,也即AI存儲應該如何優化。

1)存儲智能化

存儲智能化所希望達到的就是能夠根據業務負載、運維管理等的歷史記錄,預測未來可能會發生什么,再據此動態地調整存儲資源池,做到物盡其用;以及提供預警信息和執行動作,做到防患于未然。然而這個道路非常漫長,因為廠商需要在安全性穩定性和性價比(也即動態調整存儲資源)之間做取舍;另外要想取得根據負載自動調整存儲,其實不亞于將AI算法植入存儲系統之中,難度不小。目前,存儲廠商中,做得比較好的有HPE的Infosight和浪潮的InView。

2)AI存儲

Gartner報告顯示,到2022年,企業高管中將有半數以上會規劃AI技術的部署,而這一數字在2018年的時候僅有4% 。

根據IDC數據,2018年上半年,中國AI基礎架構市場銷售額和出貨量分別同比增長176%和129% 。

AI所需存儲,可以分為準備、訓練、推理和歸檔等階段,每個階段的IO特征不一樣,對于存儲的要求也不一樣。例如,在推理階段,IO的特征是讀寫混合,并且要求存儲的延時低,能快速響應。

#FormatImgID_4#

國內的AI公司針對不同行業不同細分場景,通過AI訓練導出的模型,銷售給最終用戶。為了增加營收,降低部署難度,有不少AI公司將模型以及所需的軟硬件打包,以一體機的方式銷售。其中的存儲系統多采用OEM或者轉售的方式,因為AI公司的主業是它的算法以及針對場景不斷優化,自研存儲納入到一體機里,性價比不高。

總結而言,過去的這些年,解決了數據的存放、保護和優化,尤其是在數字宇宙迅猛膨脹的過程中,如何低成本、高效率地存放。

下一個十年隨著云計算、大數據、人工智能、物聯網等新技術的快速發展,分布式、全閃存等迎來市場的高速發展。除此以外,還有區塊鏈存儲、邊緣存儲、量子存儲、生物存儲或基因存儲,下面探討下這些新存儲技術的發展趨勢。

(二)知來者

2019年12月27日,在2019國際超級計算產業博覽會上,中國工程院院士、浪潮集團首席科學家王恩東提到: “智慧時代,計算力就是生產力,計算力指數是衡量一個國家、地區,甚至是企業發展水平的重要指數” 。

“從全球GDP與服務器出貨量的分布來看,全球GDP排名前四的美國、中國、日本、德國,服務器采購量同樣排名前四。數字經濟在整個國家GDP的占比越高,這個國家的經濟就越發達”。

“同樣,在企業領域,10年前全球市值最高的十個企業,?松梨、中石油、沃爾瑪、中移動、中國工商銀行等,都是來自能源、金融、通信等傳統領域。今天全球市值最高的TOP10企業,清一色都是互聯網企業,比如google、微軟、亞馬遜、騰訊、阿里巴巴,只有一家來自傳統行業的沃爾瑪。全球市值TOP級的企業也是計算力消耗最大的,市值排名和服務器采購量排名基本一致”。

王院士還剖析了計算的演變歷史,“從計算發展的形態來看,云計算、智慧計算和科學計算三大典型計算場景已經成為主流信息化形態。其中,科學計算主要用來完成宇宙探索、石油勘探、海洋開發、工業仿真、基因測序等前沿科技領域;云計算已成為當今經濟社會發展的‘水電煤’ ”。

其中智慧計算包括了AI計算、大數據、云計算和邊緣計算。

有計算,就會有存儲,只是或多或少,或快或慢,或過渡或長期保存的區別。

第一篇“鑒往事”里,我們討論了AI存儲、分布式存儲,未來在邊緣計算、量子計算的場景下,是不是會催生出邊緣存儲、量子存儲出需求? 例如有別于云存儲,邊緣存儲應該具有功耗較低、占用空間較小,延時低的特征。

華中科技大學謝長生教授在2019中國數據與存儲峰會分享了“Long Data”也即長期存儲的挑戰的應對。他提到,國際上有個研究課題How preserve information for 100 years?就是如何保存信息一百年。

我想,這種需求,也許會催生出生物存儲,或基因存儲?

這并不是空穴來風或者異想天開。2019年7月,美國布朗大學研究人員在新一期《科學公共圖書館·綜合》雜志上發表了一篇論文,提到他們用基于生物小分子的存儲系統累計存儲了超過10萬比特的數字圖像信息,從中獲得圖像的準確率可達98%以上。

一百年太久,只看十年。

個人認為,未來十年,第一篇“鑒往事”里提到的分布式、云化、閃存化、智能仍然會延續。與此同時,將出現一些新的趨勢,其中有一個重要的趨勢將伴隨著數字化轉型逐漸顯現出來,背后的原因是:數據即資產、數據即權力。無論做為企業,還是政府,當意識到數據的重要性的時候,不會輕易的分享數據,或者說將這一權利拱手相讓。如何促進數據共享呢?

物理學家張首晟曾提到:“人工智能現在碰到了一個很大的瓶頸,因為如果 AI 要非常大的進步,它必然要需要很大的數據,但是現在的數據提供方都沒有足夠的激勵機制提供極大量的數據”。如何激勵數據提供方(也即用戶和組織)提供數據,尤其是隱私數據(數據越隱私,價值可能越大)呢?

如何在激勵數據提供方分享數據的同時,又能保護隱私呢?

答案就是區塊鏈和存儲的結合。

張首晟在文章《區塊鏈技術是互聯網世界新的分合轉折點》中自己回答到:“一旦有了區塊鏈之后,如果創造數據能被價值化、共識化,就會形成一個大的數據市場,使得人工智能也能夠更往前進一步”

區塊鏈解決了數據確權、激勵分享、數據資產交易和流轉等問題。但區塊鏈要發展,區塊鏈基礎設施要先行,尤其是其中的重要組成部分 - 區塊鏈存儲。區塊鏈存儲中,比較重要的一類是公鏈存儲,它是跨越全球的存儲池 + Token激勵機制。我們可以把它視為去中心化的云基礎設施的一部分,或者說是去中心化的云存儲。它現在還處在非常早期的階段,但已經逐漸向我們走來。

2018年7月,Gartner在其技術成熟度曲線中,將區塊鏈存儲(Distributed Storage in Blockchain)列入科技誕生的促動期 (Technology Trigger),并預計2023~2028年左右,進入到成熟應用的技術階段,將有大量主流用戶開始接納。

#FormatImgID_5#

最后總結一下:下一個十年,存儲發展趨勢的七個關鍵詞是:分布式、云存儲、容器存儲、全閃存、AI存儲、區塊鏈存儲、邊緣存儲。量子存儲、生物存儲和基因存儲可能還為時尚早。

繼續閱讀
關鍵詞 :
軟件定義存儲
中國存儲網聲明:此文觀點不代表本站立場,如有版權疑問請聯系我們。
相關閱讀
產品推薦
頭條閱讀
欄目熱點

Copyright @ 2006-2019 ChinaStor.COM 版權所有 京ICP備14047533號

中國存儲網

存儲第一站,存儲門戶,存儲在線交流平臺

湖北十一选五任选五