最近,我確信企業(yè)級分布式存儲EDS(以下簡稱EDS)正式完成了Kubernetes(以下簡稱K8S)CSI標(biāo)準(zhǔn)數(shù)據(jù)持久存儲的正式對接。
與虛擬機不同,容器以其輕量級、快速交付和靈活擴展而聞名,但它們主要面臨存儲級別的兩大挑戰(zhàn)。1)容器默認使用主機的本地存儲,不能跨節(jié)點共享數(shù)據(jù),也不能在集群內(nèi)靈活調(diào)度,其存儲擴展能力受主機限制;2)容器實例的發(fā)布是快速批量進行的,不能滿足K8S開放CSI標(biāo)準(zhǔn)前持久存儲資源快速匹配的要求。我深信,通過對接CSI標(biāo)準(zhǔn),EDS在解決上述問題方面具有以下優(yōu)勢。首先,EDS存儲資源完全池化并按需使用,支持容器的靈活擴展。其次,EDS支持創(chuàng)建二級存儲資源,它可以快速響應(yīng)批處理容器實例發(fā)出的存儲資源匹配要求。
此外,K8S容器繼續(xù)從最初的無狀態(tài)應(yīng)用程序部署場景擴展到各種類型的數(shù)據(jù)處理業(yè)務(wù)場景,如Devops開發(fā)和操作、持續(xù)集成、大數(shù)據(jù)人工智能培訓(xùn)等。這就對存儲提出了更高的要求。結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)混合并存;文件大小分布廣泛,從千字節(jié)級的小文件到千兆字節(jié)級的大文件;多類型數(shù)據(jù)讀寫有不同的存儲性能要求,如低延遲、高吞吐量、海量小文件存儲等。深信EDS是為多種數(shù)據(jù)類型開發(fā)的企業(yè)級統(tǒng)一分布式存儲。系統(tǒng)同時支持塊、文件和對象存儲。單個節(jié)點的吞吐量性能可以達到每秒2gb,在3節(jié)點配置中可以連續(xù)寫入100億個小文件,性能抖動小于5%。
EDS支持K8S CSI標(biāo)準(zhǔn),降低了集裝箱存儲資源的使用和管理成本,很好地滿足了數(shù)據(jù)處理場景下對集裝箱存儲性能的高要求,實現(xiàn)了集裝箱存儲性能提升和成本降低的雙向加速。
我深信EDS自2016年開始就應(yīng)用于桌面云和超融合,服務(wù)于珠海市公安局、青島市北區(qū)法院、中國地震第二監(jiān)測局、招商局基金等用戶,至今已積累了數(shù)千個服務(wù)用戶??梢灶A(yù)測,隨著5G、云計算、人工智能和超高清等新興技術(shù)的進一步發(fā)展,數(shù)據(jù)將呈爆炸式增長,存儲將面臨新的挑戰(zhàn)。我相信,EDS將繼續(xù)圍繞“可靠性、高性能和智能管理”三大核心競爭力深化分布式存儲和創(chuàng)新,就像今天解決容器的持久存儲問題一樣,它將繼續(xù)為用戶解決未來的新存儲問題。