應(yīng)用

技術(shù)

物聯(lián)網(wǎng)世界 >> 物聯(lián)網(wǎng)新聞 >> 物聯(lián)網(wǎng)熱點(diǎn)新聞
企業(yè)注冊(cè)個(gè)人注冊(cè)登錄

云存儲(chǔ)技術(shù):虛擬化、集群管理需實(shí)現(xiàn)

2018-01-03 17:19 云計(jì)算產(chǎn)業(yè)聯(lián)盟

導(dǎo)讀:云存儲(chǔ)是在云計(jì)算概念上延伸和發(fā)展出來(lái)的一個(gè)新概念,是指通過(guò)集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能,將網(wǎng)絡(luò)中大量各種不同類型的存儲(chǔ)設(shè)備通過(guò)應(yīng)用軟件集合起來(lái)協(xié)同工作,共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問(wèn)功能的一個(gè)系統(tǒng)。

  云存儲(chǔ)是在云計(jì)算概念上延伸和發(fā)展出來(lái)的一個(gè)新概念,是指通過(guò)集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能,將網(wǎng)絡(luò)中大量各種不同類型的存儲(chǔ)設(shè)備通過(guò)應(yīng)用軟件集合起來(lái)協(xié)同工作,共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問(wèn)功能的一個(gè)系統(tǒng)。當(dāng)云計(jì)算系統(tǒng)運(yùn)算和處理的核心是大量數(shù)據(jù)的存儲(chǔ)和管理時(shí),云計(jì)算系統(tǒng)中就需要配置大量的存儲(chǔ)設(shè)備,那么云計(jì)算系統(tǒng)就轉(zhuǎn)變成為一個(gè)云存儲(chǔ)系統(tǒng),所以云存儲(chǔ)是一個(gè)以數(shù)據(jù)存儲(chǔ)和管理為核心的云計(jì)算系統(tǒng)。

  與云計(jì)算系統(tǒng)相比,云存儲(chǔ)可以認(rèn)為是配置了大容量存儲(chǔ)空間的一個(gè)云計(jì)算系統(tǒng)。云存儲(chǔ)系統(tǒng)具有如下特點(diǎn):數(shù)據(jù)安全,超強(qiáng)的可擴(kuò)展性,按照使用收費(fèi),可跨不同應(yīng)用,自動(dòng)切換故障,易于管理等。云存儲(chǔ)主要應(yīng)用于備份、歸檔、分配和共享協(xié)作等四大領(lǐng)域。

  云存儲(chǔ)系統(tǒng)是一個(gè)多設(shè)備、多應(yīng)用、多服務(wù)協(xié)同工作的集合體,它的實(shí)現(xiàn)要以多種技術(shù)的發(fā)展為前提。根據(jù)云存儲(chǔ)的特點(diǎn)及其應(yīng)用領(lǐng)域,主要的云存儲(chǔ)技術(shù)涉及到存儲(chǔ)虛擬化,分布式文件系統(tǒng),集群存儲(chǔ),存儲(chǔ)集中管理,異質(zhì)平臺(tái)協(xié)同,自動(dòng)分級(jí)存儲(chǔ)等方面,當(dāng)然還有重復(fù)數(shù)據(jù)刪除、數(shù)據(jù)壓縮等技術(shù)。

  一、存儲(chǔ)虛擬化

  存儲(chǔ)虛擬化(StorageVirtualization)最通俗的理解就是對(duì)存儲(chǔ)硬件資源進(jìn)行抽象化表現(xiàn)。通過(guò)將一個(gè)(或多個(gè))目標(biāo)服務(wù)或功能與其它附加的功能集成,統(tǒng)一提供有用的全面功能服務(wù)。典型的虛擬化包括如下一些情況:屏蔽系統(tǒng)的復(fù)雜性,增加或集成新的功能,仿真、整合或分解現(xiàn)有的服務(wù)功能等。虛擬化是作用在一個(gè)或者多個(gè)實(shí)體上的,而這些實(shí)體則是用來(lái)提供存儲(chǔ)資源或服務(wù)的。

  存儲(chǔ)虛擬化是一種貫穿于整個(gè)IT環(huán)境、用于簡(jiǎn)化本來(lái)可能會(huì)相對(duì)復(fù)雜的底層基礎(chǔ)架構(gòu)的技術(shù)。存儲(chǔ)虛擬化的思想是將資源的邏輯映像與物理存儲(chǔ)分開,從而為系統(tǒng)和管理員提供一幅簡(jiǎn)化、無(wú)縫的資源虛擬視圖。

  對(duì)于用戶來(lái)說(shuō),虛擬化的存儲(chǔ)資源就像是一個(gè)巨大的“存儲(chǔ)池”,用戶不會(huì)看到具體的磁盤、磁帶,也不必關(guān)心自己的數(shù)據(jù)經(jīng)過(guò)哪一條路徑通往哪一個(gè)具體的存儲(chǔ)設(shè)備。

  二、分布式文件系統(tǒng)

  Hadoop分布式文件系統(tǒng)(HDFS)是一個(gè)設(shè)計(jì)為用在普通硬件設(shè)備上的分布式文件系統(tǒng)。它與現(xiàn)有的分布式文件系統(tǒng)有很多近似的地方,但又和這些文件系統(tǒng)有很明顯的不同。HDFS是高容錯(cuò)的,設(shè)計(jì)為部署在廉價(jià)硬件上的。HDFS對(duì)應(yīng)用程序的數(shù)據(jù)提供高吞吐量,而且適用于那些大數(shù)據(jù)集應(yīng)用程序。HDFS 開放了一些POSIX的必須接口,容許流式訪問(wèn)文件系統(tǒng)的數(shù)據(jù)。

  HDFS是主/從結(jié)構(gòu)的。一個(gè)集群有一個(gè)名字結(jié)點(diǎn),也就是主控制服務(wù)器,負(fù)責(zé)管理文件系統(tǒng)的名字空間并協(xié)調(diào)客戶對(duì)文件的訪問(wèn)。還有一堆數(shù)據(jù)結(jié)點(diǎn),一般一個(gè)物理結(jié)點(diǎn)上部署一個(gè),負(fù)責(zé)它們所在的物理結(jié)點(diǎn)上的存儲(chǔ)管理。HDFS開放文件系統(tǒng)的名字空間以便讓用戶數(shù)據(jù)存儲(chǔ)在文件中。內(nèi)部,一個(gè)文件被分割為一個(gè)或者多個(gè)數(shù)據(jù)塊,這些數(shù)據(jù)塊存儲(chǔ)在一組數(shù)據(jù)結(jié)點(diǎn)中。名字結(jié)點(diǎn)執(zhí)行文件系統(tǒng)的名字空間操作,比如打開、關(guān)閉、重命名文件或目錄,還決定數(shù)據(jù)塊從數(shù)據(jù)結(jié)點(diǎn)的映射。數(shù)據(jù)結(jié)點(diǎn)負(fù)責(zé)提供客戶的讀寫請(qǐng)求。數(shù)據(jù)結(jié)點(diǎn)還依照名字結(jié)點(diǎn)的指令執(zhí)行數(shù)據(jù)塊的創(chuàng)建、刪除和復(fù)制工作。

  三、集群存儲(chǔ)

  集群存儲(chǔ)是將多臺(tái)存儲(chǔ)設(shè)備中的存儲(chǔ)空間聚合成一個(gè)能夠給應(yīng)用服務(wù)器提供統(tǒng)一訪問(wèn)接口和管理界面的存儲(chǔ)池,應(yīng)用可以通過(guò)該訪問(wèn)接口透明地訪問(wèn)和利用所有存儲(chǔ)設(shè)備上的磁盤,可以充分發(fā)揮存儲(chǔ)設(shè)備的性能和磁盤利用率。數(shù)據(jù)將會(huì)按照一定的規(guī)則從多臺(tái)存儲(chǔ)設(shè)備上存儲(chǔ)和讀取,以獲得更高的并發(fā)訪問(wèn)性能。

  集群存儲(chǔ)的優(yōu)勢(shì)主要體現(xiàn)在提高并行或分區(qū)I/O的整體性能,特別是工作流、讀密集型以及大型文件的訪問(wèn),通過(guò)采用更低成本的服務(wù)器來(lái)降低整體成本。集群存儲(chǔ)有兩種實(shí)現(xiàn)方式:一種是硬件基礎(chǔ)架構(gòu)加上軟件;另一種是專用集群存儲(chǔ),是構(gòu)建在NAS基礎(chǔ)架構(gòu)之上的,但是通過(guò)操作系統(tǒng)實(shí)現(xiàn)集群存儲(chǔ)。

  四、存儲(chǔ)集中管理

  云存儲(chǔ)管理平臺(tái)要求支持跨數(shù)據(jù)中心的部署和管理,并支持跨數(shù)據(jù)中心的用戶訪問(wèn)調(diào)度、數(shù)據(jù)遷移、數(shù)據(jù)異地存儲(chǔ)備份等功能。

  支持集中管理,云存儲(chǔ)管理平臺(tái)部署在云計(jì)算的中心機(jī)房,存儲(chǔ)節(jié)點(diǎn)可以部署在各地的機(jī)房中,管理平臺(tái)對(duì)各分點(diǎn)機(jī)房的存儲(chǔ)設(shè)備可以統(tǒng)一管理調(diào)度。

  通過(guò)云存儲(chǔ)管理平臺(tái),用戶可以方便的了解云存儲(chǔ)系統(tǒng)的各個(gè)節(jié)點(diǎn)的服務(wù)情況,包括各節(jié)點(diǎn)的容量和性能(讀IOPS、寫IOPS、讀流量、寫流量)等信 息,讓用戶實(shí)時(shí)了解域內(nèi)資源信息,運(yùn)行狀態(tài),從而可以操控這些資源;同時(shí)及時(shí)了解資源的異常,有必要時(shí)可以采取適當(dāng)?shù)拇胧┍WC其正常運(yùn)行。

  五、異質(zhì)平臺(tái)協(xié)同

  當(dāng)前各種存儲(chǔ)方案與技術(shù)十分繁雜而多樣,光從一家企業(yè)內(nèi)部可能同時(shí)存在各種不同類型存儲(chǔ)裝置的狀況便知一二,更何況不同存儲(chǔ)設(shè)備供貨商間的存儲(chǔ)環(huán)境一直存在兼容性問(wèn)題,所以喊了多年的存儲(chǔ)整合,仍舊難以如企業(yè)需求所愿,這也是存儲(chǔ)虛擬化與云存儲(chǔ)推展上的最大阻力。

  雖然存儲(chǔ)云端在某方面很容易跨入(例如在線存儲(chǔ)與備份),但另一方面想要透過(guò)私有云存儲(chǔ)來(lái)達(dá)成全面性之存儲(chǔ)整合,似乎不是那么容易的事情。對(duì)此,想 要成功完成存儲(chǔ)虛擬化目標(biāo)必須改善企業(yè)既有IT存儲(chǔ)環(huán)境,其改善重點(diǎn)不外共通分享的存儲(chǔ)架構(gòu)、親和的使用環(huán)境、簡(jiǎn)潔單一的操作界面,以及效能卓著的存儲(chǔ)方 案等。其中,不論是單一操作接口或統(tǒng)一標(biāo)準(zhǔn)的API,更是解決不同存儲(chǔ)裝置間協(xié)同問(wèn)題的關(guān)鍵之一。

  CDMI是云存儲(chǔ)全新標(biāo)準(zhǔn)接口,由國(guó)際存儲(chǔ)網(wǎng)絡(luò)產(chǎn)業(yè)協(xié)會(huì)SNIA制定。對(duì)于云運(yùn)算來(lái)說(shuō),CDMI提供了通用云運(yùn)算管理基礎(chǔ)架構(gòu),同時(shí)原本信息管理的 重點(diǎn)已逐漸從存儲(chǔ)管理轉(zhuǎn)移圍繞在數(shù)據(jù)管理上。 CDMI標(biāo)準(zhǔn)則可以協(xié)助用戶將特殊詮釋數(shù)據(jù)(Metadata)標(biāo)記在數(shù)據(jù)上,該詮釋數(shù)據(jù)會(huì)告訴端點(diǎn)存儲(chǔ)供應(yīng)商,什么樣的數(shù)據(jù)服務(wù)提供該數(shù)據(jù)(例如備份、 歸檔、加密等)。透過(guò)CDMI標(biāo)準(zhǔn)接口的執(zhí)行,用戶可在不同云端供應(yīng)商間任意移動(dòng)數(shù)據(jù),不再需要忍受不同接口中重新編碼的痛苦。

  六、自動(dòng)分級(jí)存儲(chǔ)

  提高存儲(chǔ)管理效率已經(jīng)成為許多企業(yè)首要解決問(wèn)題,自動(dòng)分級(jí)存儲(chǔ)成為最有效的基礎(chǔ)技術(shù),它指的是在不同磁盤類型和RAID級(jí)別之間遷移數(shù)據(jù)塊的功能,這可滿足性能和空間使用之間的適當(dāng)平衡,快速將數(shù)據(jù)放到合適的地方并避免所謂的熱點(diǎn)。

  作為這項(xiàng)技術(shù)受到廣泛關(guān)注,在不同層級(jí)的存儲(chǔ)介質(zhì)之間,比如FC磁盤和SATA磁盤之間,移動(dòng)數(shù)據(jù)需要實(shí)現(xiàn)全自動(dòng)化的遷移流程。

  在分級(jí)數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)中,存儲(chǔ)設(shè)備一般有磁帶庫(kù)、磁盤或磁盤陣列等,而磁盤又可以根據(jù)其性能分為FC磁盤、SCSI磁盤、SATA磁盤等多種,而閃存 存儲(chǔ)介質(zhì)(非易失隨機(jī)訪問(wèn)存儲(chǔ)器(NVRAM))也因?yàn)檩^高的性能可以作為分級(jí)數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)中較高的一級(jí)。一般,磁盤或磁盤陣列等成本高、速度快的設(shè)備, 用來(lái)存儲(chǔ)經(jīng)常訪問(wèn)的重要信息,而磁帶庫(kù)等成本較低的存儲(chǔ)資源用來(lái)存放訪問(wèn)頻率較低的信息。

  七、小結(jié)

  云存儲(chǔ)與云運(yùn)算一樣,必須經(jīng)由網(wǎng)絡(luò)來(lái)提供隨選分派的存儲(chǔ)資源。重要的是,該網(wǎng)絡(luò)必須具備良好的QoS機(jī)制才行。對(duì)于用戶來(lái)說(shuō),具備彈性擴(kuò)展與隨使用 需求彈性配置的云存儲(chǔ),可節(jié)省大筆的存儲(chǔ)設(shè)備采購(gòu)及管理成本,甚至因存儲(chǔ)設(shè)備損壞所造成的數(shù)據(jù)遺失風(fēng)險(xiǎn)也可因此避免??傊?,不論是端點(diǎn)使用者將數(shù)據(jù)備份到 云端,抑或企業(yè)基于法規(guī)遵循,或其他目的的數(shù)據(jù)歸檔與保存,云存儲(chǔ)皆可滿足各方的不同需求,所有云存儲(chǔ)技術(shù)的發(fā)展都要確保實(shí)現(xiàn)這一目標(biāo)。