應用

技術

物聯(lián)網(wǎng)世界 >> 物聯(lián)網(wǎng)新聞 >> 物聯(lián)網(wǎng)熱點新聞
企業(yè)注冊個人注冊登錄

2020物聯(lián)網(wǎng)領域不得不關注的新進展:去中心化存儲

2020-08-10 11:07 物女心經(jīng)

導讀:?隨著物聯(lián)網(wǎng)的發(fā)展,有一個領域正在逐步發(fā)生變化,那就是數(shù)據(jù)存儲市場。

隨著物聯(lián)網(wǎng)的發(fā)展,有一個領域正在逐步發(fā)生變化,那就是數(shù)據(jù)存儲市場。萬物互聯(lián)產(chǎn)生的數(shù)據(jù)正在以指數(shù)級增長,如何存儲和管理這些數(shù)據(jù),對于每家企業(yè)而言,都是成功的關鍵要素。

萬物互聯(lián)產(chǎn)生的數(shù)據(jù)正在以指數(shù)級增長,如何存儲和管理這些數(shù)據(jù),對于每家企業(yè)而言,都是成功的關鍵要素。

引用市場研究機構IDC的數(shù)據(jù),到2025年,全球?qū)⒂?5.9B的互聯(lián)設備,其中75%將連接到物聯(lián)網(wǎng)平臺。屆時由互聯(lián)設備生成的數(shù)據(jù),將從2019年的13.6 ZB,增長到79.4 ZB。

ZB是什么概念?舉個例子,如果把1ZB的文件往1TB的硬盤里裝,大概需要10億塊硬盤,連起來足夠繞地球兩圈半。

尤其是視頻數(shù)據(jù)的存儲需求將會飛速膨脹,以亞太地區(qū)為例,2025年來自物聯(lián)網(wǎng)設備的視頻數(shù)據(jù)規(guī)模將達到26,680 EB,以5年復合年增長率23.2%的速度增長。在視頻數(shù)據(jù)之外,來自工業(yè)互聯(lián)網(wǎng)的數(shù)據(jù)也將占據(jù)較大份額。

如此大量的數(shù)據(jù)如何被可靠、安全、快速、高性價比的存儲,是很多企業(yè)正在探索的方向。

隨著區(qū)塊鏈的發(fā)展,去中心化存儲逐步升溫。最近京東云、華為云率先開始了新嘗試。

在智能園區(qū)場景中,某地的華為云服務器集群將引入去中心化存儲技術IPFS搭建,擬定投入4億元人民幣。

京東智聯(lián)云也推出了無線寶智能終端,并將其定位于家庭場景中,去中心化存儲、區(qū)塊鏈和數(shù)字化資產(chǎn)管理的基礎設施。

因此這篇文章,我們就來講述去中心化存儲的最新進展:

什么是去中心化存儲?值得關注的去中心化存儲實現(xiàn)技術有哪些?有哪些去中心化存儲的誤區(qū)需要避免?

1.什么是去中心化存儲?

一切可以去中心化的,都將去中心化。

以存儲作為服務的商業(yè)模式由來已久,亞馬遜在2006年開始推出Amazon Web Services(AWS),將自己的服務器和存儲空間租借給用戶,降低了開發(fā)者創(chuàng)建并管理服務器基礎設施的開銷。

在2013-2017這5年間,全球云存儲市場維持20%以上的高復合增速,而國內(nèi)云存儲市場的增速維持在85%-110%。根據(jù)多家機構的預測結果,預計2022年全球云存儲市場規(guī)模將達到1000億美元以上。

隨著時間的演變,中心化的儲存服務雖不斷改善功能,價格也愈加親民,但近年來卻遇到了瓶頸,面臨頻繁的數(shù)據(jù)泄露、服務的限制性、運營商停運風險等問題。于是,去中心化存儲這一概念逐漸興起。

需要注意的是,中心化或去中心化存儲,并不僅僅是描述一種技術,更多的是對應一種存儲的商業(yè)模式。

存儲市場的商業(yè)組織形式,可以分為中心化存儲和去中心化存儲:

中心化存儲是將數(shù)據(jù)完整的存儲在中心化機構開發(fā)的服務器上,設備服務器與存儲供應者是一對一的關系。去中心化存儲則是將數(shù)據(jù)切片分散存儲在多個獨立的存儲供應商上,設備服務器與存儲供應者是一對多的關系。

去中心化存儲是一種通過分布式存儲技術,將文件或文件集分片,存儲在不同供應方提供的磁盤空間上的存儲商業(yè)模式。

它的價值主張是強隱私保護、低成本、數(shù)據(jù)冗余備份、開源的應用程序和算法,只有實現(xiàn)了以上的全部主張,才可能大范圍代替現(xiàn)有的中心化存儲方案。

你也許看出來了,去中心化存儲就是偏偏要在一個更加分散、更加不安全、更加不可信的網(wǎng)絡環(huán)境中,滿足更加安全、更加可信、更加可控的存儲需求。它有利于規(guī)避單點故障,和實現(xiàn)數(shù)據(jù)的價值傳遞。

從實現(xiàn)方式上來說,中心化存儲系統(tǒng)的大型文件上傳后,文件以整體或切片的形式存儲在單一或分布式的網(wǎng)絡或服務器上,需要極其高效的開發(fā)、運營團隊來維持其運轉(zhuǎn)。

去中心化存儲必須使用分布式存儲技術,初始種子節(jié)點(最初擁有完整文件資源的節(jié)點)在將大型文件進行切片處理后,使其產(chǎn)生多個子塊。每個子塊分別存儲在不同的節(jié)點上,每個一般節(jié)點下載單個子塊,上傳到去中心化存儲網(wǎng)絡中,讓其他節(jié)點下載后,便成為這個子塊的種子節(jié)點。如此循環(huán)往復,不斷擴大該文件在共享網(wǎng)絡中的節(jié)點數(shù)。

為了實現(xiàn)去中心化的商業(yè)模式,去中心化存儲的實現(xiàn)必然分為兩部分:存儲技術和激勵機制。

存儲技術相對比較成熟,有多種分布式存儲方案可供選擇。激勵機制由區(qū)塊鏈技術提供,在去中心化存儲中,網(wǎng)絡規(guī)模的大小對于性能的影響很大。如何讓大家愿意貢獻存儲、網(wǎng)絡資源?如何保證這些存儲資源穩(wěn)定、可靠的運行?這些都需要通過區(qū)塊鏈技術實現(xiàn)。

與中心化存儲不同,去中心化存儲的特點主要有3個:

(1) 算法開源:去中心化存儲平臺或網(wǎng)絡的算法和代碼必須是開源的。

B2C端的存儲服務已經(jīng)被中心化存儲搶占了大多數(shù)市場,在開源項目初期進入門檻較高,大多數(shù)集中于B2B端,只有代碼開源才能讓社區(qū)和應用的完善形成有效的正反饋效應。如果算法和代碼不公開透明,則存儲網(wǎng)絡就會變相的中心化。

(2) 計費優(yōu)勢:去中心化存儲的成功要素之一,就是計費優(yōu)勢。

由于中心化存儲系統(tǒng)和去中心化存儲系統(tǒng)的存儲方式和檢索方式的差異,導致二者在服務費用定價上存在差異。

中心化存儲系統(tǒng)的收費標準是按月度、季度或年度為單位,根據(jù)存儲數(shù)據(jù)文件的大小收取存儲費用,并且對存儲費用實施一定的促銷策略(免費試用期等)。

由于大多數(shù)去中心化存儲網(wǎng)絡平臺處于項目運營初期,大部分產(chǎn)品處于開發(fā)階段或MVP階段,因此需要以低廉的存儲費用來吸引用戶流量。但是,相比較中心化的相對固定的服務費用,除了存儲費用之外,去中心化存儲還有檢索費用、手續(xù)費和交易費。因此,去中心化存儲僅僅適合冷數(shù)據(jù)存儲,在檢索數(shù)據(jù)量較少的情況下,其費用比中心化存儲低得多。而對于熱數(shù)據(jù),因檢索頻繁導致其成本可能高于中心化存儲的費用。

(3) 安全和隱私保護:增強安全性和用戶隱私保護,是去中心化存儲的重要價值主張。

去中心化存儲的優(yōu)勢主要體現(xiàn)在兩個方面:首先,去中心化存儲規(guī)避了單點故障和部分節(jié)點斷網(wǎng)或不可用等風險;其次,去中心化存儲使用戶的具體存儲內(nèi)容不因主觀原因而泄露。

由于去中心化存儲的共享網(wǎng)絡為P2P網(wǎng)絡,而中心化存儲的共享網(wǎng)絡為以服務供應商為中心的中心化網(wǎng)絡,從而導致前者不容易受到單點故障和服務器斷網(wǎng)的影響,也不容易受到黑客的攻擊。

同時,去中心化存儲通過零知識證明和非對稱加密等技術,將哈希加密的字符串放在區(qū)塊的最底層,從而將存儲內(nèi)容的分片實現(xiàn)加密處理,其他任何節(jié)點包括運營商都無法看到存儲的具體內(nèi)容。

就現(xiàn)狀而言,去中心化存儲處于起步階段,它與中心化存儲在存儲空間來源、帶寬來源、安全性、使用方式、行業(yè)發(fā)展狀態(tài)等多個維度存在差異,目前它的規(guī)模和性能遠遠不如中心化存儲系統(tǒng)。

2.值得關注的去中心化存儲實現(xiàn)技術有哪些?

去中心化存儲的實現(xiàn)技術很多,質(zhì)量參差不齊,典型的包括BitTorrent、IPFS、Lambda、Sia、Swarm、Storj、Chronicle、MaidSafe等十余個,它們最早可以追溯到本世紀初的點對點文件存儲系統(tǒng)。我們就從大家最熟悉的講起。

(1) BitTorrent

最早點對點的文件存儲系統(tǒng)作為中心化云服務器的替代品出現(xiàn),并且還沒有中心化的風險。在亞馬遜云存儲服務出現(xiàn)的5年前,BitTorrent(簡稱BT)已經(jīng)可以讓文件在用戶之間有效傳輸。

說到BT下載,相信很多人都知道并且用過。因為很多電影都是通過BT種子進行傳播的。在2003年的時候,軟件工程師Bram Cohen發(fā)明BitTorrent協(xié)議,也就是我們常說的BT下載。

BT主要是采用高效的軟件分發(fā)系統(tǒng)和P2P技術共享大型的文件,然后重新分配節(jié)點給每個用戶讓他們提供上傳服務。通過這個技術,不僅讓用戶享受了更快的下載速度,也讓運營者大大節(jié)省了服務器的帶寬成本。

雖然BitTorrent是最早的去中心化存儲項目,但因其缺乏完善的激勵機制,因而只能稱之為去中心化存儲模式的雛形。

(2) IPFS

IPFS全稱為InterPlanetary File System,中文為“星際文件系統(tǒng)”,旨在創(chuàng)建持久且分布式存儲和共享文件的網(wǎng)絡傳輸協(xié)議。

IPFS想在BitTorrent的基礎上,打造真正的點對點、去中心化的文件存儲系統(tǒng)。在IPFS中,所有的文件都會集中起來,其中會有通用的語言,并且所有的用戶都會在整個系統(tǒng)中共享,這可以讓他們尋找并且互相轉(zhuǎn)移文件。

這里特別說明一下,IPFS不僅僅是存儲,更重要的是它想顛覆HTTP。IPFS本質(zhì)上是一個底層的開源文件傳輸協(xié)議,旨在對基于HTTP URL檢索協(xié)議進行補充甚至替代。

IPFS由協(xié)議實驗室(Protocol Labs)于2015年1月發(fā)布。協(xié)議實驗室的創(chuàng)始人和首席執(zhí)行官名為Juan Benet。他2012年畢業(yè)于斯坦福大學,獲得計算機科學碩士學位,曾參與YCombinator計劃。

據(jù)IPFS官方消息稱,IPFS所應用的場景已高達100多個。不僅是京東、華為在布局IPFS,微軟、谷歌、火狐等也加入了IPFS應用,從這方面可以顯示出IPFS的發(fā)展迅速。未來,無論文字、圖片,還是視頻,各種用戶想要存儲的內(nèi)容,都有可能通過IPFS來實現(xiàn)。

(3) Lambda

Lambda是一個區(qū)塊鏈數(shù)據(jù)存儲的基礎設施,通過對Lambda Chain和Lambda DB的邏輯解耦和分別實現(xiàn),以及去中心化應用,提供可無限擴展的數(shù)據(jù)存儲能力,并實現(xiàn)了多鏈數(shù)據(jù)協(xié)同存儲、跨鏈數(shù)據(jù)管理、數(shù)據(jù)隱私保護、數(shù)據(jù)持有性證明、分布式智能計算等服務。

Lambda本質(zhì)上是IPFS項目的延伸與擴展,并且通過引入創(chuàng)新機制降低了其使用門檻,但是仍然不利于家庭用戶參與到去中心化存儲中來。

(4) Storj

Storj是一個基于以太坊的分布式云存儲協(xié)議,由盈利性公司Stroj Labs開發(fā)。Storj的核心技術是一個可執(zhí)行的、點對點存儲合約,即兩個人(或計算機)在不認識對方的情況下,同意使用定量的存儲來獲得收益。

Storj Labs公司的營利性方面是:它向數(shù)千名用戶出租網(wǎng)絡,并為網(wǎng)絡使用收費。這是一個稍微集中的模式,與Dropbox和Google Drive等競爭。他們還與Microsoft Azure建立了合作伙伴關系,以部署他們的一些開發(fā)工具。

(5) Swarm

Swarm也基于以太坊,它提供分布式的存儲平臺和內(nèi)容分發(fā)服務,參與者能夠有效的匯集存儲和帶寬資源,以便向網(wǎng)絡所有的參與者提供服務,同時作為回報,他們會得到一部分以太坊獎勵。

從終端角度來看,在Swarm中除了上傳操作不是發(fā)生在特定服務器上外,Swarm與互聯(lián)網(wǎng)并沒有多少不同。

(6) Sia

Sia是一個基于區(qū)塊鏈的去中心化云存儲平臺,由Nebulous公司負責開發(fā)與運營。Sia將數(shù)據(jù)拆分、加密,然后通過其去中心化的網(wǎng)絡對拆分和加密的數(shù)據(jù)進行分發(fā)。

Sia通過允許用戶“出租”他們未使用的硬盤空間,這樣能夠顯著降低用戶云存儲的開銷成本,因此很多人把Sia稱為硬盤驅(qū)動的Airbnb。Sia是完全私密的,沒有私鑰無法查看數(shù)據(jù)文件。

(7) Chronicle

Chronicle于去年9月公布,是由IOTA基金會推出全新數(shù)據(jù)存儲解決方案,該方案允許其節(jié)點所有者輕松存儲所有交易并可保持對數(shù)據(jù)的不間斷訪問。

IOTA是為物聯(lián)網(wǎng)而設計的一個革命性的新型交易結算和數(shù)據(jù)轉(zhuǎn)移層。它基于新型的分布式賬本Tangle(纏結)。Chronicle允許節(jié)點所有者存儲Tangle的所有數(shù)據(jù),并在需要時快速訪問這些數(shù)據(jù)。最近IOTA基金會發(fā)布了去中心化存儲存儲框架Chronicle的Alpha版本,對其部分功能進行了改進,將可以在Tangle上構建更多的工業(yè)用例。

(8) MaidSafe

MaidSafe的目標是用完全去中心化架構來取代互聯(lián)網(wǎng)昂貴的數(shù)據(jù)中心,建立一個全球范圍內(nèi)任何人都可以訪問的去中心化儲存平臺。

Maidsafe的工作機制有點像螞蟻網(wǎng)絡,單個螞蟻是非常脆弱的,當與其他的螞蟻合作的時候,就能變成特定的蟻群,拿下更多更大的獵物。

在Maidsafe中每個用戶都是網(wǎng)絡參與的一分子,需要貢獻出一部分的硬盤空間,無需中間服務器和數(shù)據(jù)中心網(wǎng)絡。可以說它的野心更大,預想創(chuàng)造一個完全去中心化,去依賴傳統(tǒng)網(wǎng)絡的分布式存儲系統(tǒng)。

3.有哪些去中心化存儲的誤區(qū)需要避免?

去中心化存儲的商業(yè)模式想要成立,首先要在價值主張和性價比上超越中心化的存儲方式。其次,還應注意區(qū)分去中心化存儲與分布式存儲。

誤區(qū)1:沒有區(qū)分IPFS與Filecoin

Filecoin近期的火熱程度,堪稱2020年以來之最。雖然Filecoin經(jīng)常與IPFS同時出現(xiàn),但它們是兩個項目。IPFS解決技術問題、標準問題,F(xiàn)ilecoin解決關系問題、激勵問題。

IPFS自2015年1月發(fā)布至今,已平穩(wěn)運行多年,目前IPFS上的應用已有數(shù)百個,全球節(jié)點數(shù)百萬個。谷歌、京東等企業(yè)都開始使用IPFS技術。

Filecoin是一個區(qū)塊鏈項目,自宣布于2018年6月上線主網(wǎng)至今,已經(jīng)歷數(shù)次延期,并且性能一直被詬病。

華為云和京東云投資的都是IPFS相關技術,而合作中對Filecoin并沒有提及。援引文章《Filecoin大空頭:易崩盤、估值高、政策風險大》中的觀點,華為云、京東云對IPFS的應用,不僅對Filecoin不是利好,反而會吞噬Filecoin的市場。

文章分析,京東無線寶要做的事,其實和Filecoin的應用十分相像。相對于Filecoin遲遲未上線的主網(wǎng),京東有三大優(yōu)勢:電商商城流量、京東金豆隔絕風險、技術成本優(yōu)勢。

Filecoin能做的,IT和互聯(lián)網(wǎng)公司們已經(jīng)開始做了,而這些巨頭們不能做的,才是Filecoin可以施展拳腳的地方,但其中滿是風險和陷阱,尤其是政策風險。

從估值上來看,F(xiàn)ilecoin大幅偏高。

去年第4季度,百度云在國內(nèi)云市場占比為8.8%。最近,高盛給整個百度云板塊(小度智能音響+百度云)400億人民幣的估值。而Filecoin在既沒有數(shù)據(jù),也沒有內(nèi)容的情況下,市值已達2000億元。Filecoin的高估值,顯然不利于去中心化存儲的商業(yè)模式成立。

誤區(qū)2:沒有區(qū)分去中心化存儲與分布式存儲

去中心化存儲更多的是描述一種商業(yè)模式,分布式存儲是去中心化存儲的技術實現(xiàn)方式。

分布式存儲技術采用可擴展的系統(tǒng)結構,利用多臺存儲服務器分擔存儲負荷,利用位置服務器定位存儲信息,解決了傳統(tǒng)集中式存儲系統(tǒng)中單存儲服務器的瓶頸問題,并提高了系統(tǒng)的可靠性、可用性和擴展性。

無論是中心化還是非中心化存儲,二者的技術實現(xiàn)方式通常會以分布式存儲來體現(xiàn)。

因為設備服務器與存儲供應者是一對多的關系,即一個存儲供應商可以控制多個存儲節(jié)點,所以去中心化存儲一定會使用分布式存儲技術。

但是,中心化存儲可以使用分布式存儲技術,也可以不使用分布式存儲技術。

寫在最后

總體而言,中心化存儲占據(jù)市場主導地位,處于成熟期;去中心化存儲仍然處于初創(chuàng)期,技術架構和體系尚未成熟。

存儲市場總收入規(guī)模達到了130億美元以上,中心化存儲2019年上半年目前已經(jīng)形成了寡頭壟斷的競爭格局,以Dell Technology、H3C、IBM、聯(lián)想、華為等巨頭為主,并且前10家中心化存儲公司的市場份額達到62.9%。

而BitTorrent、IPFS等去中心化存儲項目部分仍在開發(fā)階段,而且進度較為緩慢。即便是開發(fā)完成的Sia和Storj,其存儲空間總量僅為2PB,實際使用空間僅為全網(wǎng)總存儲空間的40%不到,與中心化存儲的收入相去甚遠。

去中心化存儲與區(qū)塊鏈技術的綁定,毀譽參半,區(qū)塊鏈有可能成為助推器,也有可能成為泡沫機。

本文小結

去中心化存儲是一種通過分布式存儲技術,將文件或文件集分片,存儲在不同供應方提供的磁盤空間上的存儲商業(yè)模式。去中心化存儲的實現(xiàn)技術很多,質(zhì)量參差不齊,典型的包括BitTorrent、IPFS、Lambda、Sia、Swarm、Storj、Chronicle、MaidSafe等十余個。去中心化存儲的商業(yè)模式想要成立,首先要在價值主張和性價比上超越中心化的存儲方式。其次,還應注意區(qū)分去中心化存儲與分布式存儲??傮w而言,中心化存儲占據(jù)市場主導地位,處于成熟期;去中心化存儲仍然處于初創(chuàng)期,技術架構和體系尚未成熟。