你當前所在的位置 :網站首頁 >> 云服務

云存儲解決方案


企業云存儲系統解決方案

云存儲系統有效解決海量有效解決海量,有效解決海量。平臺具備開放式架構、組件化封裝、積木式開放等技術特點,能提供應用快速交付能力,可以根據用戶不同階段的應用需求與特殊使用需求進行快速的業務開發及業務功能調整工作。平臺定義標準接口,支持多層次的集成。中心管理平臺主要管理服務器及數據庫服務器支持雙機熱備,大容量業務訪問時可支持集群部署,確保系統平臺的可靠性與穩定性。

云存儲系統提供高速數據接口,為應用平臺提供數據高效檢索、快速調取等服務功能,為業務應用提供有力支撐。

平臺擁有完善的運維管理功能,系統管理人員能夠實時了解系統中核心設備的運行狀況,及時發現設備故障信息,能夠提供對系統內設備的自動巡檢功能,對巡檢情況做統計分析,使系統維護人員能夠快速了解異常情況,及時排除設備故障。

云存儲系統同時需要提供標準的運維接口,維護便捷,實現高效實用的管理及使用機制。

云存儲解決方案采用全新的設計理念,可從成本、容量、空間可擴展性、服務可用性、數據可靠性、接口通用性等多個維度提升監控存儲的質量。由于這些明顯的優勢,云存儲將成為未來平安城市、智慧城市系統的基石,有效的支持各類數據集中存儲與共享業務,以及智能實戰系統,警務政務綜合系統,大型數據挖掘系統等數據分析業務,成為便捷、統一管理和高效應用的大數據基礎平臺。

云存儲系統實現存儲資源統一管理、高效應用、系統規模平滑擴容為目標,以先進、可靠、成熟、開放、經濟為總體建設原則。

先進性原則

在系統總體方案設計時采用業界先進的方案和技術,以確保一定時間內不落后。選擇實用性強產品,模塊化結構設計,具備動態擴容能力的系統,既可滿足當前的需要又可實現今后系統發展平滑擴展??煽啃栽瓌t數據是業務系統核心應用的最終保障,不但要保證整套系統能夠7X24運行,而且存儲系統必須有高可用性,以保證應用系統對數據的隨時存取。同時提供可靠冗余策略,對應用數據進行更加安全的數據保護,降低硬件故障、網絡異常等給系統造成的數據丟失風險。在進行系統設計時,充分考慮數據高可靠存儲,采用高度可靠的軟硬件容錯設計,進行有效的安全訪問控制,實現故障屏蔽、冗余重建等智能化安全可靠措施,提供統一的系統管理和監控平臺,進行有效的故障定位、預警。

成熟性原則

為確保整個系統能夠穩定工作,軟件平臺將使用先進、完善、易于管理和穩定可靠的云存儲資源管理系統,對于與應用的集成接口,提供高效穩定統一的訪問接口。

開放性原則

開放高性能的應用API編程接口,提供人性化的應用和管理界面,以滿足用戶需求。充分考慮系統的升級和維護問題,支持在線升級和維護。系統的維護和升級操作由系統管理員即可完成。

經濟性原則

現有業務系統存儲數據量較大,且隨著監控高清化的趨勢,以及建設規模的擴大,存儲數據的規模擴展較快。因此在建設系統存儲架構時,應從長遠的角度考慮,建設一個長期的存儲架構,除了可以應對存儲硬件設備的升級速度外,還必須考慮到對前期存儲設備的投資保護,在保證不斷提供功能和性能提高的同時,存儲架構在較長的時間內能夠保持相對穩定。結合先進的云平臺技術架構優勢,根據本次項目建設的實際容量需求設計,同時充分考慮應用發展需求,實現系統可彈性在線平滑升級。通過軟件實現在較廉價普通服務器上實現高度容錯,同時能夠保持較高的磁盤利用率,保證在較低冗余度的情況下實現數據的高可靠,大大節約和降低系統的建設成本和持有維護成本。

設計目標

云存儲解決方案采用業界領先的云存儲架構思想,在系統架構和設計上,充分考慮大規模集群環境下軟硬件發生故障的現實,采用先進的管理思想和軟件系統,實現對大量普通存儲服務器存儲空間資源進行虛擬化整合,實現軟硬件故障高度容錯,搭建高度穩定可靠的存儲集群。

云存儲系統將控制流與數據流分離,以及充分優化元數據節點控制系統,使得系統具備極高的性能和良好的線性擴展能力。系統整體為應用提供統一命名空間,使得系統具備極好的數據共享能力。系統將負載均衡到集群內的各節點上,充分利用集群各節點性能,以獲得很好的性能聚合能力以及保證了系統的穩定。集群采用高度靈活自組網技術,提供簡易部署和維護功能。系統在數據可靠方面,采用智能冗余重建技術,保證較高磁盤利用率的前提下,提供最佳冗余策略。另外,系統在節點軟硬件故障容錯方面,也進行充分考慮,具備屏蔽所有可屏蔽錯誤能力。

系統架構

云存儲系統解決方案能幫助用戶輕松管理海量數據,優化業務數據流,為應用系統提供統一的數據管理平臺。提供高可用的存儲服務,優化業務數據流,為應用系統提供統一的數據管理平臺。

系統包含四個層次功能,來滿足最終用戶、系統管理員、運營人員的日常操作需求:

存儲層:基于單個存儲節點,管理本地的硬盤,文件和數據塊。

存儲管理層:提供單個集群和多域的管理能力。

接口層:提供豐富的訪問接口,適應各種應用。

業務應用層:業務應用層部署由各用戶根據自身需求,充分利用接口層提供的各種接口,開發而成各種應用系統,聯網共享系統等。

系統組成

云存儲系統內部,由元數據服務器和云存儲節點組成。元數據服務器支持兩臺、三臺及以上形成集群,提供高可靠的元數據服務。云存儲節點提供高容量、高密度的存儲介質和極高的IO能力。

云存儲系統采用分布式的存儲機制,將數據分散存儲在多臺獨立的存儲服務器上。它采用包括元數據服務器(MetadataServer)、云存儲節點服務器(DataNode)、客戶端以及運維管理服務器的結構構成海量云存儲系統。在每個服務器節點上運行云存儲系統的相應軟件服務程序模塊。

元數據服務器集群保存系統的元數據,負責對整個文件系統的管理,元數據服務器(MetadataServer)在邏輯上只有一個,但采用集群方式,保證系統的不間斷服務;

云存儲節點服務器(DataNode)負責具體的數據存儲工作,數據以文件的形式存儲在DataNode上,DataNode的個數可以有多個,它的數目直接決定了云存儲系統的規模;同時,針對視頻業務,可在DataNode上集成了流媒體服務,讓存儲節點具備了流媒體直存能力,讓前端視頻流直接存儲至云存儲成為可能??蛻舳藢ν馓峁祿鎯驮L問服務的接口,為云業務平臺提供云存儲系統的訪問能力。

關鍵技術

負載自動均衡技術

采用中心服務器模式來管理整個云存儲文件系統,所有元數據均保存在元數據服務器上,文件則被按塊劃分存儲在不同的數據節點上。

元數據維護了統一的命名空間,同時掌握整個系統內數據節點的使用情況,當客戶端向元數據服務器發送數據讀寫的請求時,元數據服務器根據數據節點的磁盤使用情況、網絡負擔等情況,選擇負擔最輕的節點服務器對外提供服務,自動調節集群的負載狀態。

數據節點內同時有提供磁盤級的負載均衡,根據磁盤的IO負載,空間容量等情況,自動選擇負載最輕的磁盤存儲新的數據文件。

當有一個數據節點因為機器故障或者其他原因造成離線時,元數據服務器會將此機器自動屏蔽掉,不再將此數據節點提供給客戶端使用,同時存儲在此數據節點上的數據也會自動恢復到其他可用的節點服務器上,自動屏蔽數據單節點故障對系統的影響。

另外對故障的數據節點上的數據快速恢復,只需將數據節點上的硬盤拔出,插入到其他數據節點,這樣即減少集群對數據恢復的壓力,又不對客戶端讀寫產生影響。

高速并發訪問技術

客戶端在訪問云存儲時,首先訪問元數據服務器,獲取將要與之進行交互的數據節點信息,然后直接訪問這些數據節點完成數據存取。

客戶端與元數據服務器之間只有控制流,而無數據流,這樣就極大地降低了元數據服務器的負載,使之不成為系統性能的一個瓶頸??蛻舳伺c數據節點之間直接傳輸數據流,同時由于文件被分成多個節點進行分布式存儲,客戶端可以同時訪問多個節點服務器,從而使得整個系統的I/O高度并行,系統整體性能得到提高。

通常情況下,系統的整體吞吐率與節點服務器的數量呈正比。

高可靠性保證技術

對于元數據,通過操作日志來提供容錯功能。主服務器本地SSD盤組建高可靠RAID1,提供高可靠容錯能力。當元數據服務器發生故障時,在磁盤數據保存完好的情況下,可以迅速恢復以上元數據。且操作日志在主備元數據服務器之間實時同步,實現更高程度的可靠性。

對于節點服務器,采用ErasureCode冗余方式實現容錯,數據冗余分布存儲在不同的數據節點上。任一數據節點的損壞,不會導致任何數據丟失,不會影響任何的數據訪問和寫入過程。之后,通過靈活數據恢復機制,進行數據重建過程。

高可用技術

系統中的所有服務節點均是通過網絡連接在一起,由于采用了高可靠的容錯機制,系統增減節點不必停止服務,可在線增減存儲節點。

元數據服務器采用主備雙機熱備技術,主機故障,備機自動接替其工作,對外服務不停止;存儲節點采用Erasurecode冗余備份機制,如采用4+1節點間冗余容錯,任意損失一個節點,數據不丟失,服務不停止,客戶端無感知。

RAID3.0技術

RAID3.0技術為海量數據存儲而設計,完美的實現了海量數據存儲下的高可

靠、可共享、節點間冗余能力,以及足夠高的性價比等諸多需求。

RAID3.0技術將用戶輸入的一個文件或對象,切分成N塊數據,通過Erasure Coding技術計算得到冗余的M塊數據,將N+M塊數據分散分布到N+M個網絡數據節點上,從而提供容忍M個分布在不同數據節點磁盤或節點級別故障能力。

通過ErasureCoding技術,實現了多種不同冗余能力的N+M組合方式,提供靈活的數據可靠性。重要的,冗余可以根據不同的文件/對象進行不同的配置,使用方可以視業務對數據可靠性的不同要求而進行靈活配置。

文件/對象級別的細粒度,感知數據的容錯設計,讓數據重構只限于用戶數據,避免了RAID/RAID2.0技術或多或少的無效數據恢復開銷。N+M塊數據通過算法,負載均衡的分布到集群中的N+M個數據節點上,實現了跨越網絡節點的故障容忍能力。也讓集群中眾多節點、眾多磁盤協同參與數據恢復成為可能,從而實現了跨節點眾多磁盤參與、只恢復用戶真正數據的高效數據自愈機制。

跨節點、多硬盤、文件/對象粒度的數據冗余構建技術,能高效利用集群多網絡節點、多硬盤的IO匯聚能力,提供急速的存儲性能。

跨節點的分布式設計,讓系統幾乎無上限的海量存儲能力成為可能,極好的滿足了數據爆炸式增長的時代平滑擴容的建設要求。

同時,RAID3.0技術對于跨節點的容錯設計,對物理節點可靠性的要求顯著下降,從而有效降低了存儲成本。物理數據節點本地存儲不再需要組建RAID,有效保障了整體系統的磁盤利用率。

系統功能

云存儲系統支持以下功能:

系統帳戶管理

云存儲對外提供登陸、認證接口,保證系統安全性。云平臺必須配置云存儲的用戶名和密碼之后才能接入到云存儲系統。用戶通過云存儲運維系統進行刪除節點,格式化節點等操作時,必須再次輸入用戶名密碼,防止系統被非法破壞。

存儲空間管理

通過存儲虛擬化技術,各種云存儲設備被虛擬化成一個統一存儲池,提供給多個系統來使用。系統單域可管理256個數據節點,支持16PB空間,多域擴展無上限。通過存儲池管理,可以為每個系統或者每個用途劃分獨立的存儲空間來使用。

存儲池用Bucket來表示,是分布式文件系統內的一個存儲文件的容器,系統中每一個文件,都必須包含在一個Bucket中,Bucket不能嵌套,即Bucket內不允許再次創建Bucket。Bucket通過全局唯一名稱標識。扁平的系統結構,使得云存儲提供海量存儲、線性擴展能力成為可能。這樣的扁平結構成為眾多分布式文件系統的選擇,用戶可以創建Bucket,刪除Bucket,按照范圍羅列Bucket內的文件。Bucket也可以理解為一個空間獨立的目錄。

存儲空間滿后,新的數據無法再寫入,用戶可以手動刪除文件,有些應用則
需要自動完成空間回收功能。

快速數據恢復

文件寫入時,數據被分片冗余存儲在不同的存儲節點上,采用節點間冗余容錯機制進行容錯,可在組內任意損壞一個存儲服務器節點的情況下實現數據完整可靠,降低硬件故障、網絡異常等給系統造成的數據丟失風險。系統采用ErasureCode算法進行冗余,提供更快的訪問速度和空間利用率。

以節點間4+1冗余策略為例,客戶端在MDS的調度下,將一定長度的文件內容,切分成四個數據塊,通過利用EC算法計算得到一份冗余數據,然后客戶端將五份數據分發到MDS指定的五臺存儲節點上,就完成了一次數據寫入動作。

這五臺存儲節點任意一臺故障或節點內存儲這份數據的磁盤故障,不會導致數據的丟失,從而實現了數據的高可靠性,見下圖。

由于數據存儲的時候被分片存儲在不同的存儲節點上,任意節點或者硬盤損壞,除了損壞的節點和硬盤,元數據管理服務器會調度其他所有的存儲節點和硬盤參與恢復,以最大的速度將該硬盤上的數據恢復出來,維持數據健康狀態。

本系統同時提供手動和自動相結合的方式,為業務系統提供靈活的數據恢復機制。系統支持手動選擇需要恢復的時間段,以快速恢復重要的文件。而對于一般性文件,則可以通過數據冗余保證數據依然可訪問。

動態負載均衡

一個存儲集群內部,眾多存儲節點組建形成的一個統一空間,從整體性能、避免單點故障、數據熱點瓶頸等方面,都需要一個良好的動態負載均衡功能。動態負載均衡指集群內部,自動根據各存儲節點的IO負載、空間容量、CPU、內存負載等因素,調度數據流向,實現IO讀寫的負載均衡。

云存儲采用兩級負載均衡調度,首先由元數據服務器選擇一個負載輕的數據節點作為當前請求的讀寫節點,同時節點內部還會根據每個硬盤的負載選擇最合適的硬盤參與數據寫入。

對于存儲數據寫入而言,動態負載均衡表現為任意時刻,數據節點的寫入負載是動態均衡的。元數據服務器根據各節點的負載情況,自動調度,將新的數據寫入調度到綜合負載相對較低的節點,實現整體負載平衡。對于存儲數據讀出,則根據數據分布情況,以及數據分布的幾臺設備負載情況,選擇從負載較輕的節點讀取數據。

在線彈性擴容

云存儲支持在線擴容,在線業務持續運行的情況下,可以動態增加或縮小云存儲系統的容量,表現業務無感知的增加或刪除存儲節點。由于云存儲系統為一個整體,結合集群管理、數據冗余與恢復等機制,實現了在線動態增加刪除節點,對業務層僅表現為存儲容量的增加和刪除。

增加新的節點時,配置好節點的網絡地址,即可加入系統工作,實現一鍵擴展,快速部署。系統能統一管理不同型號,不同存儲盤位的數據節點,同時能接入標準的第三方IPSAN設備。系統具有線性擴展的特性,容量增加時,整體的讀寫性能也同步增加。同時,系統容量和每個Bucket容量的擴展可快速生效,無任何數據遷移。對于硬盤未滿的節點插入硬盤也非常方便,不需要做任何配置。

自動失敗接管

單數據節點,其由于硬件、磁盤等原因,可用性是難以保證的。形成集群之后,故障率得到了放大,從而表現為集群整體可靠性下降,存儲服務可用性較低。但是利用集群管理技術,存儲節點錯誤檢測和調度機制,可以實現存儲節點錯誤的透明化,從而實現對客戶端而言,提高存儲服務的高可用性。

即元數據服務器實時監測各數據節點情況,一旦發現節點異常,則將節點所負責的業務調度到其他節點上。再配合客戶端反饋異常機制,以及將之后的業務流進行重新定位等,實現集群對存儲節點錯誤的屏蔽,大幅提高存儲服務的高可用性。

元數據服務器管理著分布式文件系統的所有元數據,其高可用性直接影響著系統的可用性。本系統采用高可用性HighAvailable技術,保證元數據服務器集群實時同步元數據,快速檢測異常,以及迅速接管服務,保證了系統的高可用。元數據服務器集群內部,通過單獨網絡連接,進行實時的錯誤檢測。單獨網絡保證心跳不會受到數據中心其他網絡通訊的干擾,保證鏈路的可靠性。心跳機制保證集群服務器之間錯誤的實時檢測和發現,為主備快速切換提供保證。

一組元數據服務器集群,對外表現為一個虛IPVIP),即元數據服務器集群內的失敗檢測、錯誤接管對外部而言是透明的。為提供更高可靠性,元數據服務器集群內部,通過獨立的心跳網絡,實時監控集群服務狀態,在出現主元數據服務器異常時,自動推舉從節點接管服務,完成內部失敗接管,而整個過程都是元數據集群內部完成,對外部而已是無感知的。

智能運維管理

運維管理平臺為系統管理員提供配置和維護云存儲系統的有效工具,提供Web界面,充分體現了系統的可維護性。管理監控中心提供設備管理、系統監控、告警管理、故障管理等功能。設備管理包括設備IP配置、數據格式化、添加設備、刪除設備等功能。設備的版本、CPU、內存、網卡、磁盤可以通過運維界面很方便地查看。作為整個云存儲系統的管理接口,實現集群管理、維護、監測的友好、簡單。

只有系統留有一定的備份空間,保證部分硬盤或者節點故障后,可用空間依然可以達到系統的要求,則硬盤或者節點錯誤就可以集中處理,批了更換故障設備。這樣用戶就不需要去關注每個錯誤,只需要定期檢查整體容量是否充足,大幅減低了維護工作量。

系統自帶郵件通知組件,在有新的故障發生時,比如系統容量不足,硬盤故障,數據節點故障等情況,會立即發送郵件給配置好的運維收件人列表。在系統有任意錯誤時,每天早上會發送一份日給運維人員,以免維護人員忘記處置。

云存儲運維系統已經和云平臺以及整個系統的運維平臺進行對接,可以在云平臺或者運維平臺對云存儲進行統一管理,協議采用SNMP,RESTful等接口進行對接。

可以通過運維系統對元數據服務器或者數據節點進行升級,由于元數據節點采用了集群模式,其中一個元數據服務器升級并不會中斷業務,數據節點也是,失敗接管模塊會將正在升級的數據節點負載分攤到其他節點。

系統軟件接口

云存儲系統對外提供多種客戶端接口,可以根據實際應用的需要編寫應用程序,通過調用相應的接口直接訪問云存儲系統。

基礎SDK

推薦使用SDK訪問方式,可以獲得最優的系統性能,文件讀寫時,直接在SDK做文件的切片和組合,不需要專門的服務器來支持。接口形式上,表現為類POSIX語義的接口,即提供創建bucket、刪除bucket、設置bucket屬性、獲取bucket屬性、創建文件、刪除文件、設置文件私有屬性、獲取文件私有屬性、打開文件、寫文件、讀文件、文件內定位、獲取文件屬性等接口。

目前,本系統提供windows/linux上的C/C++/Java版本接口。

流媒體SDK

基于基礎SDK封裝,以提供對視頻圖像文件更方便的訪問方式。流媒體寫入時,自動按照攝像頭ID和時間建立目錄,并對每幀數據建立幀索引,通過兩級索引,可以做到支持按照時間段精確查詢,并按照流式方式讀取數據。在單個云存儲系統內,不管規模由多大,都可以做到秒級定位。同時還支持支持I幀快放,最高64倍速,支持倒放,支持即錄即播等功能。

POSIX接口

Posix接口是各種操作系統都支持的本地文件訪問接口,通過安裝云存儲驅動,可以基于SDK模擬出一個本地硬盤,用戶可以像訪問本地硬盤一樣訪問云存儲系統,對老的應用程序提供很好的兼容性。

RESTful接口

目前互聯網公司提供的云存儲服務都采用RESTful接口,具有可讀性好,Web開發友好等特點。云存儲RESTful接口基于資源ID,支持數據加密。RESTFul接口需要采用云存儲接入網關來提供WebService服務。6.5NFS/CIFS接口NFS/CIFS是標準的NAS接口,可以提供網絡文件系統服務,Linux/Windows機器可以在不安裝任何驅動或程序的情況下,經過授權后直接訪問云存儲的文件,不需要走上層應用和平臺。這種接口需要云存儲網關來支持。


關于我們
加入我們
聯系我們
新聞動態
商業合作
公司業務
合作客戶
聯系我們
辦公時間:周一至周五 8:30-18:00
地址:上海虹橋商務區申昆路1899號C座808室
電話:400-021-2627
友情鏈接
三昶科技    ICP工信部

Copyright ? 2009 - 2014 Cld , All Rights Reserved 滬ICP備17024886號

Copyright allrights reserved

国产精品大屁股白浆一区二区,欧美床戏,4.日本一 级 黄 色 片在线观看,亚洲综合色在线观看一区二区