色婷五一,精品亚洲欧美一区二区三区日产 ,精选国产AV剧情,无码丰满少妇2在线观看

18600329666

咨詢技術(shù)專家

掃一掃
與技術(shù)專家在線溝通

Menu
大量視頻,圖片，文件分布式存儲(chǔ)技術(shù)方案

來(lái)源：未知　時(shí)間：2022-55-26　瀏覽次數(shù)：362次

  1. 分布式系統(tǒng)概述
分布式文件系統(tǒng)主要是用于存儲(chǔ)文檔、圖像、視頻類的非結(jié)構(gòu)化數(shù)據(jù)，其建立在網(wǎng)絡(luò)會(huì)話層和網(wǎng)絡(luò)傳輸層之上，以建立資源池的方式實(shí)現(xiàn)全局化管理平臺(tái)所涉及的非結(jié)構(gòu)化數(shù)據(jù)資源(文件資源)，并實(shí)現(xiàn)資源調(diào)度過(guò)程的透明化。
系統(tǒng)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu)，利用多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷，利用位置服務(wù)器（NameNode）定位存儲(chǔ)信息以提高文件讀取效率，系統(tǒng)整體性能和系統(tǒng)擴(kuò)展性
  1. 技術(shù)路線
使用HDFS作為分布式文件系統(tǒng)中間件，HDFS有著高容錯(cuò)性（fault-tolerant）的特點(diǎn)，可以提供高吞吐量（high throughput）來(lái)訪問(wèn)應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（large data set）的應(yīng)用程序，HDFS放寬了（relax）POSIX的要求（requirements）這樣可以實(shí)現(xiàn)流的形式訪問(wèn)（streaming access）文件系統(tǒng)中的數(shù)據(jù)。在HDFS分布式文件系統(tǒng)的基礎(chǔ)上建立ZooKeeper分布式服務(wù)注冊(cè)中心對(duì)兩個(gè)互為主備的NameNode進(jìn)行不間斷心跳狀態(tài)檢測(cè)，如果某一臺(tái)NameNode節(jié)點(diǎn)出現(xiàn)故障則自動(dòng)切換另外一臺(tái)主機(jī)對(duì)外提供元數(shù)據(jù)檢索，存儲(chǔ)服務(wù)，即實(shí)現(xiàn)分布式存儲(chǔ)的高可用特性。部署ZKFailoverController客戶端組件實(shí)現(xiàn)對(duì)Zookeeper注冊(cè)中心的可視化管理，實(shí)現(xiàn)提前預(yù)計(jì)，定時(shí)故障分析和處理。
  1. 分布式文件系統(tǒng)架
系統(tǒng)由兩個(gè)主備NameNode節(jié)點(diǎn)和多個(gè)DataNode（數(shù)據(jù)存儲(chǔ)塊）組成，通過(guò)注冊(cè)中心實(shí)現(xiàn)NameNode高可用切換，其中NameNode實(shí)現(xiàn)數(shù)據(jù)索引和元數(shù)據(jù)的存儲(chǔ)，架構(gòu)如下圖所示
分布式文件系統(tǒng)
  1. 系統(tǒng)目標(biāo)
硬件故障災(zāi)備
整個(gè)分布式文件系統(tǒng)將由數(shù)百或數(shù)千個(gè)存儲(chǔ)著文件數(shù)據(jù)片段的服務(wù)器組成。隨著數(shù)據(jù)量的不斷增大，其分節(jié)點(diǎn)的數(shù)量將會(huì)非常龐大，每個(gè)節(jié)點(diǎn)硬件都有出故障的可能，系統(tǒng)通過(guò)部署ZooKeeper（ZK服務(wù)注冊(cè)中心） 和 ZKFailoverController（ZKFC）組件實(shí)現(xiàn)故障自動(dòng)轉(zhuǎn)移，以達(dá)到即便硬件出現(xiàn)故障數(shù)據(jù)依然完整的目的
故障災(zāi)備
實(shí)現(xiàn)海量數(shù)據(jù)存儲(chǔ)
系統(tǒng)實(shí)施基于XHBGDAT運(yùn)維管理系統(tǒng)，實(shí)現(xiàn)NameNode實(shí)時(shí)監(jiān)測(cè)動(dòng)態(tài)切換，DataNode數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)通過(guò)可視化界面進(jìn)行動(dòng)態(tài)添加和動(dòng)態(tài)剔除，并在此基礎(chǔ)上實(shí)現(xiàn)數(shù)據(jù)副本文件的動(dòng)態(tài)復(fù)制和整體遷移，以增加數(shù)據(jù)存儲(chǔ)規(guī)模和海量數(shù)據(jù)的有效管理
流式數(shù)據(jù)訪問(wèn)
hdfs分布式文件系統(tǒng)的訪問(wèn)和處理采用流式批處理方式，更大程度的提高系統(tǒng)視頻，圖片等文件數(shù)據(jù)讀取的吞吐量。