掃一掃
服務(wù)近2000家企業(yè)，依托一系列實(shí)踐中打磨過的技術(shù)和產(chǎn)品，根據(jù)企業(yè)的具體業(yè)務(wù)問題和需求，針對(duì)性的提供各行業(yè)大數(shù)據(jù)解決方案。
XHESDB大數(shù)據(jù)智能化管理平臺(tái)技術(shù)方案
來源：未知 時(shí)間：2021-53-27 瀏覽次數(shù)：157次
一.大數(shù)據(jù)云計(jì)算平臺(tái)
- 平臺(tái)體系架構(gòu)
2.云計(jì)算平臺(tái)業(yè)務(wù)示意
3.云計(jì)算平臺(tái)技術(shù)核心示意
二.大數(shù)據(jù)存儲(chǔ)系統(tǒng)
1.大數(shù)據(jù)挖掘
使用大數(shù)據(jù)挖掘技術(shù)神經(jīng)網(wǎng)絡(luò)，決策樹方法，粗集方法對(duì)各個(gè)業(yè)務(wù)平臺(tái)基礎(chǔ)業(yè)務(wù)數(shù)據(jù)進(jìn)行挖掘，使用海量數(shù)據(jù)存儲(chǔ)技術(shù)對(duì)用戶操作數(shù)據(jù)建立主題挖掘與存儲(chǔ)
2.大數(shù)據(jù)存儲(chǔ)
使用HDFS搭建高可用存儲(chǔ)架構(gòu)，存儲(chǔ)視頻，文件等塊性數(shù)據(jù)，使用HBASE數(shù)據(jù)庫集群存儲(chǔ)業(yè)務(wù)和主題操作型數(shù)據(jù)，以備只能分析系統(tǒng)做云決策分析
1.用戶操作數(shù)據(jù)存儲(chǔ)系統(tǒng)
收集社區(qū)平臺(tái)，政務(wù)平臺(tái)，新媒體平臺(tái)用戶操作數(shù)據(jù)并做數(shù)據(jù)兼容性集成存儲(chǔ)到云存儲(chǔ)系統(tǒng)
2.用戶推薦
經(jīng)過云算法將商品，文章，廣告信息推薦到用戶端，包括PC網(wǎng)站，手機(jī)APP，微信端等
3.客戶數(shù)據(jù)存儲(chǔ)與分析
收集社區(qū)平臺(tái)，政務(wù)平臺(tái)，O2O電商平臺(tái)用戶操作與交易數(shù)據(jù)并做數(shù)據(jù)兼容性集成存儲(chǔ)到云存儲(chǔ)系統(tǒng)，通過優(yōu)質(zhì)客戶分析算法映射出優(yōu)質(zhì)用戶數(shù)據(jù)
4.運(yùn)營平臺(tái)商機(jī)管理
展示通過分析得到的優(yōu)質(zhì)客戶資源，對(duì)優(yōu)質(zhì)客戶資源進(jìn)行多維度動(dòng)態(tài)查看，包括客戶分類（廣告客戶，商家客戶等，產(chǎn)品使用用戶），按客戶優(yōu)質(zhì)度等查看客戶明細(xì)，對(duì)客戶跟蹤商務(wù)情況
3.商家系統(tǒng)商機(jī)管理
展示通過分析行業(yè)客戶數(shù)據(jù)得到的對(duì)應(yīng)優(yōu)質(zhì)客戶資源，對(duì)優(yōu)質(zhì)客戶資源進(jìn)行多維度動(dòng)態(tài)查看，生成多維度動(dòng)態(tài)統(tǒng)計(jì)分析報(bào)表（HADOOP-DTL）展示分析結(jié)果，供商家決策使用
三.輔助決策BI平臺(tái)
三.輔助決策BI平臺(tái)
1.數(shù)據(jù)集成
數(shù)據(jù)是決策分析的基礎(chǔ)。很多情況下，決策需要的數(shù)據(jù)零散分布在幾個(gè)業(yè)務(wù)系統(tǒng)中，為了做出正確的經(jīng)營決策，就需要把這些零散的數(shù)據(jù)收集起來，形成一個(gè)系統(tǒng)的整體。因此從多個(gè)異構(gòu)數(shù)據(jù)源，包括內(nèi)部的業(yè)務(wù)系統(tǒng)和外部的數(shù)據(jù)源提取源數(shù)據(jù)，再經(jīng)過一定的變換后裝載到數(shù)據(jù)倉庫，實(shí)現(xiàn)數(shù)據(jù)的集成是必要的。
2.信息呈現(xiàn)
信息呈現(xiàn)把收集的數(shù)據(jù)以報(bào)表的形式呈現(xiàn)出來，讓用戶了解到企業(yè)、市場(chǎng)現(xiàn)狀。這是商務(wù)智能的初步功能。例如BusinessObjects（SAP）的水晶報(bào)表（crystalreports）允許從各種數(shù)據(jù)源收集數(shù)據(jù)，使報(bào)表分析人員可以隨心所欲、快速便捷地設(shè)計(jì)報(bào)表。在信息呈現(xiàn)的方式上，除了報(bào)表、圖等形式以外，還可以用其他直觀的方式。此外，利用在線分析處理（OLAP），也可以從多個(gè)維度觀察數(shù)據(jù)。
3.運(yùn)營分析
運(yùn)營分析包括運(yùn)營指標(biāo)分析、運(yùn)營業(yè)績(jī)分析和財(cái)務(wù)分析等。運(yùn)營指標(biāo)分析是指對(duì)企業(yè)不同的業(yè)務(wù)流程和業(yè)務(wù)環(huán)節(jié)的指標(biāo)進(jìn)行分析，運(yùn)營業(yè)績(jī)分析是指對(duì)各部門的營業(yè)額、銷售量等進(jìn)行統(tǒng)計(jì)，在此基礎(chǔ)上進(jìn)行同期比較分析、應(yīng)收分析、盈虧分析和各種商品的風(fēng)險(xiǎn)分析等。財(cái)務(wù)分析是指對(duì)利潤、費(fèi)用支出、資金占用以及其他經(jīng)濟(jì)指標(biāo)進(jìn)行分析，及時(shí)掌握企業(yè)在資金使用方面的實(shí)際情況，調(diào)整和降低企業(yè)成本。運(yùn)營分析包括多方面的內(nèi)容
4.戰(zhàn)略決策支持
戰(zhàn)略決策支持是指根據(jù)公司各戰(zhàn)略業(yè)務(wù)單元（SBU）的經(jīng)營業(yè)績(jī)和定位，選擇一種合理的投資組合戰(zhàn)略。由于商務(wù)智能系統(tǒng)集成了外部數(shù)據(jù)，例如外部環(huán)境和行業(yè)信息，各戰(zhàn)略業(yè)務(wù)單元可據(jù)此制定自身的競(jìng)爭(zhēng)戰(zhàn)略。此外，企業(yè)還可以利用業(yè)務(wù)運(yùn)營的數(shù)據(jù)，提供營銷、生產(chǎn)、財(cái)務(wù)和人力資源等決策支持
四.大數(shù)據(jù)與云計(jì)算管理平臺(tái)
四.大數(shù)據(jù)與云計(jì)算管理平臺(tái)
- 硬件管理與集成
根據(jù)實(shí)際數(shù)據(jù)存儲(chǔ)數(shù)據(jù)數(shù)量增加通過管理平臺(tái)動(dòng)態(tài)增加實(shí)體硬件（服務(wù)器，網(wǎng)絡(luò)）的接入和集成，使云平臺(tái)自動(dòng)完成新接入硬件的自動(dòng)化部署與初始化
硬件監(jiān)控，通過實(shí)時(shí)報(bào)表和動(dòng)態(tài)統(tǒng)計(jì)圖顯示各硬件與基礎(chǔ)設(shè)施運(yùn)行狀況，對(duì)于運(yùn)行故障分等級(jí)自動(dòng)通知管理員（郵件，短信）
硬件監(jiān)控，通過實(shí)時(shí)報(bào)表和動(dòng)態(tài)統(tǒng)計(jì)圖顯示各硬件與基礎(chǔ)設(shè)施運(yùn)行狀況，對(duì)于運(yùn)行故障分等級(jí)自動(dòng)通知管理員（郵件，短信）
- 分布式存儲(chǔ)管理Hadoop Distributed File System
HDFS權(quán)限管理，通過管理平臺(tái)設(shè)置HDFS name-node與存儲(chǔ)塊兒區(qū)的用戶訪問權(quán)限
通過管理平臺(tái)設(shè)置HDFS存儲(chǔ)空間，格式化存儲(chǔ)空間
通過管理平臺(tái)設(shè)置HDFS存儲(chǔ)空間，格式化存儲(chǔ)空間
- 分布式計(jì)算管理
分布式計(jì)算服務(wù)器分配 ，通過管理平臺(tái)分配云計(jì)算服務(wù)器資源
云計(jì)算計(jì)劃任務(wù)，通過管理平臺(tái)界面設(shè)置云計(jì)算分析任務(wù)，任務(wù)設(shè)定后根據(jù)是設(shè)定時(shí)間按計(jì)劃執(zhí)行云計(jì)算與分析等任務(wù)
云計(jì)算算法設(shè)計(jì)器，開發(fā)專屬云計(jì)算算法設(shè)計(jì)器，通過業(yè)務(wù)邏輯描述和信息分析描述生成云計(jì)算算法，自動(dòng)運(yùn)行產(chǎn)生數(shù)據(jù)映射mapping
云計(jì)算計(jì)劃任務(wù)，通過管理平臺(tái)界面設(shè)置云計(jì)算分析任務(wù)，任務(wù)設(shè)定后根據(jù)是設(shè)定時(shí)間按計(jì)劃執(zhí)行云計(jì)算與分析等任務(wù)
云計(jì)算算法設(shè)計(jì)器，開發(fā)專屬云計(jì)算算法設(shè)計(jì)器，通過業(yè)務(wù)邏輯描述和信息分析描述生成云計(jì)算算法，自動(dòng)運(yùn)行產(chǎn)生數(shù)據(jù)映射mapping
- Hive用戶接口
已經(jīng)WEB2.0標(biāo)準(zhǔn)，對(duì)外提供標(biāo)準(zhǔn)大數(shù)據(jù)開發(fā)接口對(duì)業(yè)務(wù)內(nèi)部童工SQL操作接口
五.總體架構(gòu)
2.1設(shè)計(jì)原則
整個(gè)系統(tǒng)框架設(shè)計(jì)遵循如下原則：
（1）易維護(hù)性；
本系統(tǒng)架構(gòu)采用靈活架構(gòu)，代碼復(fù)用的可維護(hù)性設(shè)計(jì)方法，盡量減少各模塊相互之間的依賴項(xiàng)，采用成熟的工業(yè)應(yīng)用級(jí)的產(chǎn)品和框架，采用代碼審查機(jī)制等手段來進(jìn)行系統(tǒng)框架易維護(hù)性的開發(fā)設(shè)計(jì)。傳統(tǒng)軟件工程用可理解性、可測(cè)試性和可修改性來衡量軟件的可維護(hù)性,CASE軟件工程則以考察可重用性來衡量可維護(hù)性?？删S護(hù)性最直接的體現(xiàn)是良好的軟件結(jié)構(gòu)和完整正確的文檔體系。維護(hù)應(yīng)在文檔級(jí)以上展開,應(yīng)從軟件結(jié)構(gòu)出發(fā),即以重構(gòu)為核心?？芍赜眯允强删S護(hù)性的基本屬性，最大限度地重用現(xiàn)存軟件是軟件維護(hù)方法學(xué)的重要思想原則。
系統(tǒng)架構(gòu)的維護(hù)包括兩方面，一是排除現(xiàn)有的錯(cuò)誤，二是將新的軟件需求反映到現(xiàn)有系統(tǒng)中去。一個(gè)易于維護(hù)的系統(tǒng)可以有效地降低技術(shù)支持的花費(fèi)。在系統(tǒng)設(shè)計(jì)的每個(gè)階段都要努力提高系統(tǒng)的可維護(hù)性，在每個(gè)階段結(jié)束前的審查和復(fù)審中，著重對(duì)可維護(hù)性進(jìn)行復(fù)審。
（2）易擴(kuò)展性；
由于大數(shù)據(jù)分布式處理（一期）項(xiàng)目的業(yè)務(wù)需求快速發(fā)展、業(yè)務(wù)不斷變化，所以系統(tǒng)必須具有高擴(kuò)展性，大數(shù)據(jù)分布式處理（一期）項(xiàng)目不是固定不變的業(yè)務(wù)平臺(tái)，而是一個(gè)逐步發(fā)展的應(yīng)用系統(tǒng)，所有系統(tǒng)結(jié)構(gòu)、設(shè)備都在標(biāo)準(zhǔn)性、開放性原則的基礎(chǔ)上做到可靈活擴(kuò)展，以適應(yīng)用戶需求的不斷增加和變化。當(dāng)用戶數(shù)目擴(kuò)展、業(yè)務(wù)范圍拓展時(shí)，系統(tǒng)能以靈活調(diào)整、擴(kuò)充的手段、方法來適應(yīng)其變化；并且考慮到與現(xiàn)有業(yè)務(wù)系統(tǒng)的對(duì)接，本系統(tǒng)均采用分布式、模塊化設(shè)計(jì)的產(chǎn)品，從而能隨時(shí)增加模塊業(yè)務(wù)擴(kuò)充功能和能力。按照技術(shù)發(fā)展的趨勢(shì)，以較低的成本實(shí)現(xiàn)技術(shù)的更新?lián)Q代，從而提高系統(tǒng)投資的綜合性價(jià)比和長(zhǎng)期穩(wěn)定使用，保護(hù)已有的設(shè)備、技術(shù)投資。
（3）安全可靠性；
現(xiàn)在的計(jì)算機(jī)病毒幾乎都來自于網(wǎng)絡(luò)，系統(tǒng)盡量采用五層安全體系，即網(wǎng)絡(luò)層安全、系統(tǒng)層安全、數(shù)據(jù)層安全、應(yīng)用層安全、管理層安全。系統(tǒng)具備高可靠性，對(duì)使用信息進(jìn)行嚴(yán)格的權(quán)限管理，技術(shù)上，應(yīng)采用嚴(yán)格的安全與保密措施，保證系統(tǒng)的可靠性、保密性和數(shù)據(jù)一致性等。
（4）面向服務(wù)的體系結(jié)構(gòu)等要求，以便于各個(gè)業(yè)務(wù)系統(tǒng)間的整合。
（5）基于插件模式設(shè)計(jì)
整個(gè)系統(tǒng)架構(gòu)平臺(tái)采用插件模式來構(gòu)建和擴(kuò)展業(yè)務(wù)系統(tǒng)， 將各類分散的機(jī)關(guān)單位已有應(yīng)用系統(tǒng)整合起來，形成一個(gè)緊密聯(lián)系的整體。
（1）易維護(hù)性；
本系統(tǒng)架構(gòu)采用靈活架構(gòu)，代碼復(fù)用的可維護(hù)性設(shè)計(jì)方法，盡量減少各模塊相互之間的依賴項(xiàng)，采用成熟的工業(yè)應(yīng)用級(jí)的產(chǎn)品和框架，采用代碼審查機(jī)制等手段來進(jìn)行系統(tǒng)框架易維護(hù)性的開發(fā)設(shè)計(jì)。傳統(tǒng)軟件工程用可理解性、可測(cè)試性和可修改性來衡量軟件的可維護(hù)性,CASE軟件工程則以考察可重用性來衡量可維護(hù)性?？删S護(hù)性最直接的體現(xiàn)是良好的軟件結(jié)構(gòu)和完整正確的文檔體系。維護(hù)應(yīng)在文檔級(jí)以上展開,應(yīng)從軟件結(jié)構(gòu)出發(fā),即以重構(gòu)為核心?？芍赜眯允强删S護(hù)性的基本屬性，最大限度地重用現(xiàn)存軟件是軟件維護(hù)方法學(xué)的重要思想原則。
系統(tǒng)架構(gòu)的維護(hù)包括兩方面，一是排除現(xiàn)有的錯(cuò)誤，二是將新的軟件需求反映到現(xiàn)有系統(tǒng)中去。一個(gè)易于維護(hù)的系統(tǒng)可以有效地降低技術(shù)支持的花費(fèi)。在系統(tǒng)設(shè)計(jì)的每個(gè)階段都要努力提高系統(tǒng)的可維護(hù)性，在每個(gè)階段結(jié)束前的審查和復(fù)審中，著重對(duì)可維護(hù)性進(jìn)行復(fù)審。
（2）易擴(kuò)展性；
由于大數(shù)據(jù)分布式處理（一期）項(xiàng)目的業(yè)務(wù)需求快速發(fā)展、業(yè)務(wù)不斷變化，所以系統(tǒng)必須具有高擴(kuò)展性，大數(shù)據(jù)分布式處理（一期）項(xiàng)目不是固定不變的業(yè)務(wù)平臺(tái)，而是一個(gè)逐步發(fā)展的應(yīng)用系統(tǒng)，所有系統(tǒng)結(jié)構(gòu)、設(shè)備都在標(biāo)準(zhǔn)性、開放性原則的基礎(chǔ)上做到可靈活擴(kuò)展，以適應(yīng)用戶需求的不斷增加和變化。當(dāng)用戶數(shù)目擴(kuò)展、業(yè)務(wù)范圍拓展時(shí)，系統(tǒng)能以靈活調(diào)整、擴(kuò)充的手段、方法來適應(yīng)其變化；并且考慮到與現(xiàn)有業(yè)務(wù)系統(tǒng)的對(duì)接，本系統(tǒng)均采用分布式、模塊化設(shè)計(jì)的產(chǎn)品，從而能隨時(shí)增加模塊業(yè)務(wù)擴(kuò)充功能和能力。按照技術(shù)發(fā)展的趨勢(shì)，以較低的成本實(shí)現(xiàn)技術(shù)的更新?lián)Q代，從而提高系統(tǒng)投資的綜合性價(jià)比和長(zhǎng)期穩(wěn)定使用，保護(hù)已有的設(shè)備、技術(shù)投資。
（3）安全可靠性；
現(xiàn)在的計(jì)算機(jī)病毒幾乎都來自于網(wǎng)絡(luò)，系統(tǒng)盡量采用五層安全體系，即網(wǎng)絡(luò)層安全、系統(tǒng)層安全、數(shù)據(jù)層安全、應(yīng)用層安全、管理層安全。系統(tǒng)具備高可靠性，對(duì)使用信息進(jìn)行嚴(yán)格的權(quán)限管理，技術(shù)上，應(yīng)采用嚴(yán)格的安全與保密措施，保證系統(tǒng)的可靠性、保密性和數(shù)據(jù)一致性等。
（4）面向服務(wù)的體系結(jié)構(gòu)等要求，以便于各個(gè)業(yè)務(wù)系統(tǒng)間的整合。
（5）基于插件模式設(shè)計(jì)
整個(gè)系統(tǒng)架構(gòu)平臺(tái)采用插件模式來構(gòu)建和擴(kuò)展業(yè)務(wù)系統(tǒng)， 將各類分散的機(jī)關(guān)單位已有應(yīng)用系統(tǒng)整合起來，形成一個(gè)緊密聯(lián)系的整體。
2.3平臺(tái)邏輯功能架構(gòu)
平臺(tái)核心系統(tǒng)包括：離線計(jì)算，工作流調(diào)度和分析結(jié)果。另外還有支持系統(tǒng)，包括調(diào)度系統(tǒng)和管理系統(tǒng)，負(fù)責(zé)各項(xiàng)數(shù)據(jù)處理任務(wù)的調(diào)度，監(jiān)測(cè)分析平臺(tái)設(shè)備和數(shù)據(jù)分析任務(wù)的運(yùn)行狀況，
離線計(jì)算，主要是批量分析日志數(shù)據(jù)，生成需要的數(shù)據(jù)。對(duì)于一個(gè)數(shù)據(jù)處理任務(wù)，需定制開發(fā)Map Reduce的工作任務(wù)來進(jìn)行。
工作流調(diào)度，在分析平臺(tái)中，有大量的任務(wù)是定時(shí)驅(qū)動(dòng)，如從業(yè)務(wù)平臺(tái)拉取日志信息，同步業(yè)務(wù)數(shù)據(jù)庫中數(shù)據(jù)，每個(gè)報(bào)表對(duì)應(yīng)的數(shù)據(jù)分析任務(wù)等等，調(diào)度代理的主要作用就是根據(jù)數(shù)據(jù)分析的業(yè)務(wù)邏輯，驅(qū)動(dòng)對(duì)應(yīng)的任務(wù)按預(yù)期執(zhí)行，并監(jiān)控執(zhí)行狀態(tài)和結(jié)果。
調(diào)度系統(tǒng)，為數(shù)據(jù)分析實(shí)際生產(chǎn)平臺(tái)的任務(wù)的管理入口，通過驅(qū)動(dòng)代理來控制分析平臺(tái)任務(wù)的啟動(dòng)、執(zhí)行和停止，并監(jiān)控任務(wù)的執(zhí)行狀態(tài)。同時(shí)，也控制著新增任務(wù)的導(dǎo)入和失效任務(wù)的刪除。
管理系統(tǒng)，負(fù)責(zé)分析平臺(tái)集群的部署，和各服務(wù)進(jìn)程和硬件設(shè)備的狀態(tài)，保證集群的硬件設(shè)備正常工作，服務(wù)進(jìn)程正常執(zhí)行調(diào)度系統(tǒng)的指派的任務(wù)。
離線計(jì)算，主要是批量分析日志數(shù)據(jù)，生成需要的數(shù)據(jù)。對(duì)于一個(gè)數(shù)據(jù)處理任務(wù)，需定制開發(fā)Map Reduce的工作任務(wù)來進(jìn)行。
工作流調(diào)度，在分析平臺(tái)中，有大量的任務(wù)是定時(shí)驅(qū)動(dòng)，如從業(yè)務(wù)平臺(tái)拉取日志信息，同步業(yè)務(wù)數(shù)據(jù)庫中數(shù)據(jù)，每個(gè)報(bào)表對(duì)應(yīng)的數(shù)據(jù)分析任務(wù)等等，調(diào)度代理的主要作用就是根據(jù)數(shù)據(jù)分析的業(yè)務(wù)邏輯，驅(qū)動(dòng)對(duì)應(yīng)的任務(wù)按預(yù)期執(zhí)行，并監(jiān)控執(zhí)行狀態(tài)和結(jié)果。
調(diào)度系統(tǒng)，為數(shù)據(jù)分析實(shí)際生產(chǎn)平臺(tái)的任務(wù)的管理入口，通過驅(qū)動(dòng)代理來控制分析平臺(tái)任務(wù)的啟動(dòng)、執(zhí)行和停止，并監(jiān)控任務(wù)的執(zhí)行狀態(tài)。同時(shí)，也控制著新增任務(wù)的導(dǎo)入和失效任務(wù)的刪除。
管理系統(tǒng)，負(fù)責(zé)分析平臺(tái)集群的部署，和各服務(wù)進(jìn)程和硬件設(shè)備的狀態(tài)，保證集群的硬件設(shè)備正常工作，服務(wù)進(jìn)程正常執(zhí)行調(diào)度系統(tǒng)的指派的任務(wù)。
2.3總體技術(shù)架構(gòu)
本次系統(tǒng)總體技術(shù)支撐平臺(tái)將采用行業(yè)領(lǐng)先的技術(shù)架構(gòu)和中間件技術(shù)，充分考慮到未來的擴(kuò)展性、使用的靈活性、數(shù)據(jù)網(wǎng)絡(luò)的安全性，以下為本次采用的技術(shù)架構(gòu)及關(guān)鍵技術(shù)點(diǎn)。
大數(shù)據(jù)分布式處理平臺(tái)包含了三個(gè)層次:計(jì)算與存儲(chǔ)層、應(yīng)用挖掘?qū)?，以及訪問接口層。
注：實(shí)線框內(nèi)的分布式計(jì)算平臺(tái)是本次項(xiàng)目實(shí)施范圍內(nèi)需要建設(shè)的內(nèi)容，虛線框內(nèi)的實(shí)時(shí)流處理是未來可以擴(kuò)展的。不在本期項(xiàng)目建設(shè)范圍之內(nèi)。
計(jì)算與存儲(chǔ)層
計(jì)算與存儲(chǔ)層主要是基于Hadoop平臺(tái)體系構(gòu)建而成，具有高模塊化和松耦合的五層架構(gòu)，針對(duì)不同的應(yīng)用領(lǐng)域通過組件之間的靈活組合與高效協(xié)作來提供定制化的支撐。
存儲(chǔ)層
數(shù)據(jù)存儲(chǔ)層： 基于HDFS2.2的大數(shù)據(jù)存儲(chǔ)和在線服務(wù)系，支持Erasure Code，在副本數(shù)降低至1.4倍的情況下，可同時(shí)容忍四個(gè)數(shù)據(jù)塊丟失，支持可靠存儲(chǔ)TB到數(shù)十PB的數(shù)據(jù)。
資源管理層：缺省采用下一代資源管理框架YARN進(jìn)行資源的分配和調(diào)度，支持同時(shí)運(yùn)行多個(gè)計(jì)算框架；
計(jì)算引擎層：采用Map/Reduce2完成大部分離線批處理計(jì)算任務(wù)。
數(shù)據(jù)分析與挖掘?qū)樱褐С蛛x線批量SQL統(tǒng)計(jì)，支持R語言以及機(jī)器學(xué)習(xí)算法庫Mahout.
數(shù)據(jù)集成層：Sqoop支持從DB到Hadoop的數(shù)據(jù)遷移，F(xiàn)lume支持從日志系統(tǒng)采集數(shù)據(jù)。
計(jì)算層
計(jì)算層主要包含兩大組件，內(nèi)存計(jì)算分析引擎Inceptor和實(shí)時(shí)在線數(shù)據(jù)處理引擎Hyperbase。
1）Inceptor內(nèi)存分析引擎提供大數(shù)據(jù)的交互式SQL統(tǒng)計(jì)和R語言挖掘能力。
高性能：Inceptor支持將二維數(shù)據(jù)表緩存入獨(dú)立的分布式內(nèi)存（或SSD）中，建立列式存儲(chǔ)、分區(qū)/分塊和索引，采用改進(jìn)后的Apache Spark作為執(zhí)行引擎，SQL執(zhí)行性能比Apache Hadoop/Hive快10~100倍左右，性能超過主流MPP數(shù)據(jù)庫2倍到10倍。Inceptor處理的數(shù)據(jù)不局限在內(nèi)存中，即使數(shù)據(jù)在低速磁盤上，SQL執(zhí)行性能也比Apache Hadoop/Hive快5到20倍。
更強(qiáng)的SQL支持：Inceptor同時(shí)兼容Oracle PL/SQL和HiveQL語法，自動(dòng)識(shí)別不同語法，支持存儲(chǔ)過程和函數(shù)，支持常用Oracle擴(kuò)展函數(shù)。完整的SQL支持幫助了用戶平滑地從原有關(guān)系數(shù)據(jù)庫遷移到大數(shù)據(jù)平臺(tái)。
更強(qiáng)的統(tǒng)計(jì)分析能力：用戶可以通過RStudio或者R命令行訪問存儲(chǔ)在分布式內(nèi)存中的數(shù)據(jù)，R語言中數(shù)千個(gè)統(tǒng)計(jì)算法可以和Inceptor提供的分布式并行數(shù)據(jù)挖掘算法交替混合使用，為各行業(yè)進(jìn)行大數(shù)據(jù)挖掘提供了易用而強(qiáng)大的分析工具；
支持廣泛的BI和報(bào)表工具：Inceptor可以和常用的BI工具對(duì)接，包括Tableau, SAP Business Objects, Oracle OBIEE等，用戶無需編程就可以方便地為大數(shù)據(jù)創(chuàng)建美麗的報(bào)表，通過Inceptor提供的高速大數(shù)據(jù)統(tǒng)計(jì)分析能力提高決策效率；高擴(kuò)展能力：Inceptor可以隨著集群規(guī)模的擴(kuò)展，線性擴(kuò)展處理能力，可以支持從GB到數(shù)百TB的數(shù)據(jù)處理。
2）Hyperbase實(shí)時(shí)在線數(shù)據(jù)處理引擎以Apache HBase為基礎(chǔ)，是企業(yè)建立高并發(fā)的在線業(yè)務(wù)系統(tǒng)的最佳選擇。
多種數(shù)據(jù)類型支持：Hyperbase支持從GB到數(shù)十PB數(shù)據(jù)的處理，支持廣泛的數(shù)據(jù)類型，包括對(duì)結(jié)構(gòu)化記錄、半結(jié)構(gòu)化文本、圖數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)（圖片、音頻、二進(jìn)制文檔等）的存儲(chǔ)、搜索、統(tǒng)計(jì)和分析。
高速數(shù)據(jù)處理能力：Hyperbase支持高速的數(shù)據(jù)檢索、搜索和統(tǒng)計(jì)；根據(jù)索引進(jìn)行檢索的延時(shí)在數(shù)毫秒到數(shù)百毫秒量級(jí)；支持上億的并發(fā)用戶同時(shí)進(jìn)行數(shù)據(jù)插入、修改、查詢和檢索；支持對(duì)文本建立增量全文索引并且支持秒級(jí)的全文關(guān)鍵字搜索。
高效OLAP和批量統(tǒng)計(jì)：Hyperbase為Inceptor引擎提供高效數(shù)據(jù)掃描接口，通過Inceptor的擴(kuò)展SQL語法，充分利用Hyperbase的內(nèi)部數(shù)據(jù)結(jié)構(gòu)以及全局/輔助索引進(jìn)行SQL執(zhí)行加速，可以滿足高速的OLAP數(shù)據(jù)分析應(yīng)用需求；同時(shí)也支持高速的SQL離線批處理，性能接近于存儲(chǔ)在HDFS上的相同數(shù)據(jù)的統(tǒng)計(jì)。
高效圖計(jì)算：Hyperbase提供構(gòu)造圖形的API，幫助用戶構(gòu)造由上億頂點(diǎn)組成的復(fù)雜大圖，同時(shí)提供專有的高效圖算法，包括關(guān)聯(lián)網(wǎng)絡(luò)的高速分析。
應(yīng)用挖掘?qū)?br /> 主要是指基于分布式處理支撐平臺(tái)上的應(yīng)用挖掘業(yè)務(wù)展現(xiàn)。
訪問接口層
主要是指分布式處理平臺(tái)所提供的各種接口服務(wù)，以便第三方業(yè)務(wù)應(yīng)用調(diào)用和集成，為公安的上層業(yè)務(wù)應(yīng)用提供分布式計(jì)算和存儲(chǔ)的支撐
全部文檔下載地址：
大數(shù)據(jù)分布式處理平臺(tái)包含了三個(gè)層次:計(jì)算與存儲(chǔ)層、應(yīng)用挖掘?qū)?，以及訪問接口層。
注：實(shí)線框內(nèi)的分布式計(jì)算平臺(tái)是本次項(xiàng)目實(shí)施范圍內(nèi)需要建設(shè)的內(nèi)容，虛線框內(nèi)的實(shí)時(shí)流處理是未來可以擴(kuò)展的。不在本期項(xiàng)目建設(shè)范圍之內(nèi)。
計(jì)算與存儲(chǔ)層
計(jì)算與存儲(chǔ)層主要是基于Hadoop平臺(tái)體系構(gòu)建而成，具有高模塊化和松耦合的五層架構(gòu)，針對(duì)不同的應(yīng)用領(lǐng)域通過組件之間的靈活組合與高效協(xié)作來提供定制化的支撐。
存儲(chǔ)層
數(shù)據(jù)存儲(chǔ)層： 基于HDFS2.2的大數(shù)據(jù)存儲(chǔ)和在線服務(wù)系，支持Erasure Code，在副本數(shù)降低至1.4倍的情況下，可同時(shí)容忍四個(gè)數(shù)據(jù)塊丟失，支持可靠存儲(chǔ)TB到數(shù)十PB的數(shù)據(jù)。
資源管理層：缺省采用下一代資源管理框架YARN進(jìn)行資源的分配和調(diào)度，支持同時(shí)運(yùn)行多個(gè)計(jì)算框架；
計(jì)算引擎層：采用Map/Reduce2完成大部分離線批處理計(jì)算任務(wù)。
數(shù)據(jù)分析與挖掘?qū)樱褐С蛛x線批量SQL統(tǒng)計(jì)，支持R語言以及機(jī)器學(xué)習(xí)算法庫Mahout.
數(shù)據(jù)集成層：Sqoop支持從DB到Hadoop的數(shù)據(jù)遷移，F(xiàn)lume支持從日志系統(tǒng)采集數(shù)據(jù)。
計(jì)算層
計(jì)算層主要包含兩大組件，內(nèi)存計(jì)算分析引擎Inceptor和實(shí)時(shí)在線數(shù)據(jù)處理引擎Hyperbase。
1）Inceptor內(nèi)存分析引擎提供大數(shù)據(jù)的交互式SQL統(tǒng)計(jì)和R語言挖掘能力。
高性能：Inceptor支持將二維數(shù)據(jù)表緩存入獨(dú)立的分布式內(nèi)存（或SSD）中，建立列式存儲(chǔ)、分區(qū)/分塊和索引，采用改進(jìn)后的Apache Spark作為執(zhí)行引擎，SQL執(zhí)行性能比Apache Hadoop/Hive快10~100倍左右，性能超過主流MPP數(shù)據(jù)庫2倍到10倍。Inceptor處理的數(shù)據(jù)不局限在內(nèi)存中，即使數(shù)據(jù)在低速磁盤上，SQL執(zhí)行性能也比Apache Hadoop/Hive快5到20倍。
更強(qiáng)的SQL支持：Inceptor同時(shí)兼容Oracle PL/SQL和HiveQL語法，自動(dòng)識(shí)別不同語法，支持存儲(chǔ)過程和函數(shù)，支持常用Oracle擴(kuò)展函數(shù)。完整的SQL支持幫助了用戶平滑地從原有關(guān)系數(shù)據(jù)庫遷移到大數(shù)據(jù)平臺(tái)。
更強(qiáng)的統(tǒng)計(jì)分析能力：用戶可以通過RStudio或者R命令行訪問存儲(chǔ)在分布式內(nèi)存中的數(shù)據(jù)，R語言中數(shù)千個(gè)統(tǒng)計(jì)算法可以和Inceptor提供的分布式并行數(shù)據(jù)挖掘算法交替混合使用，為各行業(yè)進(jìn)行大數(shù)據(jù)挖掘提供了易用而強(qiáng)大的分析工具；
支持廣泛的BI和報(bào)表工具：Inceptor可以和常用的BI工具對(duì)接，包括Tableau, SAP Business Objects, Oracle OBIEE等，用戶無需編程就可以方便地為大數(shù)據(jù)創(chuàng)建美麗的報(bào)表，通過Inceptor提供的高速大數(shù)據(jù)統(tǒng)計(jì)分析能力提高決策效率；高擴(kuò)展能力：Inceptor可以隨著集群規(guī)模的擴(kuò)展，線性擴(kuò)展處理能力，可以支持從GB到數(shù)百TB的數(shù)據(jù)處理。
2）Hyperbase實(shí)時(shí)在線數(shù)據(jù)處理引擎以Apache HBase為基礎(chǔ)，是企業(yè)建立高并發(fā)的在線業(yè)務(wù)系統(tǒng)的最佳選擇。
多種數(shù)據(jù)類型支持：Hyperbase支持從GB到數(shù)十PB數(shù)據(jù)的處理，支持廣泛的數(shù)據(jù)類型，包括對(duì)結(jié)構(gòu)化記錄、半結(jié)構(gòu)化文本、圖數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)（圖片、音頻、二進(jìn)制文檔等）的存儲(chǔ)、搜索、統(tǒng)計(jì)和分析。
高速數(shù)據(jù)處理能力：Hyperbase支持高速的數(shù)據(jù)檢索、搜索和統(tǒng)計(jì)；根據(jù)索引進(jìn)行檢索的延時(shí)在數(shù)毫秒到數(shù)百毫秒量級(jí)；支持上億的并發(fā)用戶同時(shí)進(jìn)行數(shù)據(jù)插入、修改、查詢和檢索；支持對(duì)文本建立增量全文索引并且支持秒級(jí)的全文關(guān)鍵字搜索。
高效OLAP和批量統(tǒng)計(jì)：Hyperbase為Inceptor引擎提供高效數(shù)據(jù)掃描接口，通過Inceptor的擴(kuò)展SQL語法，充分利用Hyperbase的內(nèi)部數(shù)據(jù)結(jié)構(gòu)以及全局/輔助索引進(jìn)行SQL執(zhí)行加速，可以滿足高速的OLAP數(shù)據(jù)分析應(yīng)用需求；同時(shí)也支持高速的SQL離線批處理，性能接近于存儲(chǔ)在HDFS上的相同數(shù)據(jù)的統(tǒng)計(jì)。
高效圖計(jì)算：Hyperbase提供構(gòu)造圖形的API，幫助用戶構(gòu)造由上億頂點(diǎn)組成的復(fù)雜大圖，同時(shí)提供專有的高效圖算法，包括關(guān)聯(lián)網(wǎng)絡(luò)的高速分析。
應(yīng)用挖掘?qū)?br /> 主要是指基于分布式處理支撐平臺(tái)上的應(yīng)用挖掘業(yè)務(wù)展現(xiàn)。
訪問接口層
主要是指分布式處理平臺(tái)所提供的各種接口服務(wù)，以便第三方業(yè)務(wù)應(yīng)用調(diào)用和集成，為公安的上層業(yè)務(wù)應(yīng)用提供分布式計(jì)算和存儲(chǔ)的支撐
全部文檔下載地址：
 |
XHESDB大數(shù)據(jù)智能化管理平臺(tái)技術(shù)方案 |