服務(wù)近2000家企業(yè),依托一系列實踐中打磨過的技術(shù)和產(chǎn)品,根據(jù)企業(yè)的具體業(yè)務(wù)問題和需求,針對性的提供各行業(yè)大數(shù)據(jù)解決方案。
旅游景點及園藝展會游客大數(shù)據(jù)分析與應(yīng)用支撐平臺解決方案
來源:未知 時間:2018-37-30 瀏覽次數(shù):313次
一、項目總體設(shè)計
- 需求背景
- 開發(fā)目的
- 為園區(qū)管理提供數(shù)據(jù)支撐
- 提高世園會的管理與服務(wù)效率
二、系統(tǒng)技術(shù)架構(gòu)圖

三、子系統(tǒng)設(shè)計圖

四、平臺性能設(shè)計
- 7*24在線不間斷在線服務(wù)能力;
- 典型運行周期內(nèi)(180天)三級系統(tǒng)故障發(fā)生<5;
- 具備快速啟動與恢復(fù)能力,典型故障發(fā)生時恢復(fù)時間<5min;
- 具備數(shù)據(jù)備份能力,能夠100%恢復(fù);
- 具備一定的系統(tǒng)檢測能力,能夠就系統(tǒng)存儲、計算能力邊界實現(xiàn)自動檢測,并提示系統(tǒng)運維管理人員及時處理;
- 具有較好的系統(tǒng)擴展能力,能夠通過熱處理的方式,實現(xiàn)系統(tǒng)存儲、計算等資源節(jié)點的加入,在資源變化過程中不影響系統(tǒng)核心業(yè)務(wù)的開展;
分類 | 名稱 | 版本 | 備注 |
操作系統(tǒng) | Centos | 7.0 | |
操作系統(tǒng)的附加功能 | gc++運行庫 | ||
數(shù)據(jù)庫平臺 | MYSQL | 5.6 | |
HABSE | 1.3.1 | ||
Zookeeper | 3.4.11 | ||
應(yīng)用平臺 | JDK | 1.7 | |
Tomcat | 8.0 | ||
NGINX | 1.8.1 |
五、品臺技術(shù)實現(xiàn)設(shè)計
- 數(shù)據(jù)提取子系統(tǒng):在統(tǒng)一數(shù)據(jù)視圖的基礎(chǔ)上,面向不同的數(shù)據(jù)源提供數(shù)據(jù)接口。以不同的上下游關(guān)系實現(xiàn)應(yīng)用系統(tǒng)的數(shù)據(jù)接入。其主要包括數(shù)據(jù)提取任務(wù)執(zhí)行模塊、數(shù)據(jù)庫數(shù)據(jù)提取模塊、網(wǎng)絡(luò)連接數(shù)據(jù)接入模塊、集成接口調(diào)用數(shù)據(jù)提取模塊以及數(shù)據(jù)校驗?zāi)K。
- 數(shù)據(jù)處理子系統(tǒng):根據(jù)數(shù)據(jù)生產(chǎn)-消費關(guān)系,將多個來源的數(shù)據(jù)進行格式轉(zhuǎn)化、融合、預(yù)處理與后處理,從時間-空間-對象三元關(guān)系的角度出發(fā),形成統(tǒng)一組織映射關(guān)系,建立數(shù)據(jù)產(chǎn)品的時序基線,為其他應(yīng)用系統(tǒng)共享以及計算提供檢索的依據(jù)。其主要包括多源數(shù)據(jù)融合模塊、數(shù)據(jù)格式轉(zhuǎn)換模塊、數(shù)據(jù)緩存模塊、本地數(shù)據(jù)存儲管理模塊。
- 數(shù)據(jù)產(chǎn)品分發(fā)子系統(tǒng):根據(jù)智慧世園的數(shù)據(jù)生產(chǎn)-消費體系供需關(guān)系,將數(shù)據(jù)產(chǎn)品、共享數(shù)據(jù)以及相關(guān)信息記錄數(shù)據(jù)以指定的方式提交給對應(yīng)的應(yīng)用系統(tǒng),保證這些系統(tǒng)的正常運行。其主要包括:數(shù)據(jù)產(chǎn)品推送模塊、數(shù)據(jù)產(chǎn)品提取模塊、產(chǎn)品數(shù)據(jù)庫管理模塊。
- 數(shù)據(jù)共享與加工引擎子系統(tǒng):根據(jù)任務(wù)配置以及生產(chǎn)-消費體系,建立共享與加工任務(wù)。圍繞這些任務(wù)構(gòu)建統(tǒng)一調(diào)度,協(xié)調(diào)不同任務(wù)執(zhí)行過程中上下游組織關(guān)系。同時,根據(jù)智慧世園的特點,針對數(shù)據(jù)產(chǎn)品建立統(tǒng)一序列表達體系,保證不同應(yīng)用系統(tǒng)的業(yè)務(wù)開展。其主要包括挖掘任務(wù)調(diào)度模塊、數(shù)據(jù)統(tǒng)計模塊、異常檢測模塊、數(shù)據(jù)序列分組管理模塊、任務(wù)執(zhí)行調(diào)度模塊、數(shù)據(jù)產(chǎn)品封裝模塊、任務(wù)配置與管理模塊。
- 系統(tǒng)安全認證子系統(tǒng):建立統(tǒng)一的接口訪問安全認證機制,在不同業(yè)務(wù)系統(tǒng)數(shù)據(jù)共享過程中統(tǒng)一管理讀寫權(quán)限。
- 游客注冊與基本信息管理子系統(tǒng)
- 游客基本信息管理
- 游客注冊:游客通過平臺提供的客戶端接口注冊游客賬號并完善游客基本信息
- 游客數(shù)據(jù)采集:通過門票系統(tǒng),游客注冊信息,移動WIFI等平臺采集游客基礎(chǔ)數(shù)據(jù)并存儲在大數(shù)據(jù)系統(tǒng)中
- 建立游客數(shù)據(jù)模型:將多渠道采集到的游客數(shù)據(jù)ETL轉(zhuǎn)換清洗后建立游客模型(為游客畫像)
- 游客身份認證:游客進入園區(qū)鏈接平臺是對用戶身份進行認證并對于相應(yīng)的游客模型,記錄其行為數(shù)據(jù)完善游客模型
- 游客興趣分組挖掘與實時分析子系統(tǒng)
- 園區(qū)物聯(lián)網(wǎng)平臺:對園區(qū)關(guān)鍵設(shè)備(包括硬件設(shè)備,游客服務(wù),路線等)接入網(wǎng)絡(luò)平臺,對設(shè)備狀態(tài)進行實時監(jiān)控,形成園區(qū)從硬件設(shè)備,到軟件設(shè)備,游客的動態(tài)物聯(lián)網(wǎng)生態(tài)圈
- 游客推薦平臺:根據(jù)游客基礎(chǔ)數(shù)據(jù)+游客行為數(shù)據(jù)(行為數(shù)據(jù)存儲在HADOOP大數(shù)據(jù)集群)進行游客行動偏好+興趣愛好偏好等大數(shù)據(jù)分析并結(jié)合“園區(qū)動態(tài)物聯(lián)網(wǎng)生態(tài)圈”為游客推薦行動路線,游客相關(guān)服務(wù)等。
- 游客綜合定位子系統(tǒng)
- 游客實時觀察平臺:實時動態(tài)統(tǒng)計園區(qū)內(nèi)游客分布情況,并以熱力圖的方式呈現(xiàn)給管理員,結(jié)合園區(qū)大數(shù)據(jù)平臺給出適當?shù)膶?dǎo)流分流策略
- 游客行為軌跡觀測:實時監(jiān)測游客行動軌跡并記錄只數(shù)據(jù)庫中,以行動路線圖的方式呈現(xiàn)給管理員;管理員通過輸入用戶標識查詢游客行動歷史軌跡
- 數(shù)據(jù)規(guī)格設(shè)計
項目 | 規(guī)格范圍 | 備注 |
游客定位精度 | 0.1-0.3 | |
平臺圖表相應(yīng)速度 | 1-2S |
- 園區(qū)流量分析與預(yù)測子系統(tǒng)
- 流量分析系統(tǒng):通過“WIFI”定位數(shù)據(jù)實時,動態(tài)統(tǒng)計分析園區(qū)內(nèi)面向不同專題的游客分布情況,管理員通過地圖查看給地區(qū)人流量詳細情況
- 預(yù)測子系統(tǒng):系統(tǒng)將園區(qū)內(nèi)不同時段客流分布情況存儲在大數(shù)據(jù)倉庫中,通過歷史客流分布+游客行為數(shù)據(jù)+外界影響數(shù)據(jù)(節(jié)假日,氣候等)建立客流預(yù)測大數(shù)據(jù)分析模型,精準預(yù)測未來時段客流分布情況(以熱力圖的方式呈現(xiàn)),并依次制定推薦園區(qū)及時管理方案供決策的數(shù)據(jù)依據(jù)
- 輔助工具子系統(tǒng)
- 大數(shù)據(jù)運維平臺:
- HBASE集群管理,HBASE+zookeeper集群,動態(tài)添加和管理HBASE數(shù)據(jù)節(jié)點服務(wù)器 ,監(jiān)控數(shù)據(jù)節(jié)點運行情況,故障節(jié)點自動移出節(jié)點隊列并短信/郵件方式通知系統(tǒng)管理員
- 數(shù)據(jù)分析任務(wù)管理系統(tǒng):數(shù)據(jù)分析任務(wù)計劃,數(shù)據(jù)分析節(jié)點服務(wù)器管理(服務(wù)器動態(tài)添加),監(jiān)控任務(wù)運行情況形成報表
- 系統(tǒng)工具集:數(shù)據(jù)轉(zhuǎn)換與清洗工具,sentry報表,文件ACL,數(shù)據(jù)庫接口測試等管理工具
- 硬件監(jiān)控管理平臺
- 主機管理: 將支持平臺的所有主機集成到統(tǒng)一管理平臺進行管理,形成主機清單(主機IP,主機配置詳細,主機用途等)
- 主機資源調(diào)度: WEB應(yīng)用服務(wù)器創(chuàng)建統(tǒng)計調(diào)度池,動態(tài)分配CUP,內(nèi)存等數(shù)量,提高硬件運行效率
- 硬件監(jiān)控系統(tǒng):實時動態(tài)統(tǒng)計CPU,硬盤,內(nèi)存等使用情況與健康狀況形成圖形報表;記錄用戶操作日志形成用戶審計記錄;檢測到硬件故障后以郵件/短信的方式通知系統(tǒng)管理員
- 安全監(jiān)控管理平臺
- 安全監(jiān)控:定時掃描軟件運行情況(故障,是否有漏洞),硬件運行情況(是否故障),形成安全審計記錄,分級別上報系統(tǒng)管理員
- 安全修復(fù):定期掃描軟件運行情況,進行軟件自動升級和軟件漏洞自動修復(fù)
![]() |
旅游景點及園藝展會游客大數(shù)據(jù)分析與應(yīng)用支撐平臺解決方案 |