掃一掃
服務(wù)近2000家企業(yè)，依托一系列實踐中打磨過的技術(shù)和產(chǎn)品，根據(jù)企業(yè)的具體業(yè)務(wù)問題和需求，針對性的提供各行業(yè)大數(shù)據(jù)解決方案。
企業(yè)級數(shù)據(jù)業(yè)務(wù)中臺詳解及使用技術(shù)
來源：未知 時間：2021-15-14 瀏覽次數(shù)：390次
一.IT系統(tǒng)架構(gòu)模式的演變
1. 煙囪式架構(gòu)
基于單個項目建設(shè)，其特點為“煙囪式”，即垂直的體系結(jié)構(gòu)，每一個IT系統(tǒng)都有自己的存儲和IT設(shè)備，以及獨立的管理工具和數(shù)據(jù)庫，不同的系統(tǒng)不能共享資源，不能交付和訪問，形成了資源孤島和信息孤島。這就使得企業(yè)IT系統(tǒng)有諸多弊病，即：IT資源的服務(wù)率非常低；IT基礎(chǔ)設(shè)施復(fù)雜，難以適應(yīng)業(yè)務(wù)變化的需求；服務(wù)器數(shù)量和管理的總體成本太高；無通用能力沉淀；重復(fù)建設(shè)相互協(xié)作能力及交互能力復(fù)雜
2.共性化平臺
基于不同子平臺共性，通過抽象和抽取共性，公用的功能，公用的服務(wù)建立應(yīng)用層服務(wù)平臺平臺建相互獨立。其任然存在無法解決的問題，即：平臺建各自為政(平臺煙囪)；溝通成本大(組織煙囪)；數(shù)據(jù)孤島(數(shù)據(jù)煙囪)；前臺變化無序和后臺穩(wěn)定有序之間的沖突等。3.企業(yè)級中臺架構(gòu)
輸出公共，通用化后臺能力，快速支撐前臺規(guī)?；瘎?chuàng)新，前臺只負(fù)責(zé)直接和用戶交互，后臺負(fù)責(zé)服務(wù)，算法，數(shù)據(jù)，基礎(chǔ)設(shè)施等。其核心是打造企業(yè)級共享平臺，手段是后臺提供基礎(chǔ)能力封裝，目標(biāo)是前臺敏捷迭代，提升其試錯能力。主要類型有業(yè)務(wù)中臺，數(shù)據(jù)中臺，技術(shù)中臺，安全中臺，物聯(lián)網(wǎng)中臺，算法中臺。二.數(shù)據(jù)中臺的應(yīng)用閉環(huán)
三.數(shù)據(jù)中臺詳解
數(shù)據(jù)中臺的主要定位是打造企業(yè)級數(shù)據(jù)共享平臺，形成體系化的數(shù)據(jù)資產(chǎn)，建立平臺化統(tǒng)一化的數(shù)據(jù)服務(wù)體系，主要應(yīng)用與潔廁分析，營銷推薦，實時交互等數(shù)據(jù)中臺應(yīng)具備下列能力，全域數(shù)據(jù)匯聚能力，數(shù)據(jù)資產(chǎn)體系能力，數(shù)據(jù)資產(chǎn)管理能力，工具/組件平臺化，流程可視化。其架構(gòu)如下圖所示
四.數(shù)據(jù)中臺各階段技術(shù)選型
1.數(shù)據(jù)采集匯聚
日志實時采集：filebeat ，flume等數(shù)據(jù)庫實時同步：maxwell ，canal ,OGG
離線數(shù)據(jù)交換：sqoop，datax，自研產(chǎn)品
2.數(shù)據(jù)存儲
HDFS，kafka，hbase/phoenixElasticsearch ， clickhouse等
3.計算引擎
離線計算：spark，hive實時計算：spark ， Streaming ，flink