掃一掃
服務(wù)近2000家企業(yè)，依托一系列實(shí)踐中打磨過的技術(shù)和產(chǎn)品，根據(jù)企業(yè)的具體業(yè)務(wù)問題和需求，針對性的提供各行業(yè)大數(shù)據(jù)解決方案。
大數(shù)據(jù)常用架構(gòu)Lambda,iota分析
來源：未知 時(shí)間：2019-58-24 瀏覽次數(shù)：376次
1、流式架構(gòu)傳統(tǒng)大數(shù)據(jù)架構(gòu)
優(yōu)點(diǎn)：簡單，易懂，對于BI系統(tǒng)來說，基本思想沒有發(fā)生變化，變化的僅僅是技術(shù)選型，用大數(shù)據(jù)架構(gòu)替換掉BI的組件。
缺點(diǎn)：對于大數(shù)據(jù)來說，沒有BI下如此完備的Cube架構(gòu)，雖然目前有kylin，但是kylin的局限性非常明顯，遠(yuǎn)遠(yuǎn)沒有BI下的Cube的靈活度和穩(wěn)定度，因此對業(yè)務(wù)支撐的靈活度不夠，所以對于存在大量報(bào)表，或者復(fù)雜的鉆取的場景，需要太多的手工定制化，同時(shí)該架構(gòu)依舊以批處理為主，缺乏實(shí)時(shí)的支撐。
適用場景：數(shù)據(jù)分析需求依舊以BI場景為主，但是因?yàn)閿?shù)據(jù)量、性能等問題無法滿足日常使用。
2、流式架構(gòu)
優(yōu)點(diǎn)：沒有臃腫的ETL過程，數(shù)據(jù)的實(shí)效性非常高。
缺點(diǎn)：對于流式架構(gòu)來說，不存在批處理，因此對于數(shù)據(jù)的重播和歷史統(tǒng)計(jì)無法很好的支撐。對于離線分析僅僅支撐窗口之內(nèi)的分析。
適用場景：預(yù)警，監(jiān)控，對數(shù)據(jù)有有效期要求的情況。
3、Lambda架構(gòu)
優(yōu)點(diǎn)：既有實(shí)時(shí)又有離線，對于數(shù)據(jù)分析場景涵蓋的非常到位。
缺點(diǎn)：離線層和實(shí)時(shí)流雖然面臨的場景不相同，但是其內(nèi)部處理的邏輯卻是相同，因此有大量冗余和重復(fù)的模塊存在。
適用場景：同時(shí)存在實(shí)時(shí)和離線需求的情況。
4、Kappa架構(gòu)
優(yōu)點(diǎn)：Kappa架構(gòu)的優(yōu)點(diǎn)在于將實(shí)時(shí)和離線代碼統(tǒng)一起來，方便維護(hù)而且統(tǒng)一了數(shù)據(jù)口徑的問題
Kappa架構(gòu)解決了Lambda架構(gòu)里面的冗余部分，以數(shù)據(jù)可重播的超凡脫俗的思想進(jìn)行了設(shè)計(jì)，整個(gè)架構(gòu)非常簡潔。
缺點(diǎn)：雖然Kappa架構(gòu)看起來簡潔，但是施難度相對較高，尤其是對于數(shù)據(jù)重播部分。
適用場景：和Lambda類似，改架構(gòu)是針對Lambda的優(yōu)化。
5、IOTA架構(gòu)
優(yōu)點(diǎn)：
去ETL化：ETL和相關(guān)開發(fā)一直是大數(shù)據(jù)處理的痛點(diǎn)。TA架構(gòu)通過Common Data Model的設(shè)計(jì)，專注在某一個(gè)具體領(lǐng)域的數(shù)據(jù)計(jì)算，從而可以從SDK端開始計(jì)算，中央端只做采集、建立索引和查詢，提高整體數(shù)據(jù)分析的效率
Ad-hoc即時(shí)查詢：鑒于整體的計(jì)算流程機(jī)制，在手機(jī)端、智能IOT事件發(fā)生之時(shí)，就可以直接傳送到云端進(jìn)入real time data區(qū)，可以被前端的Query Engine來查詢。此時(shí)用戶可以使用各種各樣的查詢，直接查到前幾秒發(fā)生的事件，而不用在等待ETL或者Streaming的數(shù)據(jù)研發(fā)和處理。
邊緣計(jì)算（Edge-Computing）：將過去統(tǒng)一到中央進(jìn)行整體計(jì)算，分散到數(shù)據(jù)產(chǎn)生、存儲和查詢端，數(shù)據(jù)產(chǎn)生既符合Common Data Model。同時(shí)，也給與Realtime model feedback，讓客戶端傳送數(shù)據(jù)的同時(shí)馬上進(jìn)行反饋，而不需要所有事件都要到中央端處理之后再進(jìn)行下發(fā)。