掃一掃-
大數(shù)據(jù)常用架構(gòu)Lambda,iota分析
2019-12-24 17
1、流式架構(gòu)傳統(tǒng)大數(shù)據(jù)架構(gòu) 優(yōu)點(diǎn)：簡單，易懂，對(duì)于BI系統(tǒng)來說，基本思想沒有發(fā)生變化，變化的僅僅是技術(shù)選型，用大數(shù)據(jù)架構(gòu)替換掉BI的組件。 缺點(diǎn)：對(duì)于大數(shù)據(jù)來說，沒有BI下如... -
圍繞hadoop開源流的大數(shù)據(jù)實(shí)現(xiàn)框架
2019-12-24 17
目前圍繞Hadoop體系的大數(shù)據(jù)架構(gòu)包括： 傳統(tǒng)大數(shù)據(jù)架構(gòu) 數(shù)據(jù)分析的業(yè)務(wù)沒有發(fā)生任何變化，但是因?yàn)閿?shù)據(jù)量、性能等問題導(dǎo)致系統(tǒng)無法正常使用，需要進(jìn)行升級(jí)改造，那么此類架構(gòu)便... -
centos python安裝或升級(jí)到python3.x
2019-09-16 16
一.說明 centos系統(tǒng)默認(rèn)安裝了python2.7版本，若使用python3.x版本須按如下步驟進(jìn)行升級(jí)，使用下列命令查看當(dāng)前系統(tǒng)默認(rèn)的python版本 python -V 二、python3.x編譯安裝 1.安裝編譯工具 yum -y gro... -
vue從基礎(chǔ)到高級(jí)使用
2019-09-16 16
一.下載安裝node.js 1. 下載地址 http://nodejs.cn，下載后直接安裝，命令行輸入node -v 驗(yàn)證是否安裝成功 2.更換國內(nèi)npm鏡像（npm為node.js的包管理工具，類似maven），國外鏡像地址太慢 npm ins... -
Centos系統(tǒng)安裝配置MongoDB4x
2019-07-10 14
MongoDB 是一個(gè)基于分布式文件存儲(chǔ)的數(shù)據(jù)庫。由 C++ 語言編寫。旨在為 WEB 應(yīng)用提供可擴(kuò)展的高性能數(shù)據(jù)存儲(chǔ)解決方案。MongoDB 是一個(gè)介于關(guān)系數(shù)據(jù)庫和非關(guān)系數(shù)據(jù)庫之間的產(chǎn)品，是非關(guān)... -
spark hive整合安裝
2019-05-18 19
1.hadoop安裝參考相關(guān)文檔 2.spark安裝 1）下載解壓（須編譯，編譯步驟詳見4） 2）配置環(huán)境變量 3）cd 到spark安裝目錄 cp conf/spark-env .sh.template conf /spark-env .sh vi conf/spark-env .sh export JAVA_HOM... -
mysql在線保持腳本
2019-05-18 19
一、mysql不定時(shí)宕機(jī)問題接口 1.寫一腳本檢測mysql狀態(tài)，若宕機(jī)則重啟 #!/bin/bash pgrep -x mysqld /dev/null if [ $? -ne 0 ] then echo At time: `date` :MySQL is stop . /var/log/mysql_messages source /etc/profile service... -
hive數(shù)據(jù)同步工具Sqoop的使用
2019-05-04 23
hive數(shù)據(jù)同步工具Sqoop的使用，sqoop是一款hive大數(shù)據(jù)倉庫數(shù)據(jù)同步工具，可以將mysql，oracle等關(guān)系型數(shù)據(jù)的數(shù)據(jù)同步至hive大數(shù)據(jù)倉庫中，也可以將hive表中的數(shù)據(jù)同步到關(guān)系型數(shù)據(jù)庫中，... -
hive的使用場景及其原理
2018-12-25 11
HIVE的使用場景及其原理，在大數(shù)據(jù)處理中HIVE占有很重要的地位，呢么hive到底適合在什么場景使用個(gè)，以及如何使用呢？ Hive是建立在Hadoop (HDFS/MR)上的用于管理和查詢結(jié)果化/非結(jié)構(gòu)化的... -
農(nóng)業(yè)大數(shù)據(jù)應(yīng)用經(jīng)典案例
2018-12-23 21
農(nóng)業(yè)大數(shù)據(jù)應(yīng)用經(jīng)典案例，大數(shù)據(jù)在各行各業(yè)都有應(yīng)用，在農(nóng)業(yè)方面大數(shù)據(jù)不僅能夠指導(dǎo)農(nóng)業(yè)生產(chǎn)過程，使得生產(chǎn)過程更規(guī)范更科學(xué)更節(jié)省勞動(dòng)力，而且能夠大大提升農(nóng)業(yè)產(chǎn)出，還能夠...