***堂課：大數(shù)據(jù)集群搭建葵花寶典

由淺入深，四步成“獅”

1)快速搞定偽分布Hadoop集群搭建

2)高可用的5節(jié)點(diǎn)Hadoop分布式集群搭建(Hadoop 2.6.0)

3)生產(chǎn)環(huán)境：CDH5高可用集群環(huán)境搭建

4)彩蛋：順便搞定Storm 和 Spark集群環(huán)境

課程大綱

(一)搭建Hadoop偽分布集群，讓W(xué)ordCount飛起來

1、Vmware虛擬機(jī)的介紹

2、Vmware虛擬機(jī)的安裝

3、Vmware虛擬機(jī)的配置

4、搭建Linux 虛擬機(jī)

5、Linux虛擬機(jī)的系統(tǒng)配置

6、Hadoop偽分布環(huán)境搭建，讓W(xué)ordCount飛起來

(二)手把手教你搭建5節(jié)點(diǎn)Hadoop分布式集群(HA)

1、集群規(guī)劃及安裝前準(zhǔn)備

2、JDK安裝配置

3、Zookeeper安裝

4、HDFS安裝配置(HA)

5、YARN安裝配置(HA)

(三)搭建CDH5分布式集群環(huán)境(HA)

1、主機(jī)和軟件規(guī)劃

2、目錄規(guī)劃

3、SSH免密碼登錄

4、JDK安裝

5、Zookeeper安裝

6、HDFS安裝前檢查

7、HDFS安裝簡介

8、HDFS核心配置文件配置(HA)

9、文件系統(tǒng)初始化

10、HDFS安裝系統(tǒng)驗(yàn)證

11、HDFS UI簡單介紹HDFS shell操作

12、Hadoop源碼安裝方式之下載源代碼

13、Hadoop源碼安裝方式之編譯環(huán)境準(zhǔn)備

14、Hadoop源碼安裝方式之hadoop編譯

15、Yarn HA的原理和主機(jī)規(guī)劃

16、YARN(HA)核心配置文件的配置和分發(fā)

17、YARN(HA)的啟停

18、WordCount實(shí)戰(zhàn)演練

(四)搭建Storm 分布式集群環(huán)境

1、本地模式

2、分布式模式

(五)搭建Spark 分布式集群環(huán)境(HA)

1、Spark Standalone分布式環(huán)境部署

2、Spark Job提交與運(yùn)行

3、Spark Standalone HA的實(shí)現(xiàn)

4、Spark Standalone運(yùn)行架構(gòu)解析

5、Spark Standalone下運(yùn)行實(shí)例程序

第二堂課：輕松構(gòu)建企業(yè)級MapReduce項(xiàng)目

也許這是對新手來說再詳細(xì)不過的一堂課

課程大綱

(一)Eclipse 構(gòu)建普通MapReduce項(xiàng)目

1、JDK安裝

2、Hadoop 插件安裝

3、Hadoop 環(huán)境變量配置

4、構(gòu)建普通的MapReduce項(xiàng)目并測試運(yùn)行實(shí)例程序

(二)Eclipse 構(gòu)建MapReduce Maven 項(xiàng)目

1、Maven 安裝及環(huán)境變量配置

2、構(gòu)建Maven項(xiàng)目

3、調(diào)試MapReduce程序

4、Maven管理多個(gè)MapReduce程序

5、Maven項(xiàng)目的打包、測試、部署運(yùn)行

第三堂課：MapReduce高手進(jìn)階之Join算法

對熱愛開發(fā)的技術(shù)人員來說，MR編程是小kiss，我們就不幫你了。

可Join算法經(jīng)常會(huì)用到，就連很多老手也不能掌控自如

好吧，我們就帶你徹底搞明白這個(gè)，讓自己技高一籌

課程大綱

(一)MapReduce編程之Join算法

1、MapReduce實(shí)現(xiàn)Reduce Join操作

2、MapReduce實(shí)現(xiàn)Map Join操作

3、MapReduce實(shí)現(xiàn)Semi Join操作

4、MapReduce實(shí)現(xiàn)Reduce join + BloomFilter操作

第四堂課：Zookeeper從入門到實(shí)戰(zhàn)

ZooKeeper是針對大型分布式系統(tǒng)的可靠協(xié)調(diào)系統(tǒng)。 Zookeeper的Fast Fail 和 Leader選舉特性大大增強(qiáng)了分布式集群的穩(wěn)定和健壯性，并且解決了Master/Slave模式的單點(diǎn)故障問題，所以越來越多的計(jì)算框架依賴Zookeeper系統(tǒng)，比如HBase、Storm、Spark、Flink等。

Zookeeper在分布式集群中的地位越來越重要，如果你對它不熟悉，你必須必須必須補(bǔ)上它!

課程大綱

(一)深入學(xué)習(xí)ZooKeeper 架構(gòu)原理

1、ZooKeeper 是什么?

2、ZooKeeper特點(diǎn)

3、ZooKeeper 基本原理

4、ZooKeeper 寫數(shù)據(jù)流程

5、ZooKeeper 應(yīng)用場景

(二)ZooKeeper 分布式環(huán)境部署

1、單節(jié)點(diǎn)模式

2、偽分布式模式

3、分布式模式

4、配置觀察者(ObServer)，擴(kuò)展系統(tǒng)，提高讀取速度

(三)ZooKeeper 配置管理Hadoop集群

1、ZooKeeper 客戶端設(shè)計(jì)(API介紹，Java Client開發(fā))

2、ZooKeeper配置管理的案例開發(fā)

第五堂課：Hadoop、Spark源碼編譯

這個(gè)不解釋，懂的人自然知道重要性

課程大綱

(一)Hadoop源碼編譯

1、檢查并安裝Gcc-c++

2、安裝Maven

3、安裝ProtocolBuffer

4、安裝Cmake

5、安裝Zlib

6、安裝Openssl

7、安裝Snappy

8、編譯Hadoop

9、Hadoop本地庫檢測

10、Hadoop 配置Snappy壓縮

(二)Spark源碼編譯

1、Spark 版本選擇

2、在線安裝Git(root 用戶下)

3、創(chuàng)建一個(gè)目錄克隆Spark源代碼

4、切換Spark分支

5、安裝JDK

6、安裝Maven

7、編譯spark