干貨|大數據Hadoop快速入門教程
1、Hadoop生態概況
Hadoop是一個由Apache基金會所開發的分布式系統集成架構，用戶可以在不了解分布式底層細節情況下，開發分布式程序，充分利用集群的威力來進行高速運算與存儲，具有可靠、高效、可伸縮的特點。
Hadoop的核心是YARN,HDFS,Mapreduce,常用模塊架構如下
2、HDFS
源自谷歌的GFS論文，發表于2013年10月，HDFS是GFS的克隆版，HDFS是Hadoop體系中數據存儲管理的基礎，它是一個高度容錯的系統，能檢測和應對硬件故障
HDFS簡化了文件一致性模型，通過流式數據訪問，提供高吞吐量應用程序數據訪問功能，適合帶有大型數據集的應用程序，它提供了一次寫入多次讀取的機制，數據以塊的形式，同時分布在集群不同物理機器
3、Mapreduce
源自于谷歌的MapReduce論文，用以進行大數據量的計算，它屏蔽了分布式計算框架細節，將計算抽象成map和reduce兩部分
4、HBASE(分布式列存數據庫)
源自谷歌的Bigtable論文，是一個建立在HDFS之上，面向列的針對結構化的數據可伸縮，高可靠，高性能分布式和面向列的動態模式數據庫
5、zookeeper
解決分布式環境下數據管理問題，統一命名，狀態同步，集群管理，配置同步等
6、HIVE
由Facebook開源，定義了一種類似sql查詢語言，將SQL轉化為mapreduce任務在Hadoop上面執行
7、flume
日志收集工具
8、yarn分布式資源管理器
是下一代mapreduce，主要解決原始的Hadoop擴展性較差，不支持多種計算框架而提出的，架構如下
9、spark
spark提供了一個更快更通用的數據處理平臺，和Hadoop相比，spark可以讓你的程序在內存中運行
10、kafka
分布式消息隊列，主要用于處理活躍的流式數據
11、Hadoop偽分布式部署
目前而言，不收費的Hadoop版本主要有三個，都是國外廠商，分別是
- 1、Apache原始版本
- 2、CDH版本，對于國內用戶而言，絕大多數選擇該版本
- 3、HDP版本
這里我們選擇CDH版本hadoop-2.6.0-cdh5.8.2.tar.gz，環境是CentOS7.1，jdk需要1.7.0_55以上
[root@hadoop1 ~]# useradd hadoop
我的系統默認自帶的java環境如下
增加如下環境變量
做好如下授權
這里以Hadoop用戶來進行管理和啟動Hadoop的各種服務
查看服務啟動情況
