1.Hadoop是什么?

適合大數據的分布式存儲與計算平臺

HDFS: Hadoop Distributed File System分布式文件系統

MapReduce：并行計算框架

2.Hadoop生態圈

①HBase

Google Bigtable的開源實現

列式數據庫

可集群化

可以使用shell、web、api等多種方式訪問

適合高讀寫(insert)的場景

HQL查詢語言

NoSQL的典型代表產品

②Hive

數據倉庫工具。可以把Hadoop下的原始結構化數據變成Hive中的表

支持一種與SQL幾乎完全相同的語言HiveQL。除了不支持更新、索引和事務，幾乎SQL的其它特征都能支持

可以看成是從SQL到Map-Reduce的映射器

提供shell、JDBC/ODBC、Thrift、Web等接口

③Zookeeper

Google Chubby的開源實現

用于協調分布式系統上的各種服務。例如確認消息是否準確到達，防止單點失效，處理負載均衡等

應用場景：Hbase，實現Namenode自動切換

工作原理：***，跟隨者以及選舉過程

④Sqoop

用于在Hadoop和關系型數據庫之間交換數據

通過JDBC接口連入關系型數據庫

⑤Chukwa

架構在Hadoop之上的數據采集與分析框架

主要進行日志采集和分析

通過安裝在收集節點的“代理”采集最原始的日志數據

代理將數據發給收集器

收集器定時將數據寫入Hadoop集群

指定定時啟動的Map-Reduce作業隊數據進行加工處理和分析

[[177093]]

⑥Pig

Hadoop客戶端

使用類似于SQL的面向數據流的語言Pig Latin

Pig Latin可以完成排序，過濾，求和，聚組，關聯等操作，可以支持自定義函數

Pig自動把Pig Latin映射為Map-Reduce作業上傳到集群運行，減少用戶編寫Java程序的苦惱

⑦Avro

數據序列化工具，由Hadoop的創始人Doug Cutting主持開發

用于支持大批量數據交換的應用。支持二進制序列化方式，可以便捷，快速地處理大量數據

動態語言友好，Avro提供的機制使動態語言可以方便地處理 Avro數據。

Thrift接口

[[177094]]

⑧Cassandra

NoSQL，分布式的Key-Value型數據庫，由Facebook貢獻

與Hbase類似，也是借鑒Google Bigtable的思想體系

只有順序寫，沒有隨機寫的設計，滿足高負荷情形的性能需求

[[177095]]

3.Hadoop生態圈流程圖