Flume架構與源碼分析-整體架構

作者：張開濤 2016-11-25 13:14:50

最近在學習Flume源碼，所以想寫一份Flume源碼學習的筆記供需要的朋友一起學習參考。Flume是cloudera公司開源的一款分布式、可靠地進行大量日志數據采集、聚合和并轉移到存儲中;通過事務機制提供了可靠的消息傳輸支持，自帶負載均衡機制來支撐水平擴展;并且提供了一些默認組件供直接使用。

[[177123]]

最近在學習Flume源碼，所以想寫一份Flume源碼學習的筆記供需要的朋友一起學習參考。

1、Flume介紹

Flume是cloudera公司開源的一款分布式、可靠地進行大量日志數據采集、聚合和并轉移到存儲中;通過事務機制提供了可靠的消息傳輸支持，自帶負載均衡機制來支撐水平擴展;并且提供了一些默認組件供直接使用。

Flume目前常見的應用場景：日志--->Flume--->實時計算(如Kafka+Storm) 、日志--->Flume--->離線計算(如HDFS、HBase)、日志--->Flume--->ElasticSearch。

2、整體架構

Flume主要分為三個組件：Source、Channel、Sink;數據流如下圖所示：

1、Source負責日志流入，比如從文件、網絡、Kafka等數據源流入數據，數據流入的方式有兩種輪訓拉取和事件驅動;

2、Channel負責數據聚合/暫存，比如暫存到內存、本地文件、數據庫、Kafka等，日志數據不會在管道停留很長時間，很快會被Sink消費掉;

3、Sink負責數據轉移到存儲，比如從Channel拿到日志后直接存儲到HDFS、HBase、Kafka、ElasticSearch等，然后再有如Hadoop、Storm、ElasticSearch之類的進行數據分析或查詢。

一個Agent會同時存在這三個組件，Source和Sink都是異步執行的，相互之間不會影響。

假設我們有采集并索引Nginx訪問日志，我們可以按照如下方式部署：

1、Agent和Web Server是部署在同一臺機器;

2、Source使用ExecSource并使用tail命令采集日志;

3、Channel使用MemoryChannel，因為日志數據丟點也不算什么大問題;

4、Sink使用ElasticSearchSink寫入到ElasticSearch，此處可以配置多個ElasticSearch服務器IP:PORT列表以便提升處理能力。

以上介紹了日志是如何流的，對于復雜的日志采集，我們需要對Source日志進行過濾、寫到多個Channel、對Sink進行失敗處理/負載均衡等處理，這些Flume默認都提供了支持：

1、Source采集的日志會傳入ChannelProcessor組件，其首先通過Interceptor進行日志過濾，如果接觸過Servlet的話這個概念是類似的，可以參考《Servlet3.1規范翻譯——過濾器》 ;過濾器可以過濾掉日志，也可以修改日志內容;

2、過濾完成后接下來會交給ChannelSelector進行處理，默認提供了兩種選擇器：復制或多路復用選擇器;復制即把一個日志復制到多個Channel;而多路復用會根據配置的選擇器條件，把符合條件的路由到相應的Channel;在寫多個Channel時可能存在存在失敗的情況，對于失敗的處理有兩種：稍后重試或者忽略。重試一般采用指數級時間進行重試。

我們之前說過Source生產日志給Channel、Sink從Channel消費日志;它倆完全是異步的，因此Sink只需要監聽自己關系的Channel變化即可。

到此我們可以對Source日志進行過濾/修改，把一個消息復制/路由到多個Channel，對于Sink的話也應該存在寫失敗的情況，Flume默認提供了如下策略：