干巴巴的定義

MapReduce是一種編程模型，用于大規模數據集(大于1TB)的并行運算。概念"Map(映射)"和"Reduce(歸約)"，是它們的主要思想，都是從函數式編程語言里借來的，還有從矢量編程語言里借來的特性。它極大地方便了編程人員在不會分布式并行編程的情況下，將自己的程序運行在分布式系統上。

當前的軟件實現是指定一個Map(映射)函數，用來把一組鍵值對映射成一組新的鍵值對，指定并發的Reduce(歸約)函數，用來保證所有映射的鍵值對中的每一個共享相同的鍵組。

形象的解釋1：統計圖書

我們要數圖書館中的所有書。你數1號書架，我數2號書架，這就是“Map”。我們人越多，數的就更快。

現在我們到一起，把所有人的統計數加在一起，這就是“Reduce”。

形象的解釋2：統計圖形

我們來看一個關于圖形統計的MapReduce流程，兩個人負責把左側的一堆圖形，按照形狀和顏色歸類統計各自的數量。

實戰：計算平均成績的Java Hadoop MapReduce程序

說了那么多，你老婆可能已經理解了MR，但是你可能還無法和程序代碼聯系起來，下面的這個小例子可以幫助到你，類似的樣例網上很多，去搜索吧，這里簡單分析一下關鍵代碼，通過標注的name和Text key，你需要理解什么是MapReduce中的key以及key的作用。

數據環境：位于Hadoop中的chinese.txt、english.txt、math.txt文件分別記錄了所有學生的語文、英語、數學成績，文件內容格式為，姓名 分數，中間以空格分隔。

public class Score { 
    public static class ScoreMap extends 
            Mapper<LongWritable, Text, Text, IntWritable> { 
        // 實現map函數 
        public void map(LongWritable key, Text value, Context context) 
                throws IOException, InterruptedException { 
            // 將輸入的純文本文件的數據轉化成String 
            String line = value.toString(); 
            // 將輸入的數據首先按行進行分割 
            StringTokenizer tokenizerArticle = new StringTokenizer(line, "\n"); 
            // 分別對每一行進行處理 
            while (tokenizerArticle.hasMoreElements()) { 
                // 每行按空格劃分 
                StringTokenizer tokenizerLine = new StringTokenizer(tokenizerArticle.nextToken()); 
                String strName = tokenizerLine.nextToken();// 學生姓名部分 
                String strScore = tokenizerLine.nextToken();// 成績部分 
                Text name = new Text(strName); 
                int scoreInt = Integer.parseInt(strScore); 
                // 輸出姓名和成績，以name做為key對分數歸類 
                context.write(name, new IntWritable(scoreInt)); 
            } 
        } 
    } 
 
    public static class ScoreReduce extends 
            Reducer<Text, IntWritable, Text, IntWritable> { 
        // 實現reduce函數 
        public void reduce(Text key, Iterable<IntWritable> values, 
                Context context) throws IOException, InterruptedException { 
            int sum = 0; 
            int count = 0; 
            Iterator<IntWritable> iterator = values.iterator(); 
            while (iterator.hasNext()) { 
                sum += iterator.next().get();// 計算總分 
                count++;// 統計總的科目數 
            } 
            int average = (int) sum / count;// 計算平均成績 
            context.write(key, new IntWritable(average)); 
        } 
    } 
    public static void main(String[] args) throws Exception { 
        ... 
        // 設置Map和Reduce處理類 
        job.setMapperClass(ScoreMap.class); 
        job.setReducerClass(ScoreReduce.class); 
       ... 
    } 
} 

***的話

如果你要進一步了解MR，***的方法就是從頭成功運行一個hello world程序，通過一次成功的實踐，你會發現MR這東西實在太簡單了，否則說明你還沒有成功運行過***個小程序。實踐!實踐!實踐!

【本文為51CTO專欄作者“朱國立”的原創稿件，轉載請通過作者微信公眾號“開發者圓桌”獲取聯系和授權】

戳這里，看該作者更多好文