使用Combiner加快处理效率

src/main/java/com/fjy/hadoop/mapreduce/WordCountApp.java

@@ -119,6 +119,10 @@ public class WordCountApp {
         job.setOutputKeyClass(Text.class);
         job.setOutputValueClass(LongWritable.class);
 
+        //通过job设置combiner处理类，逻辑上与reduce一致，注意，如果要计算平均数等不能使用Combiner!
+        job.setCombinerClass(MyReducer.class);
+
+
         //设置作业处理输出结果的输出路径
         FileOutputFormat.setOutputPath(job, new Path(args[1]));