13.MapReduce框架原理

13.1InputFormat数据输入

13.1.1切片与MapTask并行度决定机制

13.1.1.1问题引出

MapTask的并行度决定Map阶段的任务处理并发度，进而影响到整个Job的处理速度  
  思考：1G的数据，启动8个MapTask，可以提高集群的并发处理能力。那么1K的数据，也启动8个MapTask，会提高集群性能吗？MapTask并行任务是否越多越好呢？哪些因素影响了MapTask并行度？

13.1.1.2MapTask并行度决定机制

  数据块：Block是HDFS物理上把数据分成一块一块。数据块是HDFS存储数据单位。
  数据切片：数据切片只是在逻辑上对输入进行分片，并不会在磁盘上将其切分成片进行存储。数据切片是MapReduce程序计算输入数据的单位，一个切片会对应启动一个MapTask。

13.1.2Job提交流程源码

13.1.2.1Job提交流程源码详解

13.1.2.1.1Job提交流程源码断点在哪断并且介绍相关源码：

在WordCountDriver中第七步提交job打上断点

然后在第一个断点处进来后在job类中waitForCompletion中this.submit（）这里打上断点

在this.submit()这里进入submit()方法打上这三处断点

这里是确保你的状态是正确的，如果状态不对，或者状态是RUNNING，会抛异常

在这个setUseNewAPI()方法里进行兼容性处理，因为新老API是不一样的，所以让hadoop1.x和2.x，3.x兼容

this.connect()有两个客户端，一个yarn客户端，一个本地客户端，可以连接yarn客户端或者本地客户端，由于我运行的这个代码是本地模式，所以这里连接的是本地的客户端

从this.connect()这里进来后红色框柱的打上断点

然后提前进入Cluster在初始化这里this.initialize(jobTrackAddr, conf);打上断点

然后到这里进入initialize方法里


这里出现了有yarn客户端

在继续下一步这里变成了本地客户端

这里有两个，一个是yarn，一个是本地客户端，因为代码是本地运行，所以用到的就是LocalClientProtocolProvider

这个方法知道有这两个客户端就够了

这里需要点两下强制进入，因为第一次是进入的job.this，然后退出来在强制进入就进入submitJobInternal方法了

进来之后在这两个地方打上断点

老师的checkSpecs

我的checkSpecs
然后强行进入this.checkSpecs(job);方法里面，在里面打上断点

然后强行进入output.checkOutputSpecs(job);方法，这个是检查路径是否正确，如果输出路径为空，或者输出路径已存在则会抛出异常

在电脑上确实有这个文件

在提交每一个任务的时候都有一个独一无二的jobId

 Path submitJobDir = new Path(jobStagingArea, jobId.toString());
1

这行代码只是把路径写好了，但是没有去创建带有jobId的路径

在这里打上断点

这块代码快速过掉，这部分是关于缓存相关的处理

这个方法拷贝或者配置一些相关信息，强行进入这个方法

在这里打上断点

看它提交哪些信息，强行进入这个方法

然后再强行进入这个方法

一直下一步，直到过了这个代码，就会把之前加上jobId的路径创建出来，

然后再一直下一步到这里，他要提交一些内容

这里有个jobJar，如果是集群模式的话，当前代码的jar包是一定要上传到集群的，通过客户端方式提交到集群，如果是本地，因为本地就是Local模式，这个jar包就在本地，则不用提交jar包。

所以这块如果是本地模式则不会提交jar包，如果是集群模式，则会提交jar包

这里一定要打断点，writeSplits是切片

运行到这里后，立即会多4个文件

这行代码是设置mapTask的个数，这里就可以看出来切片个数决定mapTask的个数，有几个切片，就开几个mapTask

到这行的时候就会在控制台打印有几个切片

运行完这个会多出两个文件，
job.xml的内容是job运行所需要的参数设置默认值

如果是集群模式，还有jar包，面试官问这类问题是时候问你看过源码吗，回答是：
MapReduce提交job，会往HDFS的临时目录提交三样东西：
1、xml，记录job的配置信息
2、split文件，用于切片（切片信息）
3、jar包（如果是集群模式的话，当前代码的jar包是一定要上传到集群的，通过客户端方式提交到集群，如果是本地，因为本地就是Local模式，这个jar包就在本地，则不用提交jar包。）

没有运行这行代码时，state的值为DEFINE

运行后state的值为RUNNING,说明job开始运行了

这块是监控程序的代码

这行代码是监视并打印job信息

运行完这行代码，之前的文件就都删除了

13.1.2.1.2Job提交流程源码详解

waitForCompletion()

submit();

// 1建立连接
	connect();	
		// 1）创建提交Job的代理
		new Cluster(getConfiguration());
			// （1）判断是本地运行环境还是yarn集群运行环境
			initialize(jobTrackAddr, conf); 

// 2 提交job
submitter.submitJobInternal(Job.this, cluster)

	// 1）创建给集群提交数据的Stag路径
	Path jobStagingArea = JobSubmissionFiles.getStagingDir(cluster, conf);

	// 2）获取jobid ，并创建Job路径
	JobID jobId = submitClient.getNewJobID();

	// 3）拷贝jar包到集群
copyAndConfigureFiles(job, submitJobDir);	
	rUploader.uploadFiles(job, jobSubmitDir);

	// 4）计算切片，生成切片规划文件
writeSplits(job, submitJobDir);
		maps = writeNewSplits(job, jobSubmitDir);
		input.getSplits(job);

	// 5）向Stag路径写XML配置文件
	writeConf(conf, submitJobFile);
	conf.writeXml(out);

	// 6）提交Job,返回提交状态
status = submitClient.submitJob(jobId, submitJobDir.toString(), job.getCredentials());
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35