hadoop程序实例，从新建到上传Hadoop集群跑成功

1. 新建maven项目
2. 写入pom.xml文件

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0modelVersion>
	<groupId>cn.xuegod.mapreducegroupId>
	<artifactId>Hadoop-7artifactId>
	<version>0.0.1-SNAPSHOTversion>


	<dependencies>
		<dependency>
			<groupId>org.apache.hadoopgroupId>
			<artifactId>hadoop-commonartifactId>
			<version>3.1.1version>
		dependency>

		<dependency>
			<groupId>org.apache.hadoopgroupId>
			<artifactId>hadoop-hdfsartifactId>
			<version>3.1.1version>
		dependency>

		<dependency>
			<groupId>org.apache.hadoopgroupId>
			<artifactId>hadoop-clientartifactId>
			<version>3.1.1version>
		dependency>

		<dependency>
			<groupId>org.apache.hadoopgroupId>
			<artifactId>hadoop-mapreduce-client-coreartifactId>
			<version>3.1.1version>
		dependency>

	dependencies>

	<build>
	<plugins>

		<plugin>
			<groupId>org.apache.maven.pluginsgroupId>
			<artifactId>maven-compiler-pluginartifactId>
			<configuration>
				<source>1.8source>
				<target>1.8target>
			configuration>
		plugin>
		
		<plugin>
  			<groupId>org.apache.maven.pluginsgroupId>
  			<artifactId>maven-jar-pluginartifactId>
  			<version>2.4version>
  			<configuration>
  				<archive>
  					<manifest>
  						<addClasspath>trueaddClasspath>
  						<classpathPrefix>lib/classpathPrefix>
  						<mainClass>cn.xuegod.mr.WordCountRunnermainClass>
  					manifest>
  				archive>
  			configuration>
  		plugin>
		

	plugins>
	build>

project>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67

版本根据自己所使用的情况进行填写，但是修改版本后可能出现错误。包括依赖上的错误，还有pom.xml文件开头报错：

xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd
1

maven仓库中的出现了许多.LastUpdated结尾的文件。这是由于某些原因导致文件未下载完整，所以依赖无法正确引用。
cmd加入maven仓库
执行下面命令，删除所有未完整下载的文件。

C:\Users\zeng_lei\.m2\repository>for /r %i in (*.lastUpdated) do del %i
1

然后去项目中，maven – update project即可
4.
在ide中跑通后，打成jar包

idea的打包方式可能不同，去终端，用命令行打包也行
1，将需要打成jar包的java文件编译成class文件，idea里的小锤子build project，或者javac命令也可
2，找到class文件，在文件所在目录打开命令行
3，执行命令jar -cvf abc.jar xxxx.class，这个是把单个class文件打成jar包
4，如果需要把整个目录打成jar包可以执行jar -cvf abc.jar AAAA，这里需要注意这个AAAA的目录必须是java编译成class文件的整个包的最外层目录，比如我们一般的java文件的包是com.a.b，那么AAAA必须是com

5. 然后上传到Hadoop集群机器上
6. 执行hadoop jar hadoop-7.0.0.1-SNAPSHOT.jar即可执行MR程序