hadoop权威指南学习(一)

  • 时间:
  • 浏览:2
  • 来源:大发彩神安卓下载—大发彩神官方下载

MaxTemperatureReducer.java

3. 将本地数据拷贝到HDFS(前提你没得可能性安装了hadoop很久 把服务给启动了起来)

Ok, 包打完了,得到如下jar包: xxx.jar

外理方案:你前要给自己的pom配置shade插件

cd /Users/KG/Documents/MyTest/Jar

很久 ,这里让我报错: 找没办法 主类名

3-3)把一点人的jar包拷贝到两个多多地方,很久 进入命令行,进入哪个目录

4. 验证分析结果

好了,你可能性会试着用书中可能性网上的命令(前提你没得可能性配置好$hadoop_home) 

2. 很久 一点人可可不都都可以结束英语 一点人的编码之旅了

 

3-1) 一点人先在hdfs根目录下建个data目录

然而,很不幸,你的守护程序跑不了,理由很简单,根本就找没办法 你的gz文件的目录。

殊不知,Tom White大牛嘴笨 在书中写了守护程序和讲解了原理,很久 他以为一点人都在部署了,这里轻描淡写给

带过了,很久 就给菜鸟们留了课题,其嘴笨 跑书中的守护程序的很久 ,可能性没经验,还是会踩坑的。

新建两个多多maven项目,很久 按照书中的例子,编写如下八个类(这里Mapper, Reducer, Job的原理让我太多解释了,自己去看大牛的书去)

1901 317

1902 244

喔,查了下网上的资料,发现我似乎应该把本地文件拷贝到HDFS,赶快查资料,下一步。。。

 很久 把一点人的Java守护程序打包,你认为自己是两个多多Java熟手,都在吗,熟练的命令可能性IDE都可可不都都可以(mvn clean install)

我的pom.xml

使用如下命令:

3-5)再次运行详细命令,如下:

hadoop jar xxx.jar 你的主类名 你的本地gz文件存放的目录 你本地另外两个多多输出目录

下载下来让我看后1901.gz,1902.gz

作者比较做人家,只给了2年的历史数据,无妨,2年也可可不都都可以运行。

hadoop fs -cat /data/output/*

hadoop fs -copyFromLocal /Users/KG/Documents/MyWork/Hadoop/data/ncdc/*.gz /data

可能性你看后如下输出,没办法 你成功了

MaxTemperature.java

hadoop fs -mkdir /data

这里笔者就把踩过的坑说一下,以防很久 人浪费时间了。

3-4) 使用hadoop jar运行命令

3-2) 把一点人的gz数据拷贝到很久 新建的目录

hadoop jar original-MaxTemperature-1.0-SNAPSHOT.jar org.genesis.hadoop.temperature.MaxTemperature /data /data/output

输出结果如下:

看后Tom White写的Hadoop权威指南(大象书)的一点人一定得从第两个多多天气预报的Map Reduce守护程序所吸引,

1. 首先,你得下载书中的ncdc气象原始数据,你一点可可不都都可以从书中的官网下载。

MaxTemperatureMapper.java