伪分布，单节点

虚拟机系统

Ubuntu版本：ubuntu-14.04.5-server-amd64.iso;

实验环境

创建hadoop用户，SSH免密登录，安装JDK，教程点我；

安装 Hadoop2.7.3

# 获取hadoop-2.7.3.tar.gz到当前目录
## 也可以通过Xftp上传到虚拟机
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

# 我们将"Hadoop"安装至"/usr/local/tools/"中
sudo tar -zxvf hadoop-2.7.3.tar.gz -C /usr/local/tools

# 切换到安装目录
cd /usr/local/tools

# 将文件夹名改为hadoop
sudo mv ./hadoop-2.7.3/ ./hadoop/

# 修改文件权限
sudo chown -R hadoop ./hadoop/

# 验证操作
cd /usr/local/tools/hadoop

# 由于hadoop直接解压即可使用,输出hadoop版本信息
./bin/hadoop version

相对路径与绝对路径的区别：

相对路径：相对于当前目录的路径,例如./、../;
绝对路径：相对于根目录的路径,以"/"开头的路径;
"./bin/hadoop version" <==> "/usr/local/hadoop/bin/hadoop version"

Hadoop单机配置(非分布式)

Hadoop默认模式为非分布式模式，无需进行其他配置即可运行；
非分布式即单 Java 进程，方便进行调试；
接下来，让我们感受一下 Hadoop 的运行，
Hadoop 附带了丰富的例子包括 wordcount、terasort、join、grep 等；

grep的例子：我们将 input 文件夹中的所有文件作为输入，筛选当中符合正则表达式 "dfs[a-z.]+" 的单词并统计出现的次数，将结果输出到 output 文件夹中；

cd /usr/local/tools/hadoop
mkdir ./input

# 将"hadoop"的配置文件作为输入文件
cp ./etc/hadoop/*.xml ./input

# 筛选
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'

# 查看运行结果
cat ./output/*

# Hadoop默认不会覆盖结果文件,因此再次运行上面实例会提示出错,需要先将 "./output" 目录删除
rm -r ./output

Hadoop伪分布式配置

Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行；
节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件；
Hadoop 的配置文件位于 /usr/local/tools/hadoop/etc/hadoop/ 中,伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml ；
Hadoop的配置文件是 xml 格式,每个配置以声明 "property" 的 "name" 和 "value" 的方式来实现；

Hadoop 配置文件说明

Hadoop 的运行方式是由配置文件决定的(运行Hadoop时会读取配置文件)，
因此如果需要从伪分布式模式切换回非分布式模式,
需要删除 core-site.xml 中的配置项；
此外,伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行(官方教程也是如此)，
不过若没有配置 hadoop.tmp.dir 参数,
则默认使用的临时目录为 /tmp/hadoo-hadoop，
而这个目录在重启时有可能被系统清理掉，
导致必须重新执行 format 才行，所以我们进行了设置，
同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir,
否则在接下来的步骤中可能会出错;

配置core-site.xml

vim /usr/local/tools/hadoop/etc/hadoop/core-site.xml

<configuration>
        <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/usr/local/tools/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
        </property>
</configuration>

配置hdfs-site.xml

vim /usr/local/tools/hadoop/etc/hadoop/hdfs-site.xml

<configuration>
        <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/local/tools/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/usr/local/tools/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

NameNode的格式化

# 配置完成后,执行 NameNode 的格式化
./bin/hdfs namenode -format
## 若出现SSH提示,输入yes即可
## 成功则会看到"successfully formatted"和"Exitting with status 0" 的提示
## 若为"Exitting with status 1"则是出错

Hadoop环境变量配置

配置profile

sudo vim /etc/profile

# Java
...
# Hadoop
export HADOOP_HOME=/usr/local/tools/hadoop
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_COMMON_LIB_NATIVE_DIR"
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib:$PATH

配置hadoop-env.sh

vim /usr/local/tools/hadoop/etc/hadoop/hadoop-env.sh

# Oracle-JDK,将export JAVA_HOME=${JAVA_HOME}修改为如下
export JAVA_HOME=/usr/local/tools/jdk1.7

# Open-JDK,将export JAVA_HOME=${JAVA_HOME}修改为如下
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

另外，还可以使用sed命令修改
# Oracle-JDK
sed -i 's#export JAVA_HOME=${JAVA_HOME}#export JAVA_HOME=/usr/local/tools/jdk1.7#g' /usr/local/tools/hadoop/etc/hadoop/hadoop-env.sh
# Open-JDK
sed -i 's#export JAVA_HOME=${JAVA_HOME}#export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64#g' /usr/local/tools/hadoop/etc/hadoop/hadoop-env.sh

# 重新加载配置文件
source /etc/profile
source /usr/local/tools/hadoop/etc/hadoop/hadoop-env.sh

开启NameNode和DataNode的守护进程

# 启动时可能会出现 WARN 提示,
# 该 WARN 提示可以忽略,并不会影响正常使用(该 WARN 可以通过编译 Hadoop 源码解决);
./sbin/start-dfs.sh

# 启动完成后,可以通过命令"jps"来判断是否成功启动;
jps
## 若成功启动则会列出如下进程: "NameNode"、"DataNode" 和 "SecondaryNameNode";
## 若未列出进程,可运行"./sbin/stop-dfs.sh"关闭进程以后,
## 再开启进程"./start-dfs.sh";

# 针对"DataNode"没法启动的解决方法
## 关闭 hadoop
./sbin/stop-dfs.sh
## 删除"tmp"文件,注意这会删除"HDFS"中原有的所有数据
rm -r ./tmp
## 重新格式化"NameNode"
./bin/hdfs namenode -format
## 启动"hadoop"
./sbin/start-dfs.sh

# 访问"Web"界面
## 注意修改虚拟机IP地址
http://192.168.10.60:50070
## 查看"NameNode"和"Datanode"信息,还可以在线查看"HDFS"中的文件;

运行Hadoop伪分布式实例

# 上面的单机模式,"grep"例子读取的是本地数据,伪分布式读取的则是HDFS上的数据;
# 要使用"HDFS",首先需要在"HDFS"中创建用户目录
./bin/hdfs dfs -mkdir -p /user/hadoop
# 将"./etc/hadoop"中的"xml"文件作为输入文件复制到分布式文件系统中
## 即将"/usr/local/hadoop/etc/hadoop"复制到分布式文件系统中的"/user/hadoop/input"中;
## 由于我们使用的是"hadoop"用户,并且已创建相应的用户目录"/user/hadoop",
## 因此在命令中就可以使用相对路径如"input",其对应的绝对路径就是"/user/hadoop/input";
./bin/hdfs dfs -mkdir input
./bin/hdfs dfs -put ./etc/hadoop/*.xml input

# 查看文件列表
./bin/hdfs dfs -ls input

# 伪分布式运行"MapReduce"作业的方式跟单机模式相同,
# 区别在于伪分布式读取的是"HDFS"中的文件;
# 可以将单机步骤中创建的本地"input"文件夹,输出结果"output"文件夹都删掉来验证这一点;
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'

# 查看运行结果的命令(查看的是位于"HDFS"中的输出结果)
./bin/hdfs dfs -cat output/*

# 还可以将运行结果取回到本地
# 先删除本地的"output"文件夹(如果存在)
rm -r ./output

# 将 HDFS 上的 output 文件夹拷贝到本机
./bin/hdfs dfs -get output ./output
cat ./output/*

# 删除位于 HDFS 中 output 文件夹
./bin/hdfs dfs -rm -r output

针对实际开发优化

# 运行程序时,输出目录不能存在
## 在实际开发应用程序时,可考虑在程序中加上如下代码,
## 能在每次运行时自动删除输出目录,避免繁琐的命令行操作
## Java代码
Configuration conf = new Configuration();
Job job = new Job(conf);
/* 删除输出目录 */
Path outputPath = new Path(args[1]);
outputPath.getFileSystem(conf).delete(outputPath, true);

配置YARN

YARN概述

# 有的人可能有疑惑了,为什么启动"Hadoop"后,见不到书上所说的"JobTracker"和"TaskTracker";
# 这是因为新版的"Hadoop"使用了新的 MapReduce 框架(MapReduce V2,
# 也称为 YARN,Yet Another Resource Negotiator);
# YARN 是从 MapReduce 中分离出来的,负责资源管理与任务调度;
# YARN 运行于 MapReduce 之上,提供了高可用性、高扩展性,更多资料请自行查阅;
# 通过"./sbin/start-dfs.sh"启动"Hadoop",仅仅是启动了"MapReduce"环境,
# 我们可以启动"YARN",让"YARN" 来负责资源管理与任务调度;

配置mapred-site.xml

# 对文件重命名
mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml
vim ./etc/hadoop/mapred-site.xml

<configuration>
        <property>
             <name>mapreduce.framework.name</name>
             <value>yarn</value>
        </property>
</configuration>

配置yarn-site.xml

vim ./etc/hadoop/yarn-site.xml

<configuration>
        <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
        </property>
</configuration>

启动YARN

./sbin/start-yarn.sh
# 开启历史服务器，才能在Web中查看任务运行情况
./sbin/mr-jobhistory-daemon.sh start historyserver
# 开启后通过"jps"查看,可以看到多了"NodeManager"和"ResourceManager"两个后台进程

# 启动"YARN"之后,运行实例的方法还是一样的,仅仅是资源管理方式、任务调度不同;
# 观察日志信息可以发现,不启用"YARN"时,是"mapred.LocalJobRunner"在跑任务,
# 启用YARN 之后,是 "mapred.YARNRunner" 在跑任务;
# 启动"YARN"有个好处是可以通过"Web"界面查看任务的运行情况：
# http://192.168.10.60:8088/cluster
# 但YARN主要是为集群提供更好的资源管理与任务调度,然而这在单机上体现不出价值,反而会使程序跑得稍慢些。
# 因此在单机上是否开启 YARN 就看实际情况了;

关闭YARN

# 不启动"YARN"需重命名 mapred-site.xml
# 如果不想启动YARN,务必把配置文件"mapred-site.xml"重命名,
# 改成"mapred-site.xml.template",需要用时改回来就行;
# 否则在该配置文件存在,而未开启"YARN"的情况下,
# 运行程序会提示"Retrying connect to server: 0.0.0.0/0.0.0.0:8032" 的错误,
# 这也是为何该配置文件初始文件名为"mapred-site.xml.template";

# 关闭YARN
./sbin/stop-yarn.sh
./sbin/mr-jobhistory-daemon.sh stop historyserver

最后编辑于：2017.12.04 06:00:57

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 160,165评论 4赞 364
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 67,720评论 1赞 298
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 109,849评论 0赞 244
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 44,245评论 0赞 213
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 52,596评论 3赞 288
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 40,747评论 1赞 222
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 31,977评论 2赞 315
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 30,708评论 0赞 204
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 34,448评论 1赞 246
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 30,657评论 2赞 249
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 32,141评论 1赞 261
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 28,493评论 3赞 258
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 33,153评论 3赞 238
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 26,108评论 0赞 8
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 26,890评论 0赞 198
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 35,799评论 2赞 277
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 35,685评论 2赞 272

伪分布，单节点

虚拟机系统

实验环境

安装 Hadoop2.7.3

相对路径与绝对路径的区别：

Hadoop单机配置(非分布式)

Hadoop伪分布式配置

Hadoop 配置文件说明

配置core-site.xml

配置hdfs-site.xml

NameNode的格式化

Hadoop环境变量配置

配置profile

配置hadoop-env.sh

开启NameNode和DataNode的守护进程

运行Hadoop伪分布式实例

针对实际开发优化

配置YARN

YARN概述

配置mapred-site.xml

配置yarn-site.xml

启动YARN

关闭YARN

推荐阅读更多精彩内容