hadoop笔记(一)伪分布式环境搭建

        早在2015年就买到Hadoop的书了,可是由于各种原因没有细细看过!(ps:就是因为懒)。虽然从事的不是编码工作,但是心中依旧有个写代码的梦想!!最近将这本书拿出来,学习了一下,做个笔记!以方便自己以后复习查看,笔记中有不对地方,也请大家指出,一起讨论,一起进步!!雄起!

(1)hadoop基本信息

hadoop的基本概念属于老生常谈了,网上百度,各种答案,就不多说了,百度的结果如下:

What Is Apache Hadoop?

TheApache™ Hadoop® project develops open-source software for reliable, scalable,distributed computing.

解决问题:(1)海量数据存储问题(HDFS),(2)解决海量数据分析问题(Mapreduce),(3)资源调度问题(YARN)。

Hadoop的作者:Doug Cutting

参考文献:Google三篇论文的启发(GFS、MapReduce、BigTable)

以上信息,纯属百度,如有雷同,纯属我百度的好!~~

(2)伪分布式环境搭建

hadoop部署方式有;伪分布式,本地模式,集群模式。下面就伪分布式环境搭建,便于练手!

1.修改主机名

打开vim /etc/sysconfig/network修改

NETWORKING=yes

HOSTNAME=hadoop 

2修改IP两种方式:修改配置vim /etc/sysconfig/network-scripts/ifcfgeth0

DEVICE="eth0"

BOOTPROTO="static"

 HWADDR="00:0C:29:3C:BF:E7

IPV6INIT="yes"

NM_CONTROLLED="yes"

ONBOOT="yes"

TYPE="Ethernet"

UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"

IPADDR="192.168.8.118"

 NETMASK="255.255.255.0" 

GATEWAY="192.168.8.1" 

 3修改主机名和IP的映射关系vim /etc/hosts

192.168.8.118    hadoop

4关闭防火墙

#查看防火墙状态 service iptables status

#关闭防火墙service iptables stop

#查看防火墙开机启动状态chkconfig iptables --list

#关闭防火墙开机启动chkconfig iptables off

5重启Linuxreboot

6.安装JDK

上传、解压jdk

#创建文件夹mkdir /usr/java

#解压tar -zxvf jdk-7u55-linux-i586.tar.gz -C /usr/java/

将java添加到环境变量中vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.7.0_55

export PATH=$PATH:$JAVA_HOME/bin

刷新配置source /etc/profile

7.安装hadoop2.4.1 

#hadoop伪分布式需要修改5个配置文件

(1)配置hadoop文件:hadoop-env.sh

打开vim hadoop-env.sh 在第27行export JAVA_HOME=/usr/java/jdk1.7.0_55

由于配置文件过多,截图展示。

核心文件配置图

8 配置hadoop环境变量vim /etc/proflie

export JAVA_HOME=/usr/java/jdk1.7.0_65

export HADOOP_HOME=/itcast/hadoop-2.4.1export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile  #使文件生效

9.格式化namenode(是对namenode进行初始化),

hdfs namenode -format (hadoop namenode -format)

10.启动hadoop,在Hadoop的安装目录下

先启动HDFS        sbin/start-dfs.sh

再启动YARN        sbin/start-yarn.sh

验证是否启动成功使用jps命令  ,出现以下进程,登录界面都能进去。就安装配置正确。

jps结果如下:

登录界面:

http://192.168.8.118:50070 (HDFS管理界面)

http://192.168.8.118:8088 (MR管理界面)

11.配置ssh免登陆

#生成ssh免登陆密钥#

在home目录cd ~/.sshssh-keygen -t rsa (四个回车)执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)将公钥拷贝到要免登陆的机器上ssh-copy-id localhost

完成!!!

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 157,298评论 4 360
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,701评论 1 290
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 107,078评论 0 237
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,687评论 0 202
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,018评论 3 286
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,410评论 1 211
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,729评论 2 310
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,412评论 0 194
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,124评论 1 239
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,379评论 2 242
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,903评论 1 257
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,268评论 2 251
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,894评论 3 233
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,014评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,770评论 0 192
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,435评论 2 269
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,312评论 2 260

推荐阅读更多精彩内容

  • 一、系统参数配置优化 1、系统内核参数优化配置 修改文件/etc/sysctl.conf,添加如下配置,然后执行s...
    张伟科阅读 3,662评论 0 14
  • 终极算法 关注微信号每天收听我们的消息终极算法为您推送精品阅读 前言 Hadoop 在大数据技术体系中的地位至关...
    Yespon阅读 128,575评论 12 168
  • 一方圆日红红的似是新妇果绿中透着劲儿晨光像那天梯从天通到地这片土这片地晨起 东头的天色 毫不陌生的用指尖探触一层薄...
    木南京路阅读 264评论 0 3
  • 本篇是在之前的两篇文章基础上讲解的,如果没看过,走这里:Android模块化简单教程Android模块化之登录业务...
    低情商的大仙阅读 6,242评论 6 12
  • 道德经第六十二章 一说为深的意思,不被人看见的地方;另一说是藏,含有庇荫之意。其实两说比较接近,不必仅执其一。 不...
    芸倪阅读 128评论 2 0