Hadoop的Snappy安装配置

1.snappy编译安装

下载snappy,编译。
前置条件:gcc c++, autoconf, automake, libtool, Java 6, JAVA_HOME set, Maven 3
1)运行:autogen.sh
2)运行:
./configure
make
make check
make install
3)验证:查看/usr/local/lib下面是否有libsnappy.*

4)拷贝到其他集群:scp -r ./google-snappy-2d99bd1/ bigdata@xxx:/ssd/bigdata/install/

2. Hadoop Snappy 编译安装

1、下载
2、The built tarball is at target/hadoop-snappy-0.0.1-SNAPSHOT.tar.gz. The tarball includes snappy native library。
解压拷贝:
cp -r * $HADOOP_HOME/lib
scp -r * bigdata@xxx:/ssd/bigdata/software/hadoop/lib
3、配置环境变量:
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/Linux-amd64-64/:/usr/local/lib/
export
HBASE_LIBRARY_PATH=$HBASE_LIBRARY_PATH:$HBASE_HOME/lib/native/Linux-amd64-64/:/usr/local/lib/

2°、修改$HADOOP_HOME/etc/hadoop/core-site.xml:
<property>
<name>io.compression.codecs</name>
<value>
org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.DefaultCodec,
org.apache.hadoop.io.compress.BZip2Codec,
org.apache.hadoop.io.compress.SnappyCodec
</value>
</property>
3°、修改$HADOOP_HOME/etc/hadoop/mapred-site.xml中有关压缩属性,测试snappy:
<property>
<name>mapreduce.map.output.compress</name>
<value>true</value>
</property>
<property>
<name>mapreduce.map.output.compress.codec</name>
<value>org.apache.hadoop.io.compress.SnappyCodec</value>
</property>
4°、验证
hadoop checknative -a

5、最终编译了hadoop2.7.3的源码:
https://www.58jb.com/html/113.html 来支持了snappy。
编译进行一半,只要把snappy编译出来即可。
参考:
http://www.cnblogs.com/zlzhoulei/p/5735698.html
http://blog.csdn.net/bbaiggey/article/details/53583923
http://www.micmiu.com/bigdata/hadoop/hadoop-snappy-install-config/

推荐阅读更多精彩内容

  • 1 目的将hadoop 2.7.1 安装到 166、167、168 三台机器上2 提供环境练习环境192.168....
    灼灼2015阅读 3,078评论 4 40
  • github链接 针对Hive的优化主要有以下几个方面: map reduce file format shuff...
    zoyanhui阅读 5,786评论 2 33
  • --------"道路是曲折的,前途是光明的。"最近又涉及到了hadoop以及spark的安装,之前课题设计中有要...
    九七学姐阅读 2,587评论 3 5
  • 1、感恩父母给予我生命。 2、感恩祖辈将我养育。 3、感恩母亲、祖母为家的巨大付出。 4、感恩亲友们对我家的照顾。...
    朱晓军阅读 115评论 0 0
  • 5.27问题及解答 亲爱的小伙伴们,又到每周五的提问时间了,请将要提的问题接龙,记得总共10条以内哦。感恩小伙伴们...
    韩艾辰阅读 167评论 0 0
  • R 阅读原文片段 P94-95 I 用自己的语言重述阅读片段 很多时候在沟通过程中我们会觉得有“鸡同鸭讲”、“对牛...
    视觉笔记18阅读 362评论 2 1
  • 姓名: 张娟 公司: 路易彬彦 【日精进打卡第109天】 【知~学习】 《六项精进》0遍共133遍 《大学》0遍 ...
    路易彬彥张娟阅读 129评论 0 0
  • 我每天都要用掉很多很多的纸巾 于是 我每个月都要买很多很多的纸巾 天哪 我怎么可以这么这么地浪费纸巾 我仿佛可以听...
    不渡春风阅读 75评论 0 0