Hadoop之HDFS的Java实现

字数 1002阅读 469

1.写在前面的话

以下说明中的配置其实在Hadoop安装与集群配置中已经配置,在此只是重点说明之!

  1. HDFS系统会把用到的数据存储在core-site.xml中由hadoop.tmp.dir指定,而这个值默认位于/tmp/hadoop-${user.name}下面, 由于/tmp目录在系统重启时候会被删除,所以应该修改目录位置。 修改core-site.xml(在所有站点上都修改)
<property>
    <name>hadoop.tmp.dir</name>
    <value>/var/hadoop</value>
</property>
  1. 写HDFS的总体思想:通过java程序访问HDFS,就把HDFS集群当成一个大的系统磁盘就行了。

  2. windows上的权限系统和linux上的权限系统,测试期间为了简单起见可以关闭权限检查 在namenode的hdfs-site.xml上,添加配置:

<property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
</property>
  1. 从HDFS中读取文件主要API如下:
URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
InputStream in = new URL("hdfs://192.168.56.200:9000/test.data").openStream();
IOUtils.copyBytes(in, System.out, 4096, true);
  1. 事例完整代码:https://github.com/landy8530/hadoop-hdfs

2.实现

2.1基础操作代码

Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://192.168.56.200:9000");
FileSystem fileSystem = FileSystem.get(conf);

boolean b = fileSystem.exists(new Path("/hello"));
System.out.println(b);

boolean success = fileSystem.mkdirs(new Path("/lyx"));
System.out.println(success);

success = fileSystem.delete(new Path("/lyx"), true);
System.out.println(success);

FSDataOutputStream out = fileSystem.create(new Path("/test.data"), true);
FileInputStream fis = new FileInputStream("d:/bigdata/test/test.txt");
IOUtils.copyBytes(fis, out, 4096, true);

FileStatus[] statuses = fileSystem.listStatus(new Path("/"));
//System.out.println(statuses.length);
for(FileStatus status : statuses) {
    System.out.println(status.getPath());
    System.out.println(status.getPermission());
    System.out.println(status.getReplication());
}

代码结构如下图所示:


代码结构.png

执行结果如下图所示:


执行结果.png

在web管理页面看到的filesytem如下图:


image.png

2.2 文件压缩功能

SequenceFile由一系列的二进制key/value组成,如果为key小文件名,value为文件内容,则可以将大批小文件合并成一个大文件。

以下内容摘自[hadoop2.7.1]I/O之“泥坯块”SequenceFile前序知识

在这里小文件是指文件size比HDFS上block size(hadoop中默认为64M)小的文件,可能会小得多。下面从处理性能和存储能力两个方面分别进行解析。

  1. 处理性能

    HDFS最初是为流式访问大文件开发的,如果访问大量小文件,需要不断的从一个datanode跳到另一个datanode,严重影响性能。最后,处理大量小文件速度远远小于处理同等大小的大文件的速度。每一个小文件要占用一个slot,而task启动将耗费大量时间甚至大部分时间都耗费在启动task和释放task上。

  2. 存储能力
    在HDFS中,任何block,文件或者目录在内存中均以对象的形式存储,一个java对象在未开启压缩的情况下占用空间约为152bytes,(参考:http://www.cnblogs.com/magialmoon/p/3757767.html )如果有大量的小文件,光对象占用的内存就是一个特别庞大的数字,这样的话,有多大的内存也不够用。
    其实,除了使用SequenceFile之外,hadoop对于小文件问题也提供了另外两个解决方案:Hadoop Archive和CombineFileInputFormat。

我电脑目录下有两个文件,如下图所示:


测试文件.png

事例代码如下:

uploadMultifile2OneFile方法:

private static void uploadMultifile2OneFile(Configuration conf) throws IOException{
        Path path = new Path("/lyx/seq.data");

        SequenceFile.Writer.Option pathOption = SequenceFile.Writer.file(path);
        SequenceFile.Writer.Option keyOption = SequenceFile.Writer.keyClass(Text.class);
        SequenceFile.Writer.Option valueOption = SequenceFile.Writer.valueClass(Text.class);
        //放入到writer中的key为文件名称,value为文件的内容
        SequenceFile.Writer writer = SequenceFile.createWriter(conf,pathOption,keyOption,valueOption);

        File file = new File("D:\\bigdata\\seq");
        for(File f : file.listFiles()) {
            writer.append(new Text(f.getName()),new Text(FileUtils.readFileToString(f)));
        }
    }

运行结果如下:


结果.png

web管理页面结果如下:


web文件系统显示结果.png

downloadMultifile方法:

private static void downloadMultifile(Configuration conf) throws IOException{
        Path path = new Path("/lyx/seq.data");
        SequenceFile.Reader.Option pathOption = SequenceFile.Reader.file(path);
        //放入到writer中的key为文件名称,value为文件的内容
        SequenceFile.Reader reader = new SequenceFile.Reader(conf,pathOption);

        Text key = new Text();
        Text value = new Text();

        while(reader.next(key,value)) {
            System.out.println("fileName:" + key + ",fileValue:\n" + value);
            System.out.println("=======================================");
        }
    }

运行结果如下:


文件输出结果.png

3.遇见问题

运行该程序一开始出现以下问题


image.png

报【executable null\bin\winutils.exe in the Hadoop binaries.】错误,原因可能有以下两点:

  1. 由异常信息null\bin可知,hadoop环境变量未配置
    在系统中设置环境变量,跟java设置类似(只需要设置一次,记得设置后要重启电脑才能生效,jdk这样设置环境变量就不用重启)。
    你要设置HADOOP_HOME和PATH,必须要注意的是:在path变量中,%JAVA_HOME%\bin必须在%HADOOP_HOME%\bin的前面。
  2. 可能bin目录下没有winutils.exe文件
    解决方法:winutils.exe的下载地址:https://github.com/srccodes/hadoop-common-2.2.0-bin
    (不用担心版本问题,我Hadoop2.6.4 和Hadoop2.7.3 都用这个),然后把下载的winutils.exe放到你hadoop安装目录的bin/ 目录下

4.延伸阅读

  1. Hadoop安装与集群配置
  2. Hadoop基本知识点之HDFS

推荐阅读更多精彩内容