1.写在前面的话
以下说明中的配置其实在Hadoop安装与集群配置中已经配置，在此只是重点说明之！
- HDFS系统会把用到的数据存储在core-site.xml中由hadoop.tmp.dir指定，而这个值默认位于/tmp/hadoop-${user.name}下面， 由于/tmp目录在系统重启时候会被删除，所以应该修改目录位置。 修改core-site.xml(在所有站点上都修改)
<property>
<name>hadoop.tmp.dir</name>
<value>/var/hadoop</value>
</property>
写HDFS的总体思想：通过java程序访问HDFS，就把HDFS集群当成一个大的系统磁盘就行了。
windows上的权限系统和linux上的权限系统，测试期间为了简单起见可以关闭权限检查 在namenode的hdfs-site.xml上，添加配置：
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
- 从HDFS中读取文件主要API如下：
URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
InputStream in = new URL("hdfs://192.168.56.200:9000/test.data").openStream();
IOUtils.copyBytes(in, System.out, 4096, true);
2.实现
2.1基础操作代码
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://192.168.56.200:9000");
FileSystem fileSystem = FileSystem.get(conf);
boolean b = fileSystem.exists(new Path("/hello"));
System.out.println(b);
boolean success = fileSystem.mkdirs(new Path("/lyx"));
System.out.println(success);
success = fileSystem.delete(new Path("/lyx"), true);
System.out.println(success);
FSDataOutputStream out = fileSystem.create(new Path("/test.data"), true);
FileInputStream fis = new FileInputStream("d:/bigdata/test/test.txt");
IOUtils.copyBytes(fis, out, 4096, true);
FileStatus[] statuses = fileSystem.listStatus(new Path("/"));
//System.out.println(statuses.length);
for(FileStatus status : statuses) {
System.out.println(status.getPath());
System.out.println(status.getPermission());
System.out.println(status.getReplication());
}
代码结构如下图所示：
执行结果如下图所示：
在web管理页面看到的filesytem如下图：
2.2 文件压缩功能
SequenceFile由一系列的二进制key/value组成，如果为key小文件名，value为文件内容，则可以将大批小文件合并成一个大文件。
在这里小文件是指文件size比HDFS上block size（hadoop中默认为64M）小的文件，可能会小得多。下面从处理性能和存储能力两个方面分别进行解析。
-
处理性能
HDFS最初是为流式访问大文件开发的，如果访问大量小文件，需要不断的从一个datanode跳到另一个datanode，严重影响性能。最后，处理大量小文件速度远远小于处理同等大小的大文件的速度。每一个小文件要占用一个slot，而task启动将耗费大量时间甚至大部分时间都耗费在启动task和释放task上。
存储能力
在HDFS中，任何block，文件或者目录在内存中均以对象的形式存储，一个java对象在未开启压缩的情况下占用空间约为152bytes，（参考：http://www.cnblogs.com/magialmoon/p/3757767.html ）如果有大量的小文件，光对象占用的内存就是一个特别庞大的数字，这样的话，有多大的内存也不够用。
其实，除了使用SequenceFile之外，hadoop对于小文件问题也提供了另外两个解决方案：Hadoop Archive和CombineFileInputFormat。
我电脑目录下有两个文件，如下图所示：
事例代码如下：
uploadMultifile2OneFile方法：
private static void uploadMultifile2OneFile(Configuration conf) throws IOException{
Path path = new Path("/lyx/seq.data");
SequenceFile.Writer.Option pathOption = SequenceFile.Writer.file(path);
SequenceFile.Writer.Option keyOption = SequenceFile.Writer.keyClass(Text.class);
SequenceFile.Writer.Option valueOption = SequenceFile.Writer.valueClass(Text.class);
//放入到writer中的key为文件名称，value为文件的内容
SequenceFile.Writer writer = SequenceFile.createWriter(conf,pathOption,keyOption,valueOption);
File file = new File("D:\\bigdata\\seq");
for(File f : file.listFiles()) {
writer.append(new Text(f.getName()),new Text(FileUtils.readFileToString(f)));
}
}
运行结果如下：
web管理页面结果如下：
downloadMultifile方法：
private static void downloadMultifile(Configuration conf) throws IOException{
Path path = new Path("/lyx/seq.data");
SequenceFile.Reader.Option pathOption = SequenceFile.Reader.file(path);
//放入到writer中的key为文件名称，value为文件的内容
SequenceFile.Reader reader = new SequenceFile.Reader(conf,pathOption);
Text key = new Text();
Text value = new Text();
while(reader.next(key,value)) {
System.out.println("fileName:" + key + ",fileValue:\n" + value);
System.out.println("=======================================");
}
}
运行结果如下：
3.遇见问题
运行该程序一开始出现以下问题
报【executable null\bin\winutils.exe in the Hadoop binaries.】错误，原因可能有以下两点：
- 由异常信息null\bin可知，hadoop环境变量未配置
在系统中设置环境变量，跟java设置类似（只需要设置一次，记得设置后要重启电脑才能生效，jdk这样设置环境变量就不用重启）。
你要设置HADOOP_HOME和PATH，必须要注意的是：在path变量中，%JAVA_HOME%\bin必须在%HADOOP_HOME%\bin的前面。 - 可能bin目录下没有winutils.exe文件
解决方法：winutils.exe的下载地址：https://github.com/srccodes/hadoop-common-2.2.0-bin
（不用担心版本问题，我Hadoop2.6.4 和Hadoop2.7.3 都用这个），然后把下载的winutils.exe放到你hadoop安装目录的bin/ 目录下
