240 发简信
  • RestTemplate在Spring Cloud中的三种用法

    第一种,直接new一个RestTemplate实例将url写死 第二种,利用Spring Cloud提供的LoadBalancerClient来...

  • Winston日志框架使用

    winston日志框架使用 原来一直是使用log4js做日志输出,原来只是输出到标准输出中,用了3年了,一直没换过。现在为了将详细的日志都记录下...

  • HDFS(6)- distcp并行复制

    我们可以用Java Api写代码进行复制文件或目录,也可以使用hadoop fs -cp进行复制,可这两种效率并不高,拷贝文件或目录写代码也麻烦...

  • 120
    HDFS(5)- 数据流之写入

    根据下图介绍HDFS的写入流程。 步骤 1. create 客户端通过对DistributedFileSystem对象调用create()方法来...

  • 120
    HDFS(4)- 数据流之读取

    HDFS文件读取步骤是怎么样的?我们通过下图中的步骤顺序一步步梳理,然后再看这样设计的好处。 步骤(Java客户端) 1. open 客户端调用...

  • HDFS(3)- 不是只有HDFS,Hadoop文件系统全家桶

    Hadoop文件系统全家桶 Hadoop有一个抽象的文件系统概念,HDFS只是其中一个实现。Java抽象类org.apache.hadoop.f...

  • HDFS(2)- 概念

    1、数据块(block) 数据块是磁盘读/写的最小单位,每个磁盘都有默认的数据块大小。HDFS作为分布式文件系统也有块的概念,但是数据块比较大,...

  • HDFS(1)- 设计

    HDFS的设计 我们从以下角度分析: 超大文件HDFS可以并适合存储超大文件。这里只具有几百MB、几百GB、甚至几百TB大小的文件。目前已经有存...

个人介绍
梦想成为一个Geeker,并且在成为一个Geeker的路上。