240 发简信
IP属地:贵州
  • Resize,w 360,h 240
    scrapy+scrapy_splash + docker爬取JS动态页面

    最近一段时间做了一个特别恶心的项目,先来吐槽一下,项目需求大致就是给网址分类,鉴别出它是属于什么类型的网站,比如娱乐游戏、音乐影视、新闻咨询等。...

  • Resize,w 360,h 240
    Redis的使用

    Redis是一个用ANSI C语言编写的,基于内存并且可以持久化的日志型、高性能key_value数据库。它通常被称为数据结构服务器,因为其存储...

  • HBase的使用

    HBase是一个在HDFS上开发的面向列的分布式数据库。如果需要实时地随机访问超大规模数据集,就可以使用HBase。本篇介绍HBase的基础知识...

  • Resize,w 360,h 240
    Hive的使用

    Hive是一个构建在Hadoop上的数据仓库框架,是一个通用的、可伸缩的数据处理平台,它设计的目的是让精通SQL技能的分析师能够对存放在HDFS...

  • HDFS中API的使用

    在项目开发中,有时我们需要通过HDFS的api来对文件进行操作,比如将数据上传到HDFS或者从HDFS获取数据等。本篇来介绍一下HDFS中API...

  • HDFS常用命令操作

    HDFS(Hadoop Distributed File System)是一种分布式文件系统,它具有高容错的特点,并且可以部署在廉价的通用硬件上...

  • Resize,w 360,h 240
    Zookeeper的使用

    对于Zookeeper的介绍和安装教程这里不再赘述,网上很多资料都介绍得很专业,上一篇文章在搭建Hadoop集群的时候也简单介绍了下。本篇主要内...

  • 实际环境中Hadoop集群的搭建

    对于Hadoop的背景介绍,这里就不叙述了,本篇只介绍生产环境中Hadoop集群的搭建。本集群采用HA模式,一共4台服务器,一个名字节点,一个第...

  • OKHttp3源码解析

    上一篇通过分析Retrofit2的源码,我们了解了整个请求流程的底层实现,其最终是通过OKHttp3中的OkHttpClient对象创建一个Re...