240 发简信
IP属地:重庆
  • 120
    Spark性能优化笔记

    为什么需要调优 在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。然而,通过Spark开发出高性能的大数据计算作业,并不是那么简单的。如果没有对S...

  • 120
    Spark应用学习笔记

    Sqoop sqoop 是 apache 旗下一款“Hadoop 和关系数据库服务器之间传送数据”的工具。核心的功能有两个: 导入、迁入 导出、迁出 导入数据:MySQL,O...

  • 120
    Spark学习笔记

    Scala语法 至于scala语法而言,大致上和Java的语法类似,增加了一些函数式编程,具体语法可以参考Scala语法Scala是一种针对 JVM 将函数和面向对象技术组合...

  • 120
    HBase学习笔记

    在对HBase进行操作之前,首先学习一下HBase的基础架构和运行原理。这里讲解了 HBase 在大数据生态圈中的位置 HBase 与传统关系数据库的区别 HBase 相关的...

  • 120
    Hive学习笔记

    hive简介 解释一:Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上,总归为大数据,并使得查询和分析方便。并提供简单的sql查询功...

  • Hive中的全排序:order by,sort by, distribute by

    写mapreduce程序时,如果reduce个数>1,想要实现全排序需要控制好map的输出,详见Hadoop简单实现全排序 现在学了hive,写sql大家都很熟悉,如果一个o...

  • 120
    HDFS详解

    一.HDFS简介 hdfs是一个文件系统,用于存储文件,通过统一的命名空间——目录树来定位文件,并且是分布式的,由很多服务器联合起来实现其功能,集群中相关角色各自负责自己的功...

  • 120
    Linux基础学习笔记

    安装虚拟机 首先从阿里镜像官网下载centos6.5的ISO镜像文件,然后用VMware安装centos的虚拟机。 填写需要创建的虚拟机的基本配置信息,暂时把内存设为1GB,...

  • mybatis 密码正确但是报错

    错误信息 在dataSource配置中数据库账号密码配置正确的情况下,如果名字是root,使用${username}配置连接池的user属性会出现密码错误的异常,解决方法是把...

  • 简易ssm框架流程

    首先创建maven规范的Javaweb项目,并在pom.xml中引入相关的jar包 创建实体包,用于存放项目相关实体对象(pojo) Dao层 创建dao包,用于存放数据访问...

  • Zookeeper集群环境搭建

    1.准备2n+1台相互连通的虚拟机 2n+1是为了方便zookeeper的leader选举策略 2.卸载自带的openjdk并安装oracle JDK 先查看 rpm -qa...