240 发简信
  • 120
    Flink 面试通关手册

    概述 2019 年是大数据实时计算领域最不平凡的一年,2019 年 1 月阿里巴巴 Blink (内部的 Flink 分支版本)开源,大数据领域...

    4.0 1358 0 33
  • 大数据学习笔记1000条

    Zookeeper用于集群主备切换。 YARN让集群具备更好的扩展性。 Spark没有存储能力。 Spark的Master负责集群的资源管理,S...

    1.1 5527 0 32
  • 120
    Hive 调优总结,让 Hive 调优想法不再碎片化

    通过阅读比较多的 Hive 调优材料,并根据自己的实践,总结 Hive 调优如下,让 Hive 调优想法不再凌乱、碎片化,而是形成结构。 部分参...

  • hive表新增字段后,新字段无法写入的问题 -- cascade

    问题描述: 实际应用中,常常存在修改数据表结构的需求,比如:增加一个新字段。 如果使用如下语句新增列,可以成功添加列col1。但如果数据表tb已...

  • Mac sourcetree 配置 ssh 密钥

    1 在普通用户 进入 .ssh 文件.(.ssh 文件生成百度很多) gitlab设置sshkay的方法:我用的阿里的,以阿里的为例,找到左侧s...

  • 120
    hadoop图解

    gateway机器是跳板机,提交job到云梯的,在gateway机器上只要配置hadoop-site.xml即可,配置文件中主要是指定jobtr...

  • 120
    【Hive】从长格式表到宽格式表的转换

    前言 使用sql代码作分析的时候,几次遇到需要将长格式数据转换成宽格式数据,一般使用left join或者case when实现,代码看起来冗长...

  • protobuf与json相互转换的方法

    google的protobuf对象转json,不能直接使用FastJson之类的工具进行转换,原因是protobuf生成对象的get方法,返回的...

  • Trafodion之parquet_tools基本使用

    Trafodion 执行一个 parquet_tools 可执行程序,用于检查 parquet 文件是否正常。parquet_tools 存储在...