发简信
IP属地：内蒙古
-
大数据之Ambari2.7+HDP3.0（二）三、安装Ambari+HDP 大家在安装之前，一定要先确认好安装哪个版本的，如果不知道自己需要安装哪个版本的，可以先到官网查看一下每个版本的差别...
-
大数据之CDH5.16.1集成Tez0.9.2俗话说：磨刀不误砍柴工。。上两篇中，我们介绍完了CDH环境的基本搭建。在这篇中，我们讲述对hive的一个优化措施之一：执行引擎tez。在HDP中...
-
大数据之CDH5.16.1集成PhoenixCDH中预装的hbase是没有Phoenix的，需要我们手动来集成，下面我们就简单的记录一下笔者集成的流程。 1下载parcels http:/...
-
采坑：java调shell脚本执行hive语句最近有个需求，就是SpringBoot提供一个web接口给业务方，业务方传入参数调接口，接口去执行hive离线计算，一般可能是说直接用jdbc去...
-
记一次hive调优之旅我遇到的业务场景是统计10个维度的用户画像数据，之前我是放在一个shell脚本里串行跑，总共跑下来差不多要9个多小时：从数据预处理、维度统计、数...
-
iostat对磁盘IO情况实时监控kafka集群搭建完成后，对集群进行压测。这样的话，就需要实时查看kafka集群机器的IO情况。那怎么办呢？其实linux是有一个命令来做这个事...
-
hive将多行查询成一个json字符串
今天在用hive做一个离线统计的任务，既然是统计，那就是某个ID可能在某个维度有多个值，比如某个部门男女人数分别是多少。 部门ID性别人数000...
-
大数据之CM+CDH5.16.1（二）接着上一篇继续安装CDH环境 三、安装CM和CDH 3.1 CDH下载 以CentOS7.5和CDH5.16.1举例 3.1.1 cm的tar包...
-
大数据之CM+CDH5.16.1（一）鉴于在Ambari2.7+HDP3.0使用过程中有很多不方便之处，所以还是决定选择CDH框架来做。我是准备了4台虚拟机来搭这个环境。 一、集群规...