发简信
IP属地：辽宁
-
关于hbase、spark、hive使用时的优化问题
一、Hbase的优化 1、JVM优化： 1）如：HBase RegionServer 的 Java 配置选项 -XX:+UseParNewGC ...
-
大数据面试必问-快速理解Hive的数据存储格式及mapreduce底层原理
在大数据工程师面试时，下面这个题可谓是面试官的最爱，他考察了对于mapreduce框架以及hive的原理的理解，阅读完这篇文章，在面试这一类的问...
-
sqoop import使用
一、sqoop作用？ sqoop是一个数据交换工具，最常用的两个工具是导入导出。 导入导出的参照物是hadoop，向hadoop导数据就是导入。...
-
azkaban（最适合入门）这里先默认大家都已经安装并配置完成了azkaban1、启动azkaban 启动azkaban server。进入executor，执行： bin...
-
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)
直奔主题： 其实这个错误就是编译的程序的scala版本和提交时的版本不一致导致的. 我是在idea上写的scala程序 用的是2.11....
-
史上最有趣的post、get方式详解GET和POST两种基本请求方法的区别 GET和POST是HTTP请求的两种基本方法，要说它们的区别，接触过WEB开发的人都能说出一二。 最直观...
-
Spark调优之JVM调优
今天给大家分享Spark调优相关的JVM调优，这个调优方法在开发中也很常见，他主要分为两种，一种是降低cache操作的内存占比，一种是调节exe...
-
HDFS MapReduce
hdfs的读写流程 hdfs写数据 1） 客户端通过DistributedFileSystem模块向namenode请求上传文件，namenod...
-
Redis数据"丢失"讨论及规避和解决的几点总结
Redis大部分应用场景是纯缓存服务，请求后端有Primary Storage的组件,如MySQL,HBase;请求Redis的键未命中，会从p...