240 发简信
  • windows本机搭建Hadoop环境

    记录一下整个过程: 一、下载Hadoop安装包 官网下载Hadoop 2.6,并配置相关环境变量,自行百度 下载hadooponwindows-...

    1.4 442 0 51
  • 120
    kettle8.0源码编译

    kettle作为一款开源etl工具,在数据仓库领域的应用还算是比较广泛的,做过数仓的朋友应该都知道,在做etl开发的时候,对于参数变量的引用是时...

    0.8 2209 1 51
  • 接入es数据到hdfs

    最近接到一个需求,需要接入es日志数据到hdfs,进行分析,网上查找了一下资料,总结一下方法大致有如下几种 hive本身直接支持连接es可直接参...

    0.7 2805 2 50 1
  • Flume实时接入

    今天花了半天时间抽空看了一下flume实时接入,结合数据仓库中有部分报表有着准实时刷新的需求,需要抽数阶段近乎实时,为后面统计计算节省时间。虽然...

    0.9 2577 0 51 1
  • 【数据仓库】元数据血缘分析

    现在数据仓库基本上采用Hadoop平台了,那么数据仓库里面元数据的血缘分析的思路有哪些呢 基本上有下面这两种思路: 1、解析hql脚本,通过正则...

    1.0 6678 1 51
  • 120
    本机调试spark程序

    一、idea新建maven项目,配置pom.xml 二、下载jar包hadoop-common-2.2.0-bin-master.zip 下载地...

    0.9 352 0 49
  • 120
    spark使用JavaAPI统计文本出现的字符频率最高的前五

    package com.neo.spark; import org.apache.spark.SparkConf; import org.apa...

    0.9 953 0 50
  • 120
    idea 打包Java程序

    最近开始学习Java,年纪大了,感觉学起东西来,有点力不从心了,好在经过努力和同事的帮助下,顺利的解决了问题。 idea工具打包的流程: 1、F...

    0.9 677 0 50