240 发简信
BIGUFO
IP属地：四川
  • Resize,w 360,h 240
    基于SparkSQL实现的一套即席查询服务

    IQL (项目地址：https://github.com/teeyog/IQL) English | 简体中文 基于SparkSQL实现了一套即...

    4.0 7020 7 23
  • [Spark SQL] 源码解析之Optimizer

    前言 由前面博客我们知道了SparkSql整个解析流程如下： sqlText 经过 SqlParser 解析成 Unresolved Logic...

    0.1 1514 0 4
  • [Spark SQL] 源码解析之Analyzer

    前言 由前面博客我们知道了SparkSql整个解析流程如下： sqlText 经过 SqlParser 解析成 Unresolved Logic...

    0.7 1936 0 11
  • Resize,w 360,h 240
    [Spark SQL] 源码解析之Parser

    前言 由上篇博客我们知道了SparkSql整个解析流程如下： sqlText 经过 SqlParser 解析成 Unresolved Logic...

    0.7 3880 0 9
  • Resize,w 360,h 240
    [Spark SQL] 主要执行流程

    预备知识 先介绍在Spark SQL中两个非常重要的数据结构：Tree和Rule。 SparkSql的第一件事就是把SQLText解析成语法树，...

    0.2 3234 0 8
  • Spark metrics实现KafkaSink

    背景 监控是Spark非常重要的一部分。Spark的运行情况是由ListenerBus以及MetricsSystem 来完成的。通过Spark的...

    0.2 2278 0 5
  • Spark 实现MySQL update操作

    背景 目前 spark 对 MySQL 的操作只有 Append,Overwrite,ErrorIfExists,Ignore几种表级别的模式，...

    0.2 8467 4 4
  • spark任务之Task失败监控

    需求 spark应用程序中，只要task失败就发送邮件，并携带错误原因。 背景 在spark程序中，task有失败重试机制（根据 spark.t...

    0.3 7668 4 12
  • Spark整合HBase（自定义HBase DataSource）

    背景 Spark支持多种数据源，但是Spark对HBase 的读写都没有相对优雅的api，但spark和HBase整合的场景又比较多，故通过sp...

    3664 0 12
个人介绍
Github地址
https://github.com/teeyog