240 发简信
  • redis基本操作&spark操作redis

    redis基本操作 键的数据结构类型type key如果键hello是字符串类型,则返回string;如果键不存在,则返回none 键重命名re...

  • spark连接mysql

    spark连接mysql

  • mongodb基本操作&spark操作mongodb

    mongodb基本操作 spark连接并读取mongodb spark写入mongodb

  • 120
    hive 调优

    q1-q5搬运自:https://www.jianshu.com/p/32faae7230d5[https://www.jianshu.com/...

  • aws s3 命令

    管理存储桶 管理对象命令包括 aws s3 cp、aws s3 ls、aws s3 mv、aws s3 rm 和 sync。cp、ls、mv 和...

  • 120
    azkaban参数

    在mz工作时接触到了已经非常完善的数据平台,基本复刻了腾讯teg数平,大大简化了很多工作。后续更换工作到DY,这里平台并没有集成太多功能,大部分...

  • scala 包和引入和this.type

    1.scala包 scala的包和Java中的包的目的是相同的:管理大型程序中的名称。要增加条目到包中,可以将其包含在包语句里面,如: MyCl...

  • 120
    IDEA中如何使用debug调试项目 一步一步详细教程(纯搬运备忘)

    原文链接:http://www.yxlzone.top/show_blog_details_by_id?id=2bf6fd4688e44a7eb...

  • LightGBM On Spark

    通常业务中对计算性能有要求时,通常不使用GPU跑tf,会使用xgboost on Spark来解决,既保证速度,准确率也能接受。LightGBM...