有一张财务流水表，未分库分表，目前的数据量为9555695，分页查询使用到了limit，优化之前的查询耗时16 s 938 ms (execut...
投稿
收录了883篇文章 · 89人关注
-
一次SQL查询优化原理分析：900W+数据，从17s到300ms（减少回表查询） -
7000字，详解仓湖一体架构！一、 什么是数据仓库、数据集市和数据湖？ 1、数据仓库 早期系统采用数据库来存放管理数据，但是随着大数据技术的兴起，大家想要通过大数据技术来找...
-
经典Hbase面试7题（附答案）
Hbase Hbase是怎么写数据的？ HDFS和HBase各自使用场景 Hbase的存储结构 热点现象（数据倾斜）怎么产生的，以及解决方法有哪...
-
数据质量监控框架及解决方案总结
概述 随着业务发展和数据量的增加，大数据应用开发已成为部门应用开发常用的开发方式，由于部门业务特点的关系，spark和hive应用开发在部门内部...
-
数据治理8种方法
01 、 顶层设计法 顾名思义，顶层设计法就是先做一个数据治理顶层设计的规划，然后按照规划执行即可。 做过咨询的彭友都知道，顶层设计、战略咨询都...
-
Flink | Checkpoint 机制详解
一、Checkpoint 简介 Flink 的 Checkpoint 机制是其可靠性的基石。当一个任务在运行过程中出现故障时，可以根据 Chec...
-
Flink - 4 大主题、15 个高频问题
1.前言 2.状态原理 2.1. 状态、状态后端、Checkpoint 三者之间的区别及关系？ 结论：拿五个字做比喻："铁锅炖大鹅"，铁锅是状态...
-
[各分类商品购物车存量Top10] Spark 指标实战（7）
需求 各分类商品购物车存量Top10 前提 今天是 2020-06-14 建表语句 完整sql 步骤 只讨论 三级分类 查询一天 步骤 统计当天...
-
[各品牌商品交易统计] Spark 指标实战（6）
需求-各品牌商品交易统计 统计周期统计粒度指标最近1、7、30日品牌订单数最近1、7、30日品牌订单人数最近1、7、30日品牌退单数最近1、7、...
-
[最近7/30日各品牌复购率] Spark 指标实战（5）
需求说明如下 统计周期统计粒度指标说明最近7、30日品牌复购率重复购买人数占购买人数比例 建表语句 前提 今天是 2020-06-14dws_t...
专题公告
大数据开发技术细节,解决方案等等,【持续更新，欢迎关注】
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/539320/33.jpg', '推荐专题《大数据开发》（ 分享自 @简书 ）','https://www.jianshu.com/c/b2266bfb553d?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','页面编码gb2312|utf-8默认gb2312'));){kind=link}