1 什么是拉链表
拉链表是针对数据仓库设计中表存储数据的方式而定义的，顾名思义，所谓拉链，就是记录历史。记录一个事物从开始，一直到当前状态的所有变化的信息。
| 注册日期 | 用户编号 | 手机号码 | 生效日期 | 失效日期 |
|---|---|---|---|---|
| 2021年1月1日 | A01 | tel01 | 2021年1月1日 | 2021年1月1日 |
| 2021年1月2日 | A01 | tel02 | 2021年1月2日 | 9999年12月31日 |
| 2021年1月2日 | A02 | tel03 | 2021年1月1日 | 9999年12月31日 |
2 拉链表的使用场景
在数据仓库的模型设计中，经常会遇到以下数据存储方式：
- 方案一：每天只保留最新的数据
优点：实现简单，节省空间
缺点：无法追溯数据的历史状态 - 方案二：每天保留一份全量的切片数据
优点：能够保留数据的历史状态，实现简单
缺点：存储空间占用太大，未变更的数据每天被重复存储。结合数据需求做出取舍后，可以将生命周期设置为30天、90天 等 - 方案三：使用拉链表
优点：既保留了数据的历史状态，又规避了数据的重复存储
缺点：开发/使用 成本略高，大量记录频繁变更会导致存储压缩效果降低
3 如何实现拉链表
确定粒度
一般天粒度的拉链表已经能解决大部分的问题了，即拉链表每天只去一个状态，也就是说如果一天状态变更了3次，只取最后一个状态。
如果拉链表中存储最明细的变更记录，拉链表将退化为流水表。
模型结构设计
每天记录需要新增3个字段，用于标注记录的有效状态：
- start_date：表示该条记录的生命周期开始日期
- end_date：表示该条记录的生命周期结束日期
如果查询2021-01-01的历史快照：
select * from user
where start_date <='2021-01-01'
and end_date >= '2021-01-01'
数据写入
- 数据初始化
需要ods层的全量表，完成初始化工作 - 增量更新
最新变更数据 left join 前一天数据 ，更新前一天数据的end_date
union all
最新变更数据
查询优化
- 不分区
数据量大的时候，查询效率低 - 按start_date 和 end_date分区
partitioned by (start_date string, end_date string)
极限情况一年会有365*365/2=66612个分区，过多的分区会给NameNode带来压力，而且容易引起小文件问题 - 按月分区
每月2日把上一月还未失效的数据归并到1日的分区中，并且把生效日期置为1日。在上一月分区中失效日期置为上月最后一天。
备注：如果某个日期同步的数据出现问题需要重跑数据，则需要重跑从出问题的日期到当前日期的每一天数据
