结构化数据转换

可选引擎:

1、 kite 框架

适合少量数据(多少?)

用xml表是映射关系;

适用于结构化数据(行存储的数据);

用于前端数据导入;

三要素

row provider,row processor,config


问题

1、如何调度?

消费驱动:以目标为单位划分工作。

数据源驱动:以源为单位划分工作。

2、规范化(normalize)数据?如何做?

好处?

1)消除数据冗余!保证了数据库的完整性和一致性!

2)理想情况下,一张表对应一个实体,包含一种关系!!

3)节约物理存储!

坏处?

查询时需要连接多张表,查询性能相对差。

增加了外部键和索引的数量!

scale能里差!

编辑实体非主键字段,要注意该字段做关联的关系。

删除实体,首先要删除实体对应的关系。恢复实体,关系需要显示的重建!!

如何做?3NF, BC NF?


参考:

https://about80minutes.blogspot.com/2012/11/palantir-in-number-of-parts-part-3-data.html

推荐阅读更多精彩内容