从概念到应用再到架构，一篇文章彻底读懂元数据管理 http://mp.weixin.qq.com/s?src=3×tamp=1489854985&ver=1&signature=1g6icVYxxZUwjIqXGlyDApJxDazNB-asRqbzoE2oOrMQT2jEjLujIyLD4YNzlLcJ-aVUlPxCu55XyFGXVxLDhhKViG7J6Z0CPTjaVMadNif0yscnBWBgmKOrRwYpAW9mAT19VXq1VYqm7D2Oh827BPJjGfuYZPGQXbMLiSJhg=
更多元数据技术文章：
1、《90后美女程序员：元数据什么鬼》
2、《轻松理解元数据，只需懂点心理学》
3、《大数据治理的核心，可扩展的元数据架构设计》
4、《元数据核心架构解析》
5、《元数据管理的未来趋势——企业元数据管理（EMM）》
6、《大数据时代，数据管理的12条铁则》
7、《元数据驱动的微服务架构》
（不能直接跳转的文章请大家自行搜索）
相关案例：
1、《北京银行通过多态元数据管理大幅提升IT运营效率》
2、《太平洋保险——元数据驱动成为行业未来趋势》
3、《华夏银行—大数据时代，商业银行该如何治理海量数据？》
4、《“理数据，抓质量，建平台”——上海移动的数字化转型之路（三）：大数据治理》
5、《金融资产管理行业首个数据标准产出》
6、《对于坐拥海量数据的金融企业来说，大数据治理意味着什么？》
那么该如何理解元数据管理？企业元数据管理的价值究竟在哪里？元数据管理架构的关键点是什么？本文从概念到实际应用场景再到技术架构设计，为大家详细介绍元数据管理。
如何理解元数据管理？
说元数据管理之前，我们需要先说说“元数据”这个比较抽象的概念。“Data about Data”，元数据是关于数据的描述，存储着关于数据的信息。实际上就相当于查找数据信息的目录，《90后美女程序员：元数据什么鬼》中曾经用小蝌蚪找妈妈的故事来解释元数据，可以用下图表示：
其实系统理解信息的方式和人类的认知过程是非常相似的，所以我们也可以从人类的认知过程来理解元数据的概念。
人类通过不断积累维度信息来全面认知世界。业界有名的“DIKW金字塔”认为，数据(Data)、信息(Information)、知识(Knowledge)和智慧(Wisdom)之间是层层递进的关系，我们从数据里挖到信息，从信息里得到知识，从知识里获取智慧，才有了真正的生活。如果在金字塔中给Metadata找一个位置，那么一定位于Data层和Information层之间，它赋予Data特定的含义，与Data一起构成了我们认知Information的基础。
类似的，计算机系统也是通过不断地给数据增加“维度”来理解信息的。实际上元数据就是计算机的“认知维度”，是计算机理解信息的一种方式。（详细内容见《轻松理解元数据，只需懂点心理学》一文）
目前，应用元数据管理最广泛的领域当属数据领域，所以很容易给人们造成元数据只存在于数据领域的假象，其实除了数据领域，元数据还广泛存在于企业信息系统甚至企业业务过程的方方面面。因此，为了让元数据的价值能够充分体现出来，企业需要扩大元数据管理的范围，从简单的库表，到整个数据平台，再到服务管理，甚至到驱动微服务，不断突破传统元数据管理的范畴。（详细内容见《大数据治理的核心，可扩展的元数据架构设计》一文）
企业元数据管理的价值在哪里？
王轩曾在《元数据管理的未来趋势——企业元数据管理（EMM）》一文中提到，未来元数据管理必然会受到国内外企业的关注。从国内外企业现状来看，确实很多企业已经意识到了元数据管理的重要性，并且已经开始着手元数据管理相关建设，那么元数据管理究竟能给企业带来哪些好处？
1自动采集企业元数据，全面梳理企业信息资产
企业数据通常呈现碎片化分布，一共有多少系统，各系统之间有什么关系，系统中都有哪些表，哪些表是孤立的可以删掉，是很多企业很难直接弄清楚的问题。
合适的元数据管理工具可以通过自动化的方式，帮助企业完成数据信息、服务信息与业务信息的采集，自动化抽取企业内部所有元数据，为企业展现完整信息资产视图,从而帮助企业集中管理所有信息资产,方便数据的交互和共享的同时很好地解决了上述一系列问题。（详细内容见《大数据时代，数据管理的12条铁则》)
图：企业信息资产整体视图
2分析数据流向，迅速响应业务数据问题
在企业中，往往会遇到这样的问题：业务人员发现分析报表中的数据有问题，要求IT部门尽快修改，但由于数据加工链路很长，此次修改会涉及到多个项目组,甚至多个公司，其中技术手段各式各样，所以很难定位到该问题数据的相关表和字段。
而元数据管理可以帮助企业分析数据流向，具体到字段级的数据解析可以帮助企业分析数据之间的上下游关系，通过可视化的方式展现数据上下游关系图，快速定位问题字段，帮助企业降低数据问题定位的难度。
图：元数据影响分析展现
3通过多环境对比分析，消除系统上线隐患
通常企业系统建设会分为开发、测试与生产三套环境，在软件开发过程中，往往会出现开发库、测试库测试通过，而在上线过程中又出现问题的情况。
若通过元数据管理工具管理系统的上线变更，自动采集并管理三个环境的元数据，保证各个环境中元数据的及时性和准确性，对比上线环境与测试环境的元数据，分析上线系统对其他系统的影响，就能够避免此类问题发生。（具体案例请见《北京银行通过多态元数据管理大幅提升IT运营效率》）
图：通过元数据管理，消除系统上线隐患
4驱动微服务架构，规范微服务体系的设计
在微服务架构中微服务的粒度小，数量多，元数据可以成为微服务之间对话的统一“语言”，帮助企业规范整个微服务体系的设计，通过元数据统一定义微服务中的数据标准和服务标准,分析微服务之间的调用关系，解决微服务边界交互难的问题。
有了元数据管理，企业可以对微服务的全生命周期进行科学有效的管理。在规划阶段规范微服务，在设计阶段提供连接其他微服务的元数据信息，在开发阶段协助微服务开发测试，在上线后分析微服务的使用情况，协助维护微服务的变更，最后微服务下架时，还可以将微服务的元数据存档，确保对目前体系不产生影响，从而对微服务的全生命周期进行科学有效的管理。（详细内容见《元数据驱动的微服务架构》)
（更多元数据应用场景，见《从三个场景看如何玩转元数据应用》）
元数据管理架构的关键点是什么？
一般来说，设计元数据管理平台技术架构时需要考虑元数据管理平台使用中的关键环节，包括元数据采集、元数据存储、元数据管理和应用等，如何保证元数据从采集、存储到管理应用等关键环节的稳定和扩展，成为元数据管理架构设计的关键点。王轩曾经在《大数据治理的核心，可扩展的元数据架构设计》中从扩展性的角度详细介绍过普元元数据管理平台技术架构。
1以MOF为基础构建底层元元模型，方便元模型的定义和扩展
OMG的模型体系规范为元数据管理提供了基础，所以整个元数据管理的设计应该以模型体系规范为指导。OMG模型规范体系分为M3，M2，M1，M0四层，目前企业元数据管理的技术架构一般都是基于CWM标准，CWM标准位于M2层，是一个偏上层的规范，这从一定程度上限制了技术架构的扩展性，导致企业元数据管理平台只能管理数据相关资产，并不能管理对象、接口、业务、服务等其他企业信息。
图：基于更底层的MOF规范，支持更广阔的元数据类型
为了实现企业对内部所有信息资产的管理，企业元数据管理技术架构需要基于更底层的规范，也就是位于OMG模型规范体系M3层的能够描述CWM标准的MOF规范，以MOF作为底层元元模型来支持元数据管理，在M2层中就可以对元模型进行定义和扩展（例如CWM模型），将来还可以扩展到微服务模型、业务模型等，帮助企业扩展出其所需要的所有元模型，进而实现企业所有资产的统一管理。（详细内容见《大数据时代，数据管理的12条铁则》)
2选择基于MOF规范的存储方式，实现元数据的可扩展存储
为了将采集到的元数据存储起来，元数据管理平台需要把这些逻辑结构转换成实际的存储结构，元数据的存储模型是管理元数据的基础。一般来讲，有两种方式可以用来存储元数据：一种是将元数据转换成系统数据库表和属性，实现一对一存储。例如可以将主键存储在主键记录表中，将存储过程存储在存储过程记录表中等；另外一种是基于MOF元元模型把所有属性和关系打散，以此来实现元数据的通用存储结构。
图：元数据的两种存储方式
尽管第二种存储方式在实现上更复杂一些，但是在扩展性有绝对优势，是架构设计的优先选择方式。（关于元数据管理架构的详细介绍，见《大数据治理的核心，可扩展的元数据架构设计》）
3通过多种采集适配器自动采集元数据，保证元数据的一致性
设计了良好的存储结构，元数据的采集也变得更为简单。只需要三个部分，1，定义或选择需要采集的元数据的元模型。2，从源工具或系统中采集元数据。3，检查元数据质量后存储元数据。在元数据采集中需要注意的是第二部分，从目标系统中采集元数据需要尽全力考虑自动化的方式，如果没有自动化元数据很难与现实一致，那么整个元数据的价值也就非常难体现了。
图：普元元数据管理工具自动化采集
总结
仔细分析国内外现状，目前市场上对元数据管理的需求正日益增加，未来元数据将是连接业务，数据与服务的企业核心基础设施，可扩展的元数据架构将能够产生更多更有价值的应用场景。
更多元数据技术文章：
1、《90后美女程序员：元数据什么鬼》
2、《轻松理解元数据，只需懂点心理学》
3、《大数据治理的核心，可扩展的元数据架构设计》
4、《元数据核心架构解析》
5、《元数据管理的未来趋势——企业元数据管理（EMM）》
6、《大数据时代，数据管理的12条铁则》
7、《元数据驱动的微服务架构》
（不能直接跳转的文章请大家自行搜索）
相关案例：
1、《北京银行通过多态元数据管理大幅提升IT运营效率》
2、《太平洋保险——元数据驱动成为行业未来趋势》
3、《华夏银行—大数据时代，商业银行该如何治理海量数据？》
4、《“理数据，抓质量，建平台”——上海移动的数字化转型之路（三）：大数据治理》
5、《金融资产管理行业首个数据标准产出》
6、《对于坐拥海量数据的金融企业来说，大数据治理意味着什么？》
关于编者：
龚菲
毕业于中南大学，现负责普元数据产品市场推广，对大数据治理领域有深入认识，对元数据有独特的见解，涉猎广泛，擅长理论联系实际，从生活中理解专业知识。
