整体架构
Datavines [github] 是一个数据可观测性系统，旨在帮助企业减少“数据宕机时间”，帮助企业能够在数据错误导致损失之前及时发现数据错误，它具有数据目录管理、数据质量监控和SLAs等功能。下面是它的架构设计图：
DatavinesServer 服务采用无中心化设计，支持水平无限扩容。主要负责对外提供API、调度各种数据监控任务并执行。
组件详解
CatalogManager
主要功能
- Api 服务
- 数据源管理
- 数据源的元数据管理
- 数据质量管理
- 数据质量检查作业调度和执行
- 检查规则管理
- 质量检查管理
- SLAs 管理
- 错误数据管理
高可用设计
- DatavinesServer采用无中心化设计，支持动态增容扩展。集群中所有节点都能对外提供服务，节点之间通过竞争分布式锁获取Job来进行调度和执行
MetaDataServer
MetaDataServer是元数据管理中心，主要负责数据目录，元数据模型、元数据存储、查询等元数据相关的功能。
MetaDataCrawler
MetaDataCrawler 主要负责定时去抓取指定数据源的元数据信息，然后更新到元数据存储引擎中
NotificationServer
NotificationServer主要负责告警，用户在平台上配置告警规则，一旦数据监控任务触发告警，那么NotificationServer就会将报错信息发送到指定的平台上，例如邮箱，企业微信等
核心设计
插件化设计
Connector插件化设计
- Connector模块中定义了包括不仅限于连接参数相关、元数据信息获取相关、数据源执行脚本相关等接口，用于实现连接数据源、获取元数据信息以及执行相应脚本等功能。
- 插件化设计允许用户实现Connector模块的相应接口来实现添加自定义数据源
Metric插件化设计
- Metric是平台中非常重要的组成部分，主要用在各种数据监控任务中，Metric的丰富性使得平台的监控和检查手段更加丰富。本平台会内置多种Metric让用户可以开箱即用，同时也支持用户实现Metric相关接口来新增用户个性化的Metric。
Engine插件化设计
- Engine是平台核心组成部分，是定义数据监控任务在计算引擎中的执行逻辑，不同的Engine对应不同的执行引擎，例如Spark、Flink、Presto等。执行逻辑主要由Sources、Transformers和Sinks组成，由Source来执行数据源的连接和数据读取，由Transformer来执行各种聚合统计处理，由Sink来执行执行结果的输出。不同的计算引擎实现方式有所不同，但是核心的流程就是读取数据，执行统计和输出数据。插件化设计允许用户自定义Engine来增加新的计算引擎。
流程设计
任务执行流程
数据监控参数生成流程
未完待续。。。
加入我们
Datavines 的目标是成为更好的数据可观测性领域的开源项目，为更多的用户去解决元数据管理和数据质量管理中遇到的问题。在此我们真诚欢迎更多的贡献者参与到社区建设中来，和我们一起成长，携手共建更好的社区。
- 项目地址： https://github.com/datavane/datavines
- 问题和建议： https://github.com/datavane/datavines/issues
- 贡献代码： https://github.com/datavane/datavines/pulls
关于Datavane
Datavane是一个专注于大数据领域的开源组织(社区)，由一群大数据领域优秀的开源项目作者共同创建，旨在帮助开源项目作者更好的建设项目、为大众提供高质量的开源软件，宗旨是：只为做一个好软件。目前已经聚集了一批优质的开源项目，涉及到数据集成、大数据组件管理、数据质量等。
在 Datavane 社区中，所有的项目都是开源开放的，代码质量和架构设计优质的潜力项目。社区保持开放中立、协作创造、坚持精品，鼓励所有的开发者、用户和贡献者积极参与我们的社区、共同合作，创新创造，建设一个更加强大的开源社区。
Github: https://github.com/datavane
