数据中台

平台架构:

数据应用

  • PMS/CMS/LMS/IMS
  • 智能数据分析
  • BIM展示/GIS展示/数字孪生技术应用

数据服务

  • 数据检索
  • 数据可视化(R语言)
  • 数据模型管理
  • 数据开放接口
  • 数据编排
  • 治理报告

数据管理

  • 数据管理:数据权限管理、任务调度管理、数据监控管理、数据运维管理
  • 数据访问:JDBC、SQL、API
  • 数据分析:通用计算模型管理、深度学习模型管理、指标计算、算字库、知识库
  • 数据治理:元数据管理、数据血缘管理、数据质量管理、数据稽查、数据安全
  • 计算模型:MapReduce、图计算、流式计算、内存计算

数据采集

  • 爬虫、数据填报、ETL
  • 工具:FDI、MQS、API组件、LINK
  • 数据队列:Kafka
  • 结构化 数据、半结构化数据、非结构化数据、时序数据

数据存储

  • RDB传统数据库
  • Hadoop分布式
  • MPP并行数据库
  • TSDB时序数据库
  • DocumentDB(跨区域数据库)
  • 数据湖泊:MRS+DWS

主流的大数据处理系统架构

  • NO.1
    流式处理:Storm、S4、SEEP Dstream、Naiad、Spark、flink
    数据查询:Pig、Hive、SharkMeteor、SCOPE、DryadLINQ
    机器学习:Mahout、MLBase、SystemML、Presto
    图像处理:Pregel、GraphLab Bagel、GraphX Giraph
  • NO.2 执行引擎
    MapReduce、Dryad、Spark、Nephele/PACT、Hayracks Percolator
  • NO.3 资源管理
    Apache Mesos、Hadoop YARN
  • NO.4 存储系统
    分布式存储:HDFS、GFS
    BigTable、Hbase、Dynamo Cassandra、MongoDB、Redis、Mysql、Voldemort

推荐阅读更多精彩内容