「数据中台」最早是由阿里提出，对标国外「Data Lake」（数据湖）的概念。该概念提出的背景是因为阿里生态系中淘宝、天猫、蚂蚁金服、盒马鲜生等业务板块每天产生大量有价值的数据，要实现在不同业务群间做到数据的互联互通，以及对数据价值的最大化挖掘，便需要对各业务群的数据进行整合以建立集团层面的「数据中台」，统一管理和应用数据。
一.广告主对营销数据中台的期望是什么？
1.赋予广告主数字营销的精细化操作能力，当市场部承接的数字营销预算大到一定程度时，便无法仅凭借营销人员的个人经验对营销活动进行微观操作。而在拥有数据中台后，便可依靠数据+技术，驱动整个营销体系的精细化操作；
2.提升营销执行的ROI：这是广告主最常规的诉求，市场部绝大部分预算都分配在营销执行层面。按照每年1亿的营销投入计算，如果能通过数据提升1%的精准度，就能为广告主节省100万的成本，这是能最直接看到的真金白银；
3.战略视角的营销策略：在打通生产、销售、电商、服务等数据后，市场部就能看到更加连贯的全局数据，可以站在更高维度审视营销在公司战略布局中的定位和作用；
4.提升市场部内部运营的整合度：当市场部内部职能划分过细，便需要通过数据来串接营销运营过程中的市场研究->市场策略->营销执行->效果考核，避免内部信息不对称，提升运营效率 ；
5.加强市场部和其他部门间协作：当企业内部组织架构达到一定复杂度，市场部需要通过数据对接其他部门的运作，在企业统一的考核体系下，于企业内部证明自身价值，争取更多资源；
6.支撑业务的数字化转型：「数字营销」已不再只是营销词汇，数据中台所拥有的资源（数据/IT设施/考核规则/运营人员），除了支持营销场景，还可用于构建各种数字化转型的业务场景，作为CMO和CEO/CGO/CDO对话的核心资本。有趣的是，今天讨论建立营销数据中台的，除了市场部和IT部门，很多需求是来自更高层的CEO、COO（首席运营官）、CGO（首席增长官），这些高层的诉求是通过「数据中台」来解决业务问题（例如产能过剩、人员效能、获客），支持企业的创新业务（例如新零售、金融科技、数字化管理）。
二.数据中台的系统架构模型
三.数据中台几个关键点：
1.多数据源对接
从各种数据源提取数据，放入数据中台，数据类型包括
● 第一方数据：广告主自身系统上产生的数据，例如CRM、售后服务、会员系统等；
● 第二方数据：广告主在外部系统上产生的数据，由外部系统通过API提供，例如电商数据、广告监测数据、微信公众号数据等；
● 第三方数据：广告主直接购买的外部数据资源。需要强调的是，和业外人想象的不同，第三方数据交易并非一手交钱一手交数据。目前数据生态圈的法律合规要求，第三方数据交易不允许广告主直接采购消费者的ID，数据服务商智能基于广告主提供的消费者ID提供数据服务。
2.数据治理
在获取不同数据后，对数据的治理包括三个任务
A． 数据标准化：例如不同数据源对于消费者性别的描述有「男-女」，「先生-女士」等多种写法，在做数据整合的时候，需要统一不同数据源对于相同含义的描述值；
B． ID打通：上文也描述过，不同数据源对于消费者的识别是基于不同ID的，数据源的拼合需要ID打通。对于大部分广告主来说，无法拥有像BAT那样的数据量，BAT每天能收集十亿级别ID发生的千亿级别的行为数据，他们的确能做到依靠自身数据打通不同数据源。大部分广告主在没有如此大量数据和消费者活跃度的情况下，ID打通需要依赖外部数据源；
C． 异常数据甄别：和ID打通一样，异常数据的甄别在广告主自身数据不够庞大的情况下，同样依赖外部数据。例如某个ID每天会点击2次某广告主的广告，这个行为相对正常。但是如果放到全行业，这个ID也许每天会点击1万次各个广告主的广告，这就很明显是流量作弊了。
3.数据存储和运算
在数据完成治理后，统一放入数据库进行管理和运算。由于数据量过大，在单一服务器上无法完成存储和运算，就涉及到大数据的分布式运算，云计算等复杂IT层面的管理。
按照数据存储和计算的地方，可分为营销云（数据存在第三方的云平台上），自有云（广告主自己的IT环境内），混合模式（非敏感数据存放在第三方云，敏感数据在自有平台），以上不同的方式有着不同的成本，数据安全和合规要求等。
4.权限管理
数据中台的目标是支撑市场部甚至全公司不同业务场景，这也意味着从公司高层到底层外包员工都需要从数据中台提取数据，为了防止数据泄露等问题的发生，需要对不同用户、不同场景进行权限分级管理。例如负责接听电话的客服人员，在客服系统中就不可以看到消费者的全名和实际手机号。
5.数据分析
上文也有描述，在使用「营销大数据」前，需要对数据通过分析，生成业务侧用户能够理解的标签，分析的过程包括非实时的传统数据挖掘，依靠AI人工智能的实时分析等。在分析过程中，广告主很难在短期内积累自身的知识图谱和高质量的标签，需要依赖外部的数据能力。
6.数据可视化
虽然数据中台是由技术背景的团队进行运维，但是实际使用的是对数据缺乏感知的业务侧人员。对比成亿条原始数据，业务侧也许只需要一个饼图就能得到商业结论，因此可视化是真正让业务侧使用数据中台的基本工具。
7.数据输出
数据中台的产出，除了数据可视化展现的洞察外，还会对接不同的业务系统，通过数据来驱动业务场景，例如程序化广告、新零售、动态定价等诸多业务场景需要毫秒级的查询和输出，也是IT层面需要解决的技术问题。
四.常见的数据源
①基于设备ID、cookie的网站分析和广告监测数据：描述的是消费者对于互联网广告，以及广告主官网、APP等自由平台的浏览和点击行为；
② 基于手机号的PII数据：包括会员系统、CRM数据等，描述的是消费者的会员信息，历史采购记录等；
③ 基于Mac#和人脸识别的线下数据：通过智能探针技术、摄像头+人像识别技术，收集到的消费者线下行为数据；
④基于外部平台ID的平台数据：包括微信的Open ID、各个大数据方的自建Super ID等。
这些数据的打通虽然有很多技术途径，例如在微信中建立SCRM会员体系，消费者在微信公众号中进行手机的实名认证，就能打通手机号和微信Open ID；再例如一个消费者在手机和电脑上用同一个用户名登录了某个APP，就知道手机的设备ID和电脑浏览器的Cookie是同一个人等等。
考虑到一个消费者可能有多个终端、多个手机号，会经常换手机（设备ID变化），会借用别人终端登录APP，还有网吧共享电脑等复杂形式的存在，当广告主自身数据量不够大的时候，很难依靠以上这些技术手段达到很好的数据打通效果。
五.数据中台的三种形式：Data Lake，CDP，DMP、
● Data Lake（数据湖）：技术难度最重的一种，定位是企业业务层面的数据大集市，会整合全公司各种数据源，支撑的不只是营销场景，还包括企业个性化的业务场景，往往由企业的最高层直接领导，目标是帮助企业进行数字化转型。由于在数据对接和数据处理层面需要处理大量定制化数据源，因此构建过程往往以年为时间单位；
● CDP（Customer Data Platform）：技术难度稍低的数据中台，定位是营销层面的数据大集市，目标是支撑各种利用广告主自有数据的营销场景。因为CDP通常只对接标准化数据源（例如两个广告主用的是同一款标准化CRM，他们的底层数据结构都是一样的），数据治理和数据管理相对容易，因此实施周期以月为单位；
● DMP（Data Management Platform）：定位是支撑以程序化广告为主的实时营销场景，和Data Lake，CDP的最大不同是毫秒级数据输出。因为DMP主要用到的是广告监测数据、网站分析数据和第三方大数据，数据格式相对固定，因此实施难度最低。
因为在程序化广告的运营过程中，DMP的数据会暴露在公网上，被外部供应商和媒体调用，因此只能存放广告投放使用的匿名数据（ID和标签），不能存放其他敏感信息（姓名、手机号、地址、历史购买等），投放的标签也需要脱敏（例如某ID的标签是A，实际代表着过去3周没有购买的高消费客户，但这个定义只有广告主内部数据分析团队知道）。
在数据存储和运算中，DMP可以构建在广告主自己的IT环境里（称为第一方DMP），也可以放在第三方营销云上（称为SAAS DMP，或者第三方DMP）。因为第三方DMP会预先对接媒体，自带算法、标签和数据治理模块，能把DMP的实施时间缩小到几周，可以大大降低实施成本。
而由于Data Lake 和CDP上存储了广告主的敏感数据和商业机密（例如历史采购信息），因此只能构建在广告主自己的IT环境下，从技术角度而言更加复杂，成本也更高。
通过上表可见，Data Lake和CDP相对复杂，但是在应用场景上有更多遐想空间，而DMP则就是为程序化广告而生，是最轻量的营销数据中台技术。三种形式不存在谁优谁劣，各有各自的适用对象或场景：
● DMP：适合在广告投放领域投入大量预算的广告主，例如快消、汽车、化妆品、娱乐等；
● CDP：适合消费者复购比率高，自有体系可以收集大量消费者数据的广告主，例如奶粉、零售、运动用品、化妆品等；
● Data Lake：适用于有大量数据驱动应用场景的广告主，例如快消、零售、汽车。
文章转自：https://www.jianshu.com/writer#/notebooks/9882362/notes/44382794
