计算广告与DMP学习

简书里基本我所有的文章都是给自己看的,所以文章会有侧重地写肯定不全,不是写给大家看的。



 中国互联网数据分析生态图(2017年4月):


简化版如下:

中国互联网广告生态圈








广告界可以参考的相关大牛和书籍


李奥.贝纳,乔治.葛里宾,威廉.伯恩巴特(他追求情感说服,慎看)

《广告效果与测定》,《广告测试的方法》

《广告写作的艺术》,《广告标题创作与赏析》


在线广告的业务形态和算法

1、计算广告的目的:

商业活动中广告主、媒体和用户的利益都需要被认真考虑和满足,才能达到整个市场的平衡和不断发展。广告的目的是激发和说服消费者


2、广告曝光类型:
1)条幅广告(Banner Ad)
2)文字链广告(Textual Ad)

3)富媒体广告(Rich Media

4)社交广告(Social Ad)

5)营销广告(Email Direct Marketing, EDM)


3、广告技术

广告系统的架构,就其在线部分而言,都非常像一个搜索引擎。具体地说,就是倒排检索加上排序这样的两阶段解决方案。广告的检索技术与搜索虽然有一定的差别,但基本框架非常类似。至于排序的准则,则与搜索有较大的区别:搜索排序以优化相关性为目标,但广告排序是以优化投入产出比为目标。


4、广告商业模式

1)自动交易终端:由于只能在广告网络定义好的定向标签组合上预先指定出价,而不能控制每一次展示的出价,因此,市场看起来象一个黑盒子,需求方只能靠选择合适的标签组合,以及阶段性调整出价来间接控制效果。

2)实时竞价:设计一种开放的竞价逻辑,让需求方按自己的人群定义来挑选流量!这样的目标催生了实时竞价(Real Time Bidding)技术。所谓实时竞价,就是把拍卖的过程由广告主预先出价,变成每次展示时实时出价。只要把广告展示的上下文页面url,以及访客的cookie等信息传给需求方,它就有充分的信息来完成定制化的人群选择和出价。需要注意的是,越是定制化的人群选择,往往就越精细,也就意味着单一媒体能达到的reach会相当有限。于是,市场上产生了大量聚合各媒体的剩余流量,采用实时竞价方式为他们变现的产品形态――广告交易平台(Ad Exchange)。

3)由于实时竞价主要采用按展示次数计费的方式(原因后文会详细讨论),DSP需要尽可能准确地估计每一次展示带来的期望价值


5、广告需要考虑的点

1)效果的可衡量性     2)创意和投放方式的标准化     3)媒体的多样化


6、广告涉及的技术

从系统架构的角度看,我们需要用到实时索引技术服务于广告候选的检索;用到No-SQL的在线存储技术为投放时提供用户、上下文标签和其他特征;大量使用Hadoop这样的分布式计算平台进行大规模数据挖掘;用到最新的流计算平台实现短时用户行为反馈;以及在广告交易环境下实现高并发、快速响应的的实时竞价接口;还需要许多有关HTML协议和前端展示的技术来完成广告的具体投放


7、广告计费模式

1)CPM(Cost per Mille)计费,每千人成本。CPM是一种展示付费广告,只要展示了广告主的广告内容,广告主就为此付费。

2)CPT(Cost Per Time) 每时间段成本。CPT是一种以时间来计费的广告,国内很多的网站都是按照“一个星期多少钱”这种固定收费模式来收费。这是针对大品牌广告主特定的广告活动,将某个广告位以独占式方式交给某广告主,并按独占的时间段收取费用的方式

3)CPC(Cost per Click)计费,即按点击计费。CPC是一种点击付费广告,根据广告被点击的次数收费。如关键词广告一般采用这种定价模式,比较典型的有Google广告联盟的AdSense for Content和百度联盟的百度竞价广告。这种方式是把点击率的估计交给供给方(或者中间市场),而把点击价值的估计交给需求方,而需求方通过出价的方式向市场通知自己的估价。

4)CPA(Cost Per Action) 每点击成本。CPA是一种按广告投放实际效果计价方式的广告,即按回应的有效问卷或注册来计费,而不限广告投放量。电子邮件营销(EDM)现在有很多都是CPA的方式在进行。

5)CPS(Cost Per Sales):以实际销售产品数量来换算广告刊登金额。CPS是一种以实际销售产品数量来计算广告费用的广告,这种广告更多的适合购物类、导购类、网址导航类的网站,需要精准的流量才能带来转化。



8、受众定向问题:定向效果和规模

要提高其回报,受众定向是其最重要的核心技术。从计算广告的核心,即优化一组流量上的ROI这一问题的角度来看,受众定向技术即是对广告(a)、用户(u)、上下文(c) 这三个维度提取有意义的特征(这些特征也称为标签)的过程。

上下文定向

上下文定向主要可以有如下的几种思路:1. 用规则将页面归类到一些频道或主题分类,这种方法相对简单;2. 提取页面中的关键词,这种方法是将搜索引擎的关键词匹配技术推广到媒体广告上时自然产生的,也是上下文定向的基本方法;3. 提取页面入链锚文本中的关键词,这种方法需要一个全网的爬虫作支持,因此已经超出了一般意义下广告系统的范畴,有兴趣的读者可以参考搜索引擎方面的有关文献;4. 提取页面流量来源中的搜索关键词,这种方法除了页面内容,也需要页面访问的历史记录作支持,从技术方案上来看更接近后面介绍的行为定向;5. 用主题模型将页面内容映射到语义空间的一组主题上,这样做的目的是为了泛化广告主的需求,提高市场的流动性,这一类的方法将在下文专门介绍。

例如,对于页面浏览行为,我们向上下文定向中介绍的那样,将页面内容转换为标签,作为此次行为的标签;而对于搜索行为,我们可以根据查询词将其映射到某些标签上,在将某个用户在一段时间内在标签l 的查询词总数,作为xl里的一维。

主题模型有两大类别:一种是预先定义好主题的集合,用监督学习的方法将文档映射到这一集合的元素上;一种是不预先定义主题集合,而是仅仅控制主题的总个数或聚类程度,用非监督学习的方法自动学习出主题集合,以及文档到这些主体的映射函数。

转化过程的自然划分,eCPM可以分解成点击率和点击价值的乘积





DMP篇

DSP(Demand Site Platform)是需求方平台,负责接受投放需求,找人群数据,实现投放竞价等功能的那么一个中央管理控制平台。

DMP(Data Management Platform)是数据管理平台,负责数据汇集和按需要与DSP进行数据交换。


DSP和DMP关系

与以往的互联网广告投放方式不同,DSP模式的主要特征是精准定位目标人群,先按照投放需求来圈定目标受众,如在上海地区的0到180岁喜欢奢侈品 月收入约100块的宅男。还需要设置投放条件,如他使用PC每次点击广告的单价不超过2分钱。然后这些条件就交到了DSP系统,DSP会跟DMP沟通, 找出条件匹配的人群,并根据竞争程度(实时竞价RTB),可使用的媒体资源等实际环境,来进行广告投放。

这里面涉及到了RTB(Realtime bidding),即实时竞价。这个很好理解,多个广告主的目标用户经常是重叠的,投放资源也需要去抢,就会产生竞价,在同一时间进行PK。


我们接下来看看数据的类型。

数据一般有3种类型,即第一方数据第二方数据和第三方数据。

比如说随便找一个广告主,以可口可乐公司为例吧,它的CRM是第一方数据,是它自己所拥有的数据。

第二方数据比如说可口可乐与九枝兰合作,九枝兰帮可口可乐投放广告,同时数据也会被九枝兰监播。那么这一部分监播的数据,理论上也是属于可口可乐的资产。但是数据是由九枝兰提供的,这个时候,可口可乐是甲方,九枝兰是乙方。那么九枝兰的数据,对可口可乐来讲是第二方数据。

如果在营销的过程当中九枝兰说数据不够,能不能再用一些腾讯的数据。于是九枝兰又找来一些腾讯数据,这时候这个数据对于可口可乐来说就是第三方数据。

一般来说,第一方和第二方的数据是比较好的,尤其是第一方数据,因为这些数据是你自己的,你对数据拥有充分权限,而且数据的适用范围很广,时效性也不错。但是它有一个问题就是第一方数据的量一般来说比较少,一般是你知道顾客是谁之后才会得到。第二方数据理论上和第一方数据差不多,相对而言质量也比较好,实效性较强。第二方数据和第一方数据都存在一个问题,就是虽然第二方数据比第一方数据广得多,但数据本身的范围还是比较窄,源头都是甲方“自己人”的数据。因此,第一方数据和第二方数据无法很全面的描述一个人,如果这个人的行为在甲方和它的合作伙伴的监测范围之外,那么第一方数据和第二方数据就无能为力了。但对一个人的描述必然需要是全面的,我光知道他跟可口可乐“不得不说的故事”是不足以帮助到我们实现针对性的营销的。比如,我们不知道这个人除了访问了可口可乐网站,实际上他还特别在意减轻体重,经常浏览各种健身和保健内容等等。如果我们能知道后者,我们或许就明白推荐给他“健怡”更合适。为了实现这样的对受众的更全面的了解,这个时候我们还必须求助于第三方数据。

第三方数据在中国分成几个大类

第一大类,大垄断平台生态圈子的数据,就是BAT的数据——百度阿里巴巴腾讯。

第二大类,运营商数据,运营商有很多底层的数据。

第三大类,很多垂直领域的平台,比如说宝宝树,易车网等。

一般我们会认为BAT三家的数据是各具特点的,而且质量是很高的。比如说百度是搜索数据,搜索数据具有高度时效性,是人的意图的最直接反映。阿里巴巴是消费意图的数据。腾讯是非常好的人和社会属性的数据,这就是BAT的数据。

 


第二类的数据就是运营商的数据。运营商的数据有一个好处就是它是底层,所以理论上能看到的数据比BAT要多。所以运营商的数据是非常好的数据。不过运营商数据存在几个无法克服的问题。第一个,运营商的数据可以获得,但是前提是运营商愿意跟你合作。因为运营商身份的关系,这个事情不一定是纯商务关系(不像跟BAT的合作,基本上是利益牵手)。而且运营商最近遇到了流量劫持等争议性问题,所以在选择数据合作伙伴的时候很谨慎。

运营商数据的第二个问题,是运营商很多是“军阀割据”的。你要搞全国数据,你得跟他们的每一个“地方军阀”去谈。这个工作我估计中国没几个人能全部搞定。

运营商数据的第三个问题,是越来越多的网站、APP采用了加密手段。所以过去互联网对运营商基本上可以算作透明世界,现在也有不少数据看不到了。比如,运营商过去是能看到百度用户的搜索数据的,百度说,这风险太大了吧,于是把search queries都加密了,然后运营商也就看不见了。

虽然有这三方面的问题,运营商仍然是比较好的数据合作方。他们姿态上比BAT开放的多,运营商逐步管道化和边缘化,所以他们也相对乐意在数据上找到一些新的增长点。

如果运营商愿意提供数据,他们将提供给DMP经过“脱敏”的数据。脱敏是指我们在DMP中所使用的数据理论上都应该是非PII数据。所谓PII是指能够识别个人具体身份信息的数据,并且可以通过这些信息定位到真实世界中的这个人,有点类似于“人肉信息”的意思。运营商是有个人的识别性数据的,比如有用户的姓名,身份证号,出生信息,家庭地址,IP地址。这些都是PII信息,运营商不会发给DMP,当然DMP也不可以获得这些数据。而另外一些数据运营商也可以获得,比如某个互联网用户访问某个网站时候的cookie、被某个广告技术服务商打上的cookie等,还能看到他一段时间内浏览网页、使用APP的全路径,还能看到某个人的地理位置的不断变化的信息。

运营商和你合作的时候,会对数据脱敏,把PII数据去掉,变成一些普通的数据。比如说绝对不会把这个人的身份证号、手机号提供出来。这就涉及了DMP的另外一个问题——隐私问题。有一年315晚会曝出一些广告技术服务提供商侵犯了用户的隐私,其实他们所谓侵犯的隐私可能完全没有PII数据,用于广告定位的信息可能已经都经过脱敏。但是如果运营商把你的手机传给了第三方,这就是侵犯隐私。现在立法严格了,这么做已经深具风险。


如果自己建DMP的话,会有很多的挑战:

第一个挑战是建DMP平台需要多大的投入?

第二个挑战是数据哪里来?

第三个挑战是数据怎么用?

这是三个关键问题。

首先,费用问题,包括机房、硬件、人力等等所有东西都要我们自己去投资,费用肯定会更贵一点。所以现在大多数广告主都使用云端,数据经过加密只为广告主自己所有,物理存储是公用的,这样会使成本下降,从部署的难易程度来看也是云端更简单。

其次,数据从哪里来,当然第一方数据第二方数据企业是有的,只是需要一个DMP把它们整合在一起。如果不做DMP,我没有机会去整合一二三方数据,做了DMP,数据量非常的大,技术、成本就面临很大的挑战。

所以最终我会建议广告主去建一个二元结构的DMP:建一个自己的DMP去负责处理第一方第二方和少量第三方的数据(放在云端或者自建均可,看自己的能力),因为是自己建的DMP,所以数据的安全性非常有保障, 而且数据量不是非常的大,管理难度大大降低了。企业有了自己的DMP还可以很好的和一些程序化工具连接在一起, 从而实现企业自己控制程序化营销过程而不需要掌控在别人的手中。这是二元结构的企业主的一边,在另一边,如果企业主要应用大量的第三方数据,有另外一个大的在云端的DMP平台,企业自己可以把第一方第二方和云的第三方数据打通,形成企业自己DMP和第三方DMP(或第三方数据源)连接在一起的二元结构。

总结来说,二元结构下的企业自建的DMP,既可以解决存储数据、应用数据的问题,同时它连接第三方大的数据平台,又可以解决第三方数据来源不够的问题。进可攻退可守,是一个可落地的非常好的解决方法。


哪些行业和哪些企业适合自建DMP?

宋星:第一个就是每年有一定的广告投放和市场推广费用的企业,如果费用还没有DMP的成本高,那就不用建了。

第二个是对自己数据的安全性要求比较高,自己建DMP可以解决这个问题。

第三个是对客户人群的细分是有要求的,比如说像汽车行业、母婴行业、奢侈品行业,并不是所有的人都有购买这些产品的需求,营销必须对人有针对性,这种企业对DMP需求高,而且最好是自建DMP平台。这几种情况下都可以考虑去建自己的DMP平台。不过自建DMP,对自己的IT部门是有很高的要求的,我相信并不是每个有自建DMP需求的企业主都能够真正的靠自己的员工去建设一个DMP。如果没有这样的自信和实力,那么不妨利用软件外包的方式,让第三方开发公司来承建。


CRM和DMP密切相关,那么如何把 CRM数据运用于DMP中?

二元结构有一个很大的好处就是“小DMP”(即企业自建DMP)和“大DMP”(即第三方DMP或者第三方数据源)是打通的。小DMP里面包含一部分CRM的数据, 假如说CRM里面有1万个人,这1万个人我是明确知道他们是购买汽车的。通过我的小DMP我只能知道他们很少一部分信息(因为小DMP里面只有第一方和第二方数据),而通过进行一些用户的ID匹配的方法,我们可能能够在大DMP中同样找到这些人,而大DMP中则有这些人的其他一些更广泛的数据。比如说我小数据库里面是1万个人,那么大数据库里我也同样找这1万个人在大的数据库里面还有什么样的信息,找到了以后就丰富我现有这1万个人的标签,通常小DMP是这些人的CRM数据、企业主网站和广告的监测数据等,大DMP中是这些人的社会属性、兴趣爱好等。一旦这1万人的大小DMP中的数据统一起来并且传输给企业主,企业主就可以在DMP里做一些分析和统计,看看这些人有没有一些共性,这实际上帮助我实现了目标受众的洞察——利用这些共性,我们可以实现更多方式的针对性广告投放比如,汽车公司的客户数据中,我们只知道客户是对汽车感兴趣的一群人,现在我可以进行更全面的分析,我们还能知道这群人原来对摄影都特别感兴趣,我们的营销策划就增加了一些新的着力点。又比如我们有一个销售高端红酒的客户,一瓶红酒上万元,之前广告主无法实现精准投放,只能去投一些时尚类、生活类的网站,能够影响到的人群太小,但又不敢随便放大人群,因为毕竟高端红酒是niche的市场。通过DMP分析发现:购买红酒的人都会表现出一些很有意思的共同点,比如说这其中有30%的人平时会浏览一些军事类政治类的网站,这是他们之前根本不可能想到的。所以以后他们会增加投放这一类的网站和流量作为补充,结果ROI也相当不错。这就是DMP的除了广告投放外的另一个好处,就是可以实现对受众人群的洞察,并且在这个洞察的基础上,可以形成新的营销策略。

另外,DMP还有一个价值体现在它能够自动化规模化的找目标客户。比如,我的CRM只有1万个人,这1万个人太少了,但是这1万个人所体现出来的共性我记录下来之后可以在更大的人群里去找和这1万个人很相似的人,这在营销上叫look-alike。Look-alike到的人,我针对他们进行投广告,效果肯定比盲投要靠谱。虽然我不知道这些look-alike的人是不是一定喜欢汽车,但是他们的兴趣和这1万个喜欢汽车的人那么相似,他们是同一类人的可能性很高。我这1万人,可以在DMP中,找到100万人跟他们相似的,那么我们投放广告的广泛性扩大了,同时投放的精准性还能得到相当不错的保障。


对于不打算自建DMP的企业,如果要选择一个靠谱的服务商,应该注意哪些事项?

现在真正能做到这个的服务商还不是很多。而且风险很大,如果它一旦关闭了第三方数据,企业对数据将一无所有。所以还是建议大家尽量去建自己的DMP。

但如果真的要选择DMP供应商,我有几点建议给大家:

首先就是要关注它是不是有成熟的案例和服务的客户,是不是真正的有数据存储。并且别忘了我前面讲到的数据的适用范围、数据的新鲜度等问题。

第二点就是选择有较长生命周期的DMP服务商,也就是说你需要选一个靠谱的、具有发展前景的DMP品牌。业界有DMP服务商服务了没多久就关门的负面案例。系统停了是小事,数据没了就麻烦了。

第三点就是判断它是不是有好的第三方数据,而不是宣称自己有BAT的数据, 你甚至可以要求它给你看一些数据片断证明一下它的实力。

第四点,DMP是一个系统工程,是需要服务的。因为涉及到数据,数据本身就有专业性,构建数据模型,数据需要怎么使用,需要给一些方案。而且刚刚使用数据系统,初期是需要培训的,后期则需要有持续的咨询。不要仅仅以为DMP就是一个软件系统,安装了就能用,绝对不是这样。

第五点,DMP是否与业内的其他广告营销平台有非常全面的连接。

此外,还有一点非常容易被大家忽视:DMP提供方的身份会影响DMP本身的好坏。比如说一个提供营销效果监测的公司, 如果既帮甲方提供数据做广告投放又提供数据监测,那么,他们的DMP就有一个很大的问题,因为投放广告是需要用到DMP数据才能够使投放变好,但是最后效果又是由监测公司来判定,也就意味着既是当运动员,把自己的数据拿出来做投放,又当最后的裁判者去决定这个数据好不好。这个在逻辑上就能看出风险。所以应该去选择一家在行业当中比较中立的公司,这样的数据才能有保障


其他见这篇 ,见这篇 ,见这篇 ,见这篇 ,见这篇 ,见这篇 ,见这篇 ,见这篇 


记得看WiFi万能钥匙,广点通移动联盟,阿里妈妈,deeplink技术,LinkedME,Deeplink.me,RTBChina等成功案例

比如:

浙江一家公司开发了一款针对散单、小客户的营销工具,技术逻辑是将“发红包求转发”的动作智能化。具体来说,人们只需将文章、H5等的链接放入工具,就能通过工具查看:谁转发到自己的朋友圈,谁的朋友圈转化率高等。然后根据效果,设置分发红包的对象、额度等。

推荐阅读更多精彩内容