用户画像1:用户画像基础

用户画像,即用户信息标签化,是大数据精细化运营和精准营销服务的基础。它是一种勾画目标用户、联系用户诉求与设计方向的有效工具。在大数据的时代下,用户的一切行为是可追溯和分析的。用户画像是通过分析用户的基础信息、特征偏好、社会属性等各维度的数据,刻画出用户的信息全貌,从中挖掘用户价值。它可以帮助数据“起死回生”,提供个性化推荐、精准营销、个性化服务。

用户画像是真实用户的虚拟代表(如下图),首先它是基于真实数据,不是一个具体的人。用户画像八要素:基本性(Primary)/同理性(Empathy)、R代表真实性(Realistic)、独特性(Singular)、目标性(Objectives)、数量性(Number)、应用性(Applicable)、长久性(Long)。

一、画像基础

1.1 标签类型

按照书中所讲用户画像建模其实就是对用户“打标签”,我认为这样汇聚确实很好理解,一般分为三类:

● 统计类标签:最基础常见的标签,从用户注册数据、用户访问数据中统计得出。

● 规则类标签:基于用户行为及规则产生,通常由对业务更为熟悉的运营人员和数据人员共同协商确定。

● 机器学习挖掘类标签:通过机器学习挖掘产生,根据某些用户行为或熟悉进行预测判断。例如,根据一个用户购买化妆品护肤品的次数权重更高,得出该用户的性别是女性。

1.2 数据结构

画像系统的基础设施包括Spark、Hive、HBase、Airflow、Redis、Elasticsearch。下图是《用户画像》书中的数据仓库架构。

① 数据仓库ETL加工流程是对每日的业务数据、日志数据、埋点数据等数据经过ETL过程,加工到对应的原始数据层(ODS)、数据仓库(DW)、数据集市层(DM)中。

② 用户画像不是产生数据的源头,是经过ODS层、DW层、DM层中的数据与用户相关数据的二次建模加工得到的数据。在ETL过程将用户标签写入Hive,根据不同数据对应不同数据库的应用场景,再将数据同步到MySQL、HBase、Elasticsearch等数据库中。

Hive:存储用户标签、用户人群及用户特征库的计算结果

MySQL:存储标签元数据,监控相关数据,导出到业务系统的数据

HBase:存储线上实时数据

Elasticsearch:支持海量数据的实时查询分析

③ 用户标签在Hive中加工完成后,部分标签通过Sqoop同步到MySQL数据库,提供用于BI报表展示的数据、多为透视分析数据、圈人服务数据;另一部分标签同步到HBase数据库用于产品的线上个性化推荐。

1.3 用户画像模块

搭建用户画像方案整体考虑以下8个模块,我整理如下,方便理解:

用户画像主要覆盖模块

● 用户画像基础

了解和明确用户画像包含的模块,设计数据仓库架构、开发流程、表结构,及ETL的设计。主要就是明确大方向的规划。

● 数据指标体系

建立数据指标体系,根据业务线梳理,包括用户属性、用户行为、用户消费、风险控制等维度的指标体系。

● 标签数据存储

设计好数据指标体系后,考虑不同应用场景使用哪种存储方式。

● 标签数据开发

重点模块。标签数据开发包含统计类、规则雷、挖掘类、流式计算类标签的开发,以及人群计算功能的开发。

重点内容:数据调研、和业务方确认数据口径、标签开发上线。打通画像数据和各业务系统之间的路,提供接口服务

● 开发性能调优

标签数据开发上线后,为了缩短调度时间、保证数据稳定性,需要对标签脚本、调度脚本进行迭代重构、调优。梳理现有标签开发、调度、校验告警、同步到服务层等相关脚本、明确可以优化的地方,迭代优化。

重点内容:减少ETL调度时间,降低调度时的资源消耗。

● 作业流程调度

标签加工、人群计算、同步数据和业务系统、数据监控预警脚本开发完成后,需要调度工具把整套流程调度起来。

重点内容:满足定式调度、监控预警、失败重试,各调度任务之家的复杂依赖关系。

● 用户画像产品化

产品化的模块包括包括标签视图、用户标签查询、用户分群、透视分析等。

重点内容:满足业务方对用户精准营销的需求。

● 用户画像应用

应用场景包括用户特征分析、短信邮件、站内信、Push消息的精准推送,客户针对不同用户的话术、针对高价值用户的极速退款等高级服务应用等。

重点内容:帮助业务方理解和应用用户画像数据,提高用户活跃度和GMV。

1.4 开发上线流程


参考资料:

《用户画像:方法论与工程化解决方案》赵宏田 著

禁止转载,如需转载请通过简信或评论联系作者。