TOP100summit【分享实录】链家网大数据平台体系构建历程

作者 李小龙:链家网大数据部资深研发架构师,负责大数据工具平台化相关的工作。专注于数据仓库、任务流调度、元数据管理、自助报表等领域。之前在百度从事了四年的数据仓库和工具平台的研发工作。

导读:链家网大数据部门负责收集加工公司各产品线的数据,并为链家集团各业务部门提供数据支撑。本文分享链家网大数据部成立后,在发展变革中遇到的一些问题和挑战,架构团队是如何构建一站式的数据平台来解决获取数据的效率问题,如何构建多层次系统来组建大数据架构体系。重点介绍团队早期作为数据报表支持者,向当下数据平台方转变的这一历程,通过对数据处理流程的梳理,构建一体化的数据接入/计算/展示的开放平台,提升数据运转效率,快速满足集团内数据需求。

一、背景简介

链家网自2014年成立后,全面推进020战略,打造线上线下房产服务闭环,公司业务迅速增长,覆盖全国28个地区,门店数量超过8000家。随着链家集团积累数据的不断增多,在2015年专门成立了大数据部,推进集团内各公司数据资产的整合,以数据驱动公司业务的发展。

链家将房地产交易大数据分为物的数据、人的数据、行为数据三大块来进行研究。

●物的数据主要是构建了全国的楼盘字典,拥有专业的摄影测量团队实地勘测,收录了7000万套房屋的详细信息,包括小区周边、人文素养等等。

●人的数据,包括买家、业主、经纪人三方,目前在全国有13万经纪人,对经纪人的背景、从业年限、资历、专业能力、历史行为有详细记录,给客户更加精准的参考。目前链家网服务的买家和卖家超过两千多万,对用户进行画像,然后推荐更加合适的房屋。

●行为数据,包括线上行为和多样的线下行为,譬如线上的浏览日志,线下的看房行程等。

通过分析这些数据,找到与业务的结合点,目前大数据在链家网具体的应用场景有房屋估价、智能推荐、房客图谱、BI报表。

二、大数据从0到1的架构落地

大数据部成立以后,借鉴业界成熟的数据仓库方案,设计的早期架构图如图1所示:

图1 数据仓库早期架构

在这个阶段我们主要做了三件事:

●搭建hadoop集群,初期只有10多台机器,随着业务的发展,集群规模也在不断增长。

●采用HIVE构建数据仓库,数据仓库里的数据来源于业务方的mysql数据库和log日志。

●定制化报表开发,按照业务方的需求,case by case做一些BI报表展示,满足业务方对数据的分析。

这个架构简单清晰,这样做有三个好处:

●使用开源的组件,方便扩展和运维;

●采用业界成熟的数据仓库方案,数据仓库分层模型设计;

●有利于技术人员培养,技术团队在成长初期技术选型需要考虑市场上人员情况,所以选择了使用范围广的技术。

具体讲讲HIVE数据仓库的模型,该模型一共分为5层。

●最下面是STG层,用来存储源数据,保持与数据源完全一致;

●第二层是ODS层,会进行数据清理等工作,譬如不同业务系统的城市编码不一致,有的001代表北京,有的110代表北京,在ODS层进行维度编码的统一处理。还有不同业务系统的金钱单位不一致,有的是元、有的是分,在此统一采用分为单位,保留两位小数;

●最上面是报表层,根据业务需求进行加工处理,产出报表数据。至于数据仓库遵循的范式结构,目前没有严格一致地规范,星型模型和雪花模型都有采用。

早期的大数据架构落地后,支撑了将近一年时间,从2015年初到2016年初,取得了不错的效果。

●收集汇总了集团内各个分公司、各条产品线的数据,便于交叉分析。通过对比分析数据,能帮助业务系统更好的发展。

●支撑集团内大部分报表需求,帮助运营人员改进决策,数据驱动。 巧妇难为无米之炊,当数据仓库积累了大量历史数据,数据挖掘的同学就能进行深度分析。

三、大数据平台化体系的建设

为什么要做平台化?

主要原因还是随着公司业务的快速发展,数据需求迅速增多,早期的大数据架构遇到一些新挑战。

数据需求快速增长:链家业务增长到全国多个城市,各个城市的报表需求很多,而且由于各个地方的政策不太一样,报表需求也有所差异,此外还有大量的临时统计数据需求。为了能快速响应需求,我们提出平台化,通过提供各种数据处理和探索工具,让用户自助高效地获取一些数据。

数据治理亟需规范:各条产品线的数据都进入仓库以后,由于需求很急迫,一些建模规范未能有效执行,导致仓库里数据冗余繁杂,wiki更新维护不及时,难以清晰掌握数据仓库里数据整体概况。指标定义不清晰,一些数据需求人员按照自己的理解制定指标含义,结果上线后,发现不同的人对指标理解不一致,导致返工。

数据安全迫在眉睫:对数据的申请需要进行集中的审批管理,对数据的使用需要进行持续的追踪备案,防止数据泄露。

为了解决存在的这些问题,我们提出了新的平台化架构图。平台化架构数据流图如图2所示:

图2 平台化架构数据流图

对比新老架构图可以看出,首先是多了红色的实时数据流部分,日志log采用flume对接Kafka消息队列,然后使用SparkStreaming/Storm进行日志的分析处理,处理后的结果写入到Hbase供API服务使用。

另外,在OLAP部分,引入了Kylin作为MOLAP处理引擎,会定期将Hive里面的星型模型数据处理后写入Hbase,然后Kylin对外提供数据分析服务,提供亚秒级的查询速度。

图中右边是数据治理相关组件,有数据权限、数据质量、元数据等。在新的平台化架构图中,我们将大数据工程平台分为三层,由上到下分别是应用层、工具层、基础层,如图3所示:

图3 大数据工程平台

3.1应用层

应用层,主要面向数据开发人员和数据分析师,重点解决三类问题:

●BI报表产出速度如何加快,缩短业务方从提出数据需求到报表产出的时间周期。

●数据治理,对公司的核心数据指标进行统一定义,对元数据进行管理,集中数据的审批流程。

●数据流转集中管控,数据在各个系统间的流转统一走元数据管理平台,能很方便排查定位问题。

为了加快BI报表产出,我们开发了地动仪自助报表,在数据源已经就绪的情况下,目标是5分钟完成一个通用报表的配置,得到类似 excel表格、柱状图这种图表效果,目前已经支持 mysql、presto 、kylin等各种数据源。另外,如果需要定制化的Dashboard报表,自助报表也支持复用一些图表组件。

元数据管理系统

元数据对公司的所有数据信息进行管理维护,通过数据地图,可以看到公司数据仓库里的所有数据以及数据信息的变更情况,方便用户进行搜索查询。指标图书馆对指标进行详细的描述定义,而且可以对每个指标关联的维度进行管理,维度表以及维度取值的描述。另外,基于元数据我们还可以做数据血缘关系,方便追踪数据的上下游关系,能够快速定位排查问题。

元数据管理系统上线后,取得了以下三个成果:

●所有表的创建修改都经过元数据系统,可以实时清晰掌握仓库里的数据情况。

●成立了公司级别的数据委员会,统一制定公司的核心指标,各个部门可以自定义二级指标。

●数据的接入和流出都通过元数据系统集中管控,所有的日志接入、mysql接入通过元数据来配置,数据申请也是走的元数据,方便集中管理运维。

3.2工具层

工具层定位于通用工具组件的开发,为上层应用提供能力支撑,同时解决用户在使用大数据计算中遇到的实际困难。譬如ETL作业任务很多、追踪排查问题比较麻烦、数据修复时间长、Hue hive查询速度比较慢、一个sql需要等待几分钟。

图4是实际工作中一个典型的数据任务链路图,抽取了作业链路中的一部分。

图4 数据任务链路图

从图中我们可以看到以下信息:

●任务链路特别长,可能有6层之多;

●任务种类多,既有mysql导入任务,也有hive-sql加工任务,还有发送邮件的任务;

●依赖类型比较复杂,有小时级别依赖分钟任务,也有日周月季互相依赖的任务。

对于这种复杂的数据链路,之前我们采用oozie+python+shell解决,任务量有5000多个,维护困难,且遇到数据修复问题,难以迅速定位。为了解决这些问题,我们参考了oozie、airflow等开源软件,自主研发了新的任务调度系统。

在新的任务调度系统上,用户可以自助运维,对任务进行上线或者重跑,而且可以实时看到任务的运行日志。以前可能要登陆到集群机器上上查看日志,非常麻烦。

调度系统上线后,取得了非常好的效果:

●任务配置简单,在图形上简单的拖曳即可操作。

●提供常用的ETL组件,零编码。举个例子,以前发送数据邮件,需要自己写脚本,目前在我们界面只需配置收件人和数据表即可。

●一键修复追溯,将排查问题修复数据的时间由一人天缩减到10分钟。

●集群的资源总是紧张的,目前我们正在做的智能调度、错峰运行,保证高优先级任务优先运行。

Adhoc即席查询,之前我们使用的hue,速度比较慢。通过调研市面上的各种快速查询工具,我们采用了Presto和Spark SQL双引擎,架构图如图5所示:

图5 双引擎架构图

3.3基础层

基础层偏重于集群底层能力的建设和完善。遇到的问题集中在两个方面:

●任务量剧增,目前每天有一万多JOB,造成集群资源相当紧张,排队严重。

●集群的数据安全需要规划,而且由于多个部门都在使用集群,之前未划分账号和队列,大家共同使用。

针对这些问题,我们在基础层做了一些改进。

在集群性能优化方面,通过划分单独的账号队列,资源预留,保证核心作业的执行,同时与应用层的权限管理打通,对不同的目录按照用户归属限制不同的权限。随着集群数据的膨胀,不少冷数据无人管理,我们在梳理后,将冷数据迁移到AWS S3存储。

四、案例启示

●传统企业或者初创团队如何快速落地大数据,首先要采用成熟的业界方案,大的互联网公司的做法可以直接借鉴,稳定的开源软件直接使用;其次要深入梳理公司业务,找到契合点,譬如链家网的房屋估价、个性化搜索、交叉报表分析。

●面对公司业务的迅速增长,平台化思维是解决问题的一个法宝。首先要通过梳理用户的流程和使用习惯,将这些服务自动化,让用户能自助排查一些问题;其次平台化开发的产品,先得实实在在解决用户痛点问题,自己愿意使用,然后才能推广给其他人使用。

●平台化的产品需要梳理清楚流程,制定规范。先通过梳理调研公司的现状,然后规范流程,当然梳理的过程比较痛苦,需要很多人配合;制定了标准以后,需要保证标准的权威性和执行力,可以成立公司级别的数据治理委员会,发布核心指标,保证流程的推广执行。

TOP100全球软件案例研究峰会已举办六届,甄选全球软件研发优秀案例,每年参会者达2000人次。包含产品、团队、架构、运维、大数据、人工智能等多个技术专场,现场学习谷歌、微软、腾讯、阿里、百度等一线互联网企业的最新研发实践。

更多TOP100案例信息及日程请前往[官网]查阅。4天时间集中分享2017年最值得学习的100个研发案例实践。免费体验票申请入口

推荐阅读更多精彩内容