网站数据挖掘--从零开始建立数据分析师个人成长体系

标签(空格分隔): 数据挖掘 python 数据可视化


对于任何一个企业,经验丰富、技巧娴熟的分析师都是企业的优秀资产。但一切都不是天生的,良好的个人规划是保障数据分析师迅速成长的关键。

数据理解

1、数据采集

1、了解数据采集的意义在于真正了解数据的原始面貌,包括数据产生的时间、条件、格式、内容、长度、限制条件等。同时,对数据采集逻辑的认识增加了数据分析师对数据的理解程度,尤其是数据中的异常变化。很大程度上可以避免"垃圾数据进导致垃圾数据出"的问题。

例子:当用户在离线状态下使用APP时,数据因无法联网而不能发出,导致正常时间内的数据统计分析延迟。直到该设备下次联网时,数据才能被发出并归入当时的时间,就产生了不同时间看相同历史时间的数据时会有出入

2、数据存储

  • 数据存储系统是Mysql,Oracle,sql server,还是其他系统。
  • 数据仓库结构及各库表如何关联,星型、雪花型,还是其他。
  • 生产数据库接收数据时是否有一定的规则,比如只接收特定类型的字段。
  • 生产数据库面对异常值如何处理,是强制转换、留空,还是返回错误。
  • 生产数据库及数据仓库系统如何存储数据,名称,含义,类型,长度,精度,是否可以为空,是否唯一,字符编码以及约束条件规则是什么?
  • 接触到的数据是原始数据还是ETL后的数据,ETL规则是什么?
  • 数据仓库数据的更新机制是什么?是全量更新还是增量更新?
  • 不同数据库和库表之间的同步规则是什么?哪些因素会造成数据差异?如何处理差异?等等。

在数据存储阶段,数据分析师需要了解数据存储内部的工作机制和流程,最核心的因素是在原始数据基础上经过哪些加工处理,最后得到了怎样的数据。由于数据在存储阶段是不断地进行动态变化和迭代更新的,其及时性、完整性、有效性、一致性、准确性很多时候因软硬件、内外部环境问题无法得到保证,这些都会导致后期数据的应用问题。

  • 什么是数据仓库
  • 什么是ETL

3、数据提取

数据提取是将数据取出的过程。数据提取的核心环节是从哪取?何时取?如何取?

  • 从哪取?数据来源 --- 不同的数据源得到的数据结果未必一致。
  • 何时取?提取时间 --- 不同时间取出来的数据结果未必一致。
  • 如何取?提取规则 --- 不同提取规则下的数据结果很难一致。

数据提取阶段,首先要求数据分析师具备数据提取能力。常用的Select From 语句是SQL查询和提取的必备技能,但即使是简单的提取数据工作也有不同的层次。

1、第一层是从单张数据库中按条件提取数据的能力
2、第二层是掌握跨库表提取数据的能力,不同的join有不同的用法;
3、第三层是优化SQL语句,通过优化嵌套,筛选的逻辑层次和遍历次数等,减少浪费个人时间和消耗系统资源。

数据分析师必须具备理解业务需求的能力,比如业务需要“销售额”这个字段,相关字段至少有产品销售额和产品订单金额,其中的差别在于是否含优惠券、运费等折扣和费用。订单金额包含了应用优惠券等因素,计算逻辑是在产品销售额(产品单价*数量)的基础上增加运费,再减去优惠券、促销折扣后的价格,该价格是用户应该支付的金额。

4、数据挖掘

数据挖掘是面向海量数据时进行数据价值提炼的关键,以下是算法选择的基本原则:

  • 没有最好的算法,只有最合适的算法,算法选择的原则是兼具准确性、可操作性、可理解性、可应用性。
  • 没有一种算法能解决所有的问题,但是精通一门算法可以解决很多问题。
  • 在挖掘算法中最难的是算法调优,同一种算法在不同场景下的参数设定相同。实践是获得调优经验的重要途径。

需要掌握的与数据挖掘相关的能力:
一是数据挖掘、统计学、数学基本原理和常识;
二是熟练使用一门数据挖掘工具,Clementine、SAS或R都是可选项,如果是程序员出身也可以选择编程实现;
三是需要了解常用的数据挖掘算法,以及每种算法的应用场景和优劣差异点。

5、数据分析

相对于数据挖掘,数据分析更多地偏向于业务应用和解读,在经数据挖掘算法得出结论后,如何解释算法在结果、可信度、显著程度等方面对于业务的实际意义?如何将挖掘结果反馈到业务操作过程中以便业务理解和实施是关键。

6、数据展现

数据展现即数据可视化的部分,也就是数据分析师如何把数据观点展示给业务的过程。

7、数据应用

数据应用是数据具有落地价值的具体体现,这个过程需要数据分析师具有数据沟通能力,业务推动能力和项目工作能力。

  • 数据沟通能力。深入浅出的数据报告、言简意赅的数据结论更利于业务理解和接受,打比方、举例子都是非常实用的技巧。
  • 业务推动能力。在业务理解数据的基础上,推动业务落地实现数据建议。从业务最重要、最紧急、最能产生效果的环节开始是个好方法,同时要考虑到业务落地的客观环境,即好的数据结论需要具备客观的落地条件。
  • 项目工作能力。数据项目工作是循序渐进的过程,无论是一个数据分析项目还是数据产品项目,都需要数据分析师具备计划、领导、组织、控制的项目工作能力。

对与网站数据分析师的具体要求如下:

  • 了解基本的网站数据分析和数据工具,网站分析工具如Google Analytics 、百度同级、Adobe Analytics、Webtrekk等;数据分析工具如Excel、SPSS、Clementinel、SAS、R等,了解不同工具有哪些功能及差异点。
  • 了解网站分析及数据分析的基本概念、定义和规则,比如需要清楚UV、PV、Visit、IP的区别以及数据差异的影响因素。
  • 了解互联网工作的基本机制,掌握基本的HTML语言、编程语言规则和JavaScript规则,如果还能了解一些Cookie、缓存机制、HTTP信息会更有利于后期的发展。
  • 了解所服务的业务对象、如营销业务、网站运营业务、会员相关业务等,理顺各种业务的具体含义、范畴、流程等,并且能把数据与业务工作关联起来。

数据分析师的5点建议
1、数据是有立场的,立场决定解读
(数据对于业务来讲既是KPI的衡量标杆,又是业务的行动指南。有立场的数据直接影响数据解读,影响着业务的行动趋势。)
2、数据质量永远是数据分析立项后首先要考虑的
(数据质量验证:
1、理解数据来源、数据统计和收集逻辑,以及数据入库处理逻辑;
2、理解数据在数据仓库中存放的细节,包括字段类型、小数点位数、取值范围、规则约束等;
3、明确数据的取数逻辑,尤其是在过程中是否对数据有转换或者重新定义;
4、第一时间对数据做数据审查,包括数据有效性验证、取值范围、空值和异常值验证,确定其是否与原始数据原则一致等。)
5、业务应用能力和工具应用能力都重要,不要迷信算法和模型
很多数据分析师会过度关注算法和模型在数据分析过程中的作用。但其实在面向业务类的实际工作中,业务要的不是多少种算法或模型,而是要面对业务问题的解决方案。
6、业务需求是数据分析的起点,但之前需要培养业务的数据意识
业务需求是数据分析的起点,很多时候数据分析师在“等”业务方提出需求,然后通过数据支撑业务方更好地开展工作。但实际情况却是业务方不需要数据,这种现象既可能是传统习惯造成的,也可能是公司文化影响的,甚至可能是个人因素导致的。

数据分析师不能要求业务方必须懂数据、理解数据,但是需要告诉业务方数据能解决什么问题、带来哪些改进与提升,如何帮助他们解决实际问题等数据价值告知业务,如何能用数据证明其提升价值会更有说服力。这样业务方才会相信数据的有效性、真实性、准确性。

推荐阅读更多精彩内容