一. 数据分析,需要掌握哪些必备的统计学知识
- 描述统计学
1.平均值、中位数、众数
2.方差、标准差
3.统计分布:正态分布、指数分布、二项分布、卡方分布 - 推论统计学
1.假设检验
2.置信区间
3.显着性测试 - 实验设计
1.A/B测试
2.实验条件控制
3.双盲测试
4.幂律分布
二、数据分析的常用工具都有哪些?
- SQL:数据科学家的必备技能
- ECXCEL:容易上手,所见即所得,无需编程即可对数据进行运算和作图。
- R:专门为数据科学而设计的语言,在数据科学领域比PYTHON略微受欢迎些。
- Python:简单易学,功能强大且丰富,是大学教授中最受欢迎的编程语言。
- Spark:专为大规模数据处理而设计的基于内存计算的引擎。
Tableau: 帮人们查看并处理数据,可进行快速分析、可视化并分享结果
推荐学python
从事数据科学所需要掌握的技能都有哪些?
要从事数据科学,我们需要从数据知识、计算机知识、专业知识这三个维度考虑
- 1 具有分析思维
- 2 基本的大学数学知识,包括微积分和线性代数。
- 3 统计学知识,包括描述统计学和推导统计学
- 4 编程基础,如 Python 、R语言、SQL语句
- 5 算法知识,如回归、分类、聚类算法等。
- 6 数据可视化,将你的分析结果展示出来。
- 7 `领域专业知识,如商业知识、生物知识等,视具体分析的问题而定。
3.科学数据的工作流程是怎么样的?
虽然数据分析是一个不断迭代的过程,而且不同的步骤会有些交叉,但是我们依然可以将过程简化为以下七个步骤:
- 明确的问题
- 收集原始数据
- 数据清洗
- 数据探索
- 应用模型进行深度分析
- 传达分析结果
- 是分析过程可再现
在一个数据项目中,我们绝大部分的努力都将花在获取数据和清洗数据上(步骤2-3)以及展示分析结果和过程(6-7)上。
2.数据科学中都有哪些职业角色?
- 数据科学家(data scieneists):有人这样描述数据科学家,他们比统计学家更懂编程,而比工程师更懂统计,
- 数据分析师(data analysts):他们研究数据并提供相应的报告和可视化图表,可以将数据分析师看作数据科学家的低配版,初级数据科学家,一般是从事数据科学工作的第一步,数据分析师不需要具备高深的研究背景来发明新算法,但是他们要熟练掌握现有工具来解决问题。
- 数据工程师( data engineers):他们是软件工程师的一种,为数据科学家们提供软件基础设施服务,建设强壮的数据管道来清洗、转移、聚合多种杂乱无章的数据,并存放道特定的数据库中,他们需要管理数据库系统;写复杂的查询语句来抽取数据,维护多台服务器,懂得hadoop等分布式系统。