初识spark

大数据及分析环境

bigdata主要体现在:量,速度,多样性
数据量,数据流速度(实时,批量,串流),数据多样性(结构化,半结构化(弹性内容),非结构化(写parser处理))

lambda architecture(数据系统架构)

lambda architecture
lambda architecture

DIKW金字塔:
data,information,knowledge,wisdom

Excel,csv(rowbased),parquet(columnbased),avro(序列化,减少传输时的空间)
单机(mysql),分布式,hdfs,s3
HDD,SSD,Memory

batch:hadoop,spark,SQL Database
streaming:Storm,Kafka,Spark Streaming
rdbms,nosql

大数据分析环境
大数据分析环境

Spark简介

spark(计算框架)速度大幅超越hadoop(mapreduce)
spark streaming,sql,mllib,graphx
Resilient Distributed Datasets(RDD):
弹性分布式数据集
spark最基础的抽象结构。可容错且并行运行。两种类型:
平行集合:scala集合,可并行运行
hadoop数据集:并行运行在hdfs或者其他hadoop支持的存储系统上
RDD两种操作行为:
Transformations,Actions

两种操作

很多个Transformation对应一个Action,RDD持久化存储在内存或硬盘中

RDD生命周期

窄依赖,宽依赖


spark元件



Spark Driver(执行应用程序,建立SparkContext并且安排任务、与ClusterManager沟通)、Executors(执行Driver安排的工作,将执行的结果存储在内存中,与存储系统进行交互)、Cluster Manager(资源分配管理)

运行任务流程



Spark元件运作方式:

Spark1.X vs Spark2.x
以前用SparkContext作为进入点(使用时需要有一堆SqlContext,HiveContext……),现在都改为SparkSession。可以直接读取各种数据源,可以直接合Hive Metadata沟通,同时也包含设定和资源管理的功能。
实现SQL的功能:
select count(*) from store_sales where ss_item_sk = 1000
spark1.x
传统做法:

这种做法含有大量的虚拟函数,数据缓存在内存中,没有循环展开,SIMD或Pipeline
手写做法:


这种做法没有虚拟函数,数据在CPU寄存器中,编译器循环展开,SIMD,Pipeline,使得简单的循环非常高效,得以透过底层的硬件进行优化。
spark2.x经过优化能自动用简单的方法处理:

pyspark


语法:

textFile = spark.read.text("README.md")
wordCount = textFile.flatmap(lambda x:x.split(''))\
.map(lambda x:(x,1))\
.reduceByKey(lambda x,y:x+y)\
.collect()

可以自由游走于RDD和Pandas Dataframe之间

sparkSQL

sql:select,from,join,group,order,where

select a.id,b.name,b.age,sum(c.onlinetime) as onlinetime
from userid a
join userinfo b
on a.userid = b.userid
join(
    select userid,logintime - logouttime as onlinetime
    from log
    where df between '2016-01-01' and '2017-09-01'
)c
on a.userid = c.userid
group by a.id,b.name,b.age
order by onlinetime DESC
limit 100
pyspark混合sql
context = HiveContext(sc)
results = context.sql(
"SELECT * FROM people")
names = results.map(lambda p:p.name)

数据来源可以包括S3,HDFS,Cassandra,数据格式可以是json,text,parquet,都可以转成DataFrame操作

context.jsonFile("s3n://...")
  .registerTempTable("json")
results=context.sql(
  """SELECT * 
    FROM people
    JOIN json ...""")

sparksql与hive高度整合,可以从hive的metastore中读取数据表格。可以通过JDBC或ODBC连接spark sql,享受spark的运算能力。


catalyst(催化剂)

pyspark的sparksql语法:

spark.read.csv()……
读取json数据的时候不需要再写parser
df = spark.read.json()
df.show() 得到dataframe
df.select("name").show()
df.write.csv()……

推荐阅读更多精彩内容