大数据学习资源整理

github地址 后面继续更新在github

utils4s包含各种scala通用、好玩的工具库demo和使用文档,通过简单的代码演示和操作文档,各种库信手拈来。

同时欢迎大家贡献各种好玩的、经常使用的工具库。

开源中国地址

QQ交流群 432290475

微博:jacksu_

<h2 id="id2">scala语法学习</h2>

说明:scala语法学习过程中,用例代码都放在scala-demo模块下。

快学scala电子书(推荐入门级书)

scala理解的比较深

scala99问题

scala初学者指南(这可不是初学者可以理解的欧,还是写过一些程序后再看)

scala初学者指南英文版

scala学习用例

<h2 id="id21">common库</h2>

日志操作log4s

单元测试scalatest

日期操作lama)(注:只支持日期操作,不支持时间操作)

日期时间操作nscala-time)(注:没有每月多少天,每月最后一天,以及每年多少天)

json解析json4s

resources下文件加载用例

文件操作better-files

单位换算squants

线性代数和向量计算(breeze)

分布式并行实现库akka(akka)

Twitter工具库twitter util

日常脚本工具

<h2 id="id22">BigData库</h2>

<h3 id="id221">Spark</h3>

<h4 id="id2211">Spark core</h4>
一个不错的spark学习互动课程

spark 设计与实现

<h4 id="id2212">Spark Streaming</h4>

Spark Streaming使用Kafka保证数据零丢失

spark streaming测试用例

spark streaming源码解析

基于spark streaming的聚合分析(Sparkta)

<h4 id="id2213">Spark SQL</h4>

spark DataFrame测试用例

Hive Json加载

SparkSQL架构设计和代码分析

<h4 id="id2213">Spark 机器学习</h4>

spark机器学习源码解析

KeyStoneML
KeystoneML is a software framework, written in Scala, from the UC Berkeley AMPLab designed to simplify the construction of large scale, end-to-end, machine learning pipelines with Apache Spark.

spark TS

<h4 id="id2214">Spark 其它</h4>

databricks spark知识库

spark学习知识总结

Spark library for doing exploratory data analysis in a scalable way

图处理(cassovary)

基于spark进行地理位置分析(gagellan)

<h3 id="id222">ES</h3>

ES 非阻塞scala客户端
<h2 id="id23">贡献代码步骤</h2>

  1. 首先 fork 我的项目
  2. 把 fork 过去的项目也就是你的项目 clone 到你的本地
  3. 运行 git remote add jacksu git@github.com:jacksu/utils4s.git 把我的库添加为远端库
  4. 运行 git pull jacksu master 拉取并合并到本地
  5. coding
  6. commit后push到自己的库( git push origin master )
  7. 登陆Github在你首页可以看到一个 pull request 按钮,点击它,填写一些说明信息,然后提交即可。
    13是初始化操作,执行一次即可。在coding前必须执行第4步同步我的库(这样避免冲突),然后执行57既可。
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,736评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,167评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,442评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,902评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,302评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,573评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,847评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,562评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,260评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,531评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,021评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,367评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,016评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,068评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,827评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,610评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,514评论 2 269

推荐阅读更多精彩内容