在社交网络发展如火如荼的今天，人们越来越倾向于用新媒介来展现自我和沟通交互。以新浪微博为例，作为移动社交时代的重量级社交分享平台，2017年初日...

一、基本概念 RDD(Resilient Distributed Datasets)：弹性分布式数据集，只读分区记录的集合，Spark 对所处理...

1 为什么要按列存储 列式存储(Columnar or column-based)是相对于传统关系型数据库的行式存储(Row-basedstor...

MQ（消息队列）是跨进程通信的方式之一，可理解为异步rpc，上游系统对调用结果的态度往往是重要不紧急。使用消息队列有以下好处：业务解耦、流量削峰...

CAP定理（CAP theorem）又被称作布鲁尔定理(Brewer's theorem)，是回加州大学伯克得分校的计算机科学家埃里克·布鲁尔（...

面试官心理分析 说实话，如果面试官问你这个题目，那么你必须要使出全身吃奶劲了。为啥？因为你没看到现在很多公司招聘的 JD 里都是说啥，有高并发就...

本文将会讲述计算广告（主要是DSP）中的主要模块、用到的策略及其场景。笔者希望大家能和ta一样，在了解广告业务的同时，还能对策略的设计有一定了解...

一、数据倾斜概念 1.1、是指shuffle过程中，必须将各个节点上相同key拉取到某个节点上的一个task来进行处理，此时如果某个key...