数据部门起步阶段需要建立数仓么?

之前我写了一篇关于数据中台和数仓的关系 的文章,里面理清了数仓和中台的关系。后面我了解到更通用的技术词汇去表达数据管理的两种方式: 数据联邦和数据仓储。

显然传统的数仓采用的是数据仓储的概念,而中台则更合适的是数据联邦,同时,在中台看来,实际的数据存储应该是联邦以及仓储混合的模式。

但是我发现很多公司在组建数据部门的时候,第一步都是通过hive建立数仓,但是实际情况是,数仓极其复杂,管理成本也颇高。从开始建立到真正能很好的对外输出价值会是一件非常漫长的事情,同时还有一个致命的缺陷,就是数据延迟性。通常的数仓都是T+1标准设计的。这就意味着数据是延后一天的。这个对产品和运营,还有商务而言,其实影响很大,尤其是需要快速响应的今天。

所以,在公司组建数据部门的时候,最好的方式是采用数据联邦,通过中台,先获得全局数据的访问权,同时对重要的数据建立Meta信息存储。在数据部门初期,大部分业务部门可能还没有很好的数据思维,他们初期的诉求应该是“提数”,也就是“提取数据”,做简单的分析,而这个数据往往是在自己部门内部的数据。通过中台,他们可以很好的访问自己部门内部的数据,完成数据获取,极大的满足了运营,产品对当前自己产品的数据状况。而且,因为跨部门的数据获取需求不多,数据部门去协调跨部门数据交流成本会降低,可以专心修炼内功。

但是联邦的问题其实也明显,比如我司经常遇到的问题就是业务的从库扛不住分析和查询。导致这个问题不好解决的原因有两个:

  1. 第一种是思维模式上的。运维并不认为提供的从库应该有非常高的运维优先等级。甚至资源占用量比主库高是可能比较难以让人理解。
  2. 第二种是业务技术没有跟上时代,经过这么多年,数据库依然停留在单机时代,进行传统的分库分表。当然,现在随着云以及数据库自身技术(比如分布式关系型数据库TiDB)的崛起,其实这个问题已经得到了极大的解决。但是我们无法让业务去替换采用这种技术。

所以要解决这两个问题也方法上比较简单(执行上依然存在困难),第一是让业务的新增从库采用最新的数据库技术,比如TiDB,这种数据库本身比较适合OLOAP分析,也就是能支持大数据量的存取。第二是中台采用透明的缓存技术(比如我们使用时可以按用户将数据缓存到HDFS再进行计算,或者引入类似JuiceFS这种专门解决解决数据存储和计算分离问题的存储系统),减轻业务从库的压力。

从我的思考上看,数仓和中台应该同步建设,但是在数据部门的起步阶段,为了最快的进行输出,解决业务的“提数”难题,应该优先建立中台,并且直连业务数据从库,从而实现业务自主操作。同时让分析师团队帮助业务团队进行使用,并且提供更高级的报表分析业务。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,015评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,262评论 1 292
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,727评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,986评论 0 205
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,363评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,610评论 1 219
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,871评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,582评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,297评论 1 242
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,551评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,053评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,385评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,035评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,079评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,841评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,648评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,550评论 2 270

推荐阅读更多精彩内容

  • 节后第一天上班,有些忙碌,不过,我很享受这种忙碌而充实的感觉,可能是年龄越大,越害怕虚度光阴吧。前几天,我一直在思...
    说书人橙溪阅读 637评论 4 1
  • 在雨夜里摇曳 在晨曦中败落 它不是隐者 只是扭不过命运 无限捉弄的 一簇迟暮的花
    一梦如故阅读 109评论 0 2
  • 你来,我不接你 我奉杯好茶待你 你走,我不送你 茶淡了,得换新的茶叶
    就走呀走呀阅读 216评论 0 0