240 发简信
大数据老哥
IP属地：上海
  • 大厂都在用的Hive优化

    作者 |TMH_ITBOY原文| https://blog.csdn.net/LLJJYY001/article/details/1139941...

    0.5 693 0 5
  • 最新Hadoop的面试题总结

    1、集群的最主要瓶颈   磁盘IO,网络带宽 2、Hadoop运行模式   单机版、伪分布式模式、完全分布式模式 3、Hadoop生态圈的组件并...

    2.8 1101 0 8
  • Resize,w 360,h 240
    企业是如何解决HDFS单点问题的？

    前言 在早期Hadoop刚出来的时候是没有解决HDFS单点问题的，这就意味着当NameNode的服务器宕机了就会导致整个集群瘫痪，这是非常危险...

    0.2 248 0 1
  • Resize,w 360,h 240
    你都知道那些Kafka副本机制？

    前言 在日常开发过程中使用kafka来实限流削峰作用但是往往kafka会存放多份副本来防止数据丢失，那你知道他的机制是什么样的吗？本篇文章就带...

    2.4 824 0 4
  • Resize,w 360,h 240
    HDFS是如何设计架构的？

    前言 Hadoop到目前为止发展已经有10余年，版本经过无数次的更新迭代，目前业内大家把Hadoop大的版本分为Hadoop1.0、Hadoo...

    251 0 0
  • Resize,w 360,h 240
    企业是如何选择技术栈来做离线数仓

    前言 最近在跟一位粉丝聊天，聊起来了做离线数仓时该用那些技术栈。于是根据我的经验和参考一些资料于就有本篇文章。在这里我会分享三个案例，仅供参考...

    0.4 876 0 2
  • Resize,w 360,h 240
    原来Canal也可以做HA?

    前言 在做实时数仓时，数据量往往比较大的，如果使用Canal来监听MySQL的状态当Canal 是单节服务时，服务器挂掉是就会造成数据丢失，这...

    828 0 0
  • Resize,w 360,h 240
    万字带你深入阿里开源的Canal工作原理

    前言 上篇文章给大家讲解了如何安装一个Canal,以及讲解了一部分的原理，今天我们就来深度聊一聊Canal的工作流程，以及他是怎么工作的，以及...

    0.1 1050 0 1
  • Resize,w 360,h 240
    实时数仓|架构设计与技术选型

    前言 当我们做一个项目时往往都需要选择该用什么技术。这一部分不是我们普通员工想的，而是架构师会根据客户的需求选择出合适的技术。当选择合适的技术...

    0.6 1128 0 6
个人介绍
我是一名大数据开发工程师，我在简书会分享一些我平常在工作用到的技术，以及后面会分享一些源码内容。我也在GitHub上搭建了我自己的代码仓库，里面有优秀的项目会记录我是如何从0到1走向大数据架构师（https://github.com/lhh2002），我也开通的我自己的公众号【大数据老哥】优秀的文章会第一时间在公众号发布，欢迎大家来观看。