CDH集群服务器主机节点与角色分配相关思考

默认首先安装的是:

zookeeper -- 因为hadoop的ha高可用性需要用到zookeeper(zkfailovercontroller 与hdfs 的先后顺序影响不到) yarn的resource manager等资源管理用到  hbase的region reserver入口管理 响应客户端请求需要用到  kafka的topic等元数据保存用到了zookeeper  (Zookeeper Server 进程  奇数个  paxos算法核心--为了保证半数以上投票支持 且节约资源 需要是奇数个最好不过了 且最少是三个) Zookeeper Server 进程 -- 提供分布式协调管理服务

hadoop -- hdfs (namenode/ datanode/ failover controller/ journalnode/ balancer/nfs gateway/httpfs) --一般来说 fc和jn 都安装在nn进程所在的服务器上,一般为两个 一个是master  一个是bakmaster,balancer安装在master上。namenode -- 元数据管理 块信息处理 等作用进程  datanode与hdfs上block的数据进行交互  failover controller--监控namenode健康状态 心跳机制保持长连接 journalnode保存元数据更改记录 balancer负载均衡 nfs-网络文件系统。Namenode 管理者文件系统的Namespace。它维护着文件系统树(filesystemtree)以及文件树中所有的文件和文件夹的元数据(metadata)。管理这些信息的文件有两个,分别是Namespace镜像文件(Namespace image)和操作日志文件(editlog),这些信息被Cache在RAM中,当然,这两个文件也会被持久化存储在本地硬盘。Namenode记录着每个文件中各个块所在的数据节点的位置信息,但是他并不持久化存储这些信息,因为这些信息会在系统启动时从数据节点重建。Datanode是文件系统的工作节点,他们根据客户端或者是namenode的调度存储和检索数据,并且定期向namenode发送他们所存储的块(block)的列表。集群中的每个服务器都运行一个DataNode后台程序,这个后台程序负责把HDFS数据块读写到本地的文件系统。当需要通过客户端读/写某个 数据时,先由NameNode告诉客户端去哪个DataNode进行具体的读/写操作,然后,客户端直接与这个DataNode服务器上的后台程序进行通 信,并且对相关的数据块进行读/写操作。


yarn -- (mr2 included)(resource manager/node manager/job histroy server) resource manager管理和分配集群资源 node manager与数据交互执行task任务 job history server 记录作业提交历史  nodemanager一般部署在datanode节点上   resource manager部署在master节点上 (主备)job history server 安装在master上

hive -- (hive gateway/hiveserver2/hive metastore server)hive gateway -- 处理网络连接 hive请求 一般来说 每台主机都可以安装,hiveserver2 -- hive的核心进程 -- 解析 优化 计算等任务的完成;hive metastore server 与mysql(默认为derby -- 单点故障且不支持impala)继续hive 元数据的保存与维护

hbase -- (region server / hbase rest server/ hbase thrift server/hbase master/hbase gateway) hbase master -- 元数据管理 region分区管理等管理操作,负载不高,hbase rest server--提供restful api,hbase thrift server -- 为多种语言提供不同的api,region server--提供针对具体数据的操作。hbase master一般安装在master服务器上,一个备份安装在bakmaster,region server 一般部署在datanode节点上。

impala -- 在hive之后需要用到hive 的元数据  (impala daemon / impala catalog server / impala statestore)Impalad:与DataNode运行在同一节点上,由Impalad进程表示,它接收客户端的查询请求,读写数据,并行执行查询,并把结果返回给 客户端。同时Impalad也与State Store保持连接,用于确定哪个Impalad是健康和可以接受新的工作Impala State Store:跟踪集群中的Impalad的健康状态及位置信息,由statestored进程表示,它通过创建多个线程来处理Impalad的注册订阅和与各 Impalad保持心跳连接,各Impalad都会缓存一份State Store中的信息。Statestore daemon:服务名称statestored 1个实例,负责收集分布在集群中各个impalad进程的资源信息,各节点的健康状况/同步节点信息;负责query的调度;对于一个正常运转的集群,并不是一个关键进程。Catalog daemon:服务名称catalogd 1个实例;把impala表的metadata分发到各个impalad中;接收来自statestore的所有请求。impala daemon:服务名称impalad N个实例;接收client hue jdbc或odbc请求 query执行并返回给中心协调节点;子节点上的守护进程,负责向statestore保持通信,汇报工作。

spark:(spark gateway /spark history server)-- spark gateway每个节点服务器上都有  spark history server安装在master节点上

spark(standalone) -- (spark standalone worker /spark  standalone master/spark standalone history server) spark standalone worker 默认安装在datanode上  spark stanalone master 默认安装在master节点上

sqoop:sqoop  1 client gateway --任一节点  最好是每个datanode上都安装一个 因为是与数据交互

oozie:oozie server  -- 属于管理类工具 可以安装在master 或者 bakmaster

flume:flume agent -- 最好和kafka broker在同一节点上  进行数据传输 数据接入

Kafka -- zookeeper之后   kafka broker进程 安装在任一节点  需要硬盘够大存储日志数据的

hue:hue server 安装在任一节点 -- 属于管理类工具 可以安装在master 或者 bakmaster

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,847评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,208评论 1 292
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,587评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,942评论 0 205
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,332评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,587评论 1 218
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,853评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,568评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,273评论 1 242
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,542评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,033评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,373评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,031评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,073评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,830评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,628评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,537评论 2 269

推荐阅读更多精彩内容