大数据集群的角色划分和组网方案

第一篇:为大数据集群正确的选择硬件》,主要从基于工作负载的角度(IO-bound工作负载型,还是 CPU-bound工作负载型),分析了如何选择高性价比的合适硬件。本篇说的是大数据集群的角色划分和组网方案。

1,组网方案

    在典型配置下,集群采用双平面组网,如下图1-1所示

网络划分为2个平面:业务平面和管理平面,两个平面之间采用物理隔离的方式进行部署,保证业务、管理各自网络的独立性安全性(采用单平面组网时,不区分管理平面和业务平面)。        

l 管理平面:通过运维网络接入,主要用于集群管理,对外提供集群监控、配置、审计、用户管理等服务。

l 业务平面:通过业务平台接入,主要为用户或上层用户提供业务通道,对外提供数据存储、业务提交和计算的功能。

双平面组网主备管理节点还应支持设置外部管理网络的IP地址,用户可以通过外部“管理网络”进行集群管理。集群中每个节点分别接入管理平面和业务平面,每个节点需要一个管理IP地址和一个业务IP地址,每个IP地址用两个网络接口配置Bond,分别接入两个接入交换机。各节点的业务平面建议采用10GE带宽(如图1-2中MN1、CN3和DN4),业务平面接入交换机与汇聚交换机之间建议采用10GE带宽,业务平面汇聚交换机的堆叠带宽建议设置为40GE。以二层组网为例,双平面隔离组网方案如图1-2所示,图中A、B、C为部署有管理节点和控制节点的机架,称为基本框,D为根据业务需要线型扩展的机架,称为扩展框。

2,集群主机和角色分布

主要角色:

l 管理节点(Master Hosts):主要用于运行Hadoop的管理进程,比如HDFS的NameNode,YARN的ResourceManager。

l 工具节点(Utility Hosts):主要用于运行非管理进程的其他进程,比如Cloudera Manager和Hive Metastore。

l 边缘节点(Edge Hosts):用于集群中启动作业的客户端机器,边缘节点的数量取决于工作负载的类型和数量

l 数据节点(Worker Hosts):主要用于运行DataNode以及其他分布式进程,比如ImpalaD。

    根据集群的规模,推荐的角色划分如下所示,实际部署时,根据工作负载的类型和数量、集群中部署的服务、硬件资源、配置和其他因素,依据下面推荐建议优化角色的主机分布

 表2-1:3 - 10 Worker Hosts without High Availability

表2-2:3- 20 Worker Hosts with High Availability


表2-3:20- 80 Worker Hosts with High Availability


3,Hadoop其他网络要求

1.所有的Hadoop服务器节点应该是独有的网络,而不存在跟其他应用程序的节点共享网络I/O的情况。

2.每个服务器应该都配置静态IP。如果配置了动态IP,在机器重启或者DNS租约过期时,机器的IP地址会改变,这将导致Hadoop服务故障。

3.专用TOR交换机。

4.专用的核心交换刀片或者核心交换机。

5.尽量保证应用服务器与Hadoop“近”一些。

6.CDH只支持IPv4,不支持IPv6

7.机架之间的网络连接速度应该足够快。

8.确保网络接口对于集群中的所有节点应该是一致的。(比如MTU设置应该一样)

9.关闭所有节点的Huge Page compaction

10.确保集群中的所有网络连接都会被监控,比如冲突和丢包问题。以方便后期进行排障。

4,总结及参考文献 

https://www.cloudera.com/documentation/enterprise/5/latest/topics/cm_ig_host_allocations.html

推荐阅读更多精彩内容