【大话存储】多CPU架构变迁, SMP,NUMA,MPP

多CPU架构演进

对称多处理器结构:(SMP,Symmetric Multi-Processor)

服务器最开始的时候是单CPU,然后才进化到了双CPU甚至多CPU的SMP架构。所谓SMP架构指的是多路CPU无主次,共享内存、总线、操作系统等。此时每个CPU访问内存任何地址所耗费的时间是相等的。所以也称为一致存储器访问结构

大家共享同样的内存,所以扩展能力有限,因为CPU数量增加了,内存访问冲突也会增加。为了进一步提高CPU数量的同时还能保证效率,NUMA架构出现了,将多个SMP进行松耦合。

image.png

还有一种AMP架构,不同的CPU是做不同的事的,互不干扰。

非一致存储访问结构:(NUMA,Non-Uniform Memory Access)

NUMA架构中,多个SMP通过Crossbar switch交换矩阵进行互联。
每个SMP有自己的内存,同时还可以访问其他SMP的内存,但是需要经过高速交换矩阵,很显然SMP访问自己的内存速度非常高,但是访问远端的SMP的内存还需要经过交换矩阵,延迟增加,可以看出NUMA通过牺牲内存的访问时延来达到更高的扩展性。

image.png

总之,SMP与NUMA架构对软件程序方面影响扩展性不大,一台主机内都使用单一的操作系统。
缺点是CPU数量增加,访问远端内存的时延也会增加,性能不能线性增加。此时MPP架构就出现了。

海量并行处理结构:(MPP,Massive Parallel Processing)

MPP说白了就是将多台独立的主机组成集群。显然在此架构下,每个节点都有各自的CPU、内存、IO总线、操作系统,完全松耦合。最关键的是MPP集群中的软件架构也相应的改变了,这样MPP的效率随节点数量增加就可以线性增加了。

其实如果NUMA架构下,如果通过上层软件来使得程序尽量少的读取远端的内存,NUMA效率也会线性增加。但是实际上NUMA操作系统仍然是同一个,内存仍然是全局均匀的,所以访问远端内存是不可避免的。

那么MPP相当于把内存强制分开,同时又改变了程序架构,这样就可以保证海量计算下的效率线性增加。

image.png
image.png

存储系统的演进

存储系统与服务器CPU架构演进相同,控制器就好比CPU,后端磁盘柜就类似于内存。

  • SMP
    纵观存储系统的演进,一开始是单控,后来演进到双控互为备份,此时就类似于AMP,两个控制器各自处理自己的任务。
    然后进入到双控并行处理的时代(HDS的AMS2000存储系统),类似于SMP,两个控制器可以并行的处理。
    再到后来则有多控并行对称处理架构,Oracle的RAC集群就可以视为一种多点SMP,各种共享底层存储的集群文件系统都属于多点对称SMP
  • NUMA
    同样NUMA也出现在了存储系统中,比如EMC的V-Max相当于多个SMP利用高速交换矩阵来共享访问每个SMP上的内存,其中SMP就是一对控制器组成的Director,高速交换矩阵就是RapidIO
  • MPP
    • 那么IBM的XIV就属于松耦合MPP架构,每个节点都有自己的CPU、内存、IO接口,使用外部的交换机互相通信。
    • 而HDS的VSP更像是一个紧耦合的MPP。
    • 另一种属于MPP架构的存储系统就是分布式文件系统,比如HDFS等。
      MPP对软件架构变化很大,所以传统存储厂商很难将之前的架构演进到MPP上来。


      image.png

谁才是真正的Scale-out

SMP/NUMA/MPP其实都算Scale-out,只不过程度和形态不同。
MPP架构的存储,比如XIV,在多路大块连续的IO下,效率反而很差。这是因为单路IO可能导致整个MPP集群中的磁盘资源全部牵动

但是如果是小块随机的IO,多路IO关联很少,则性能随节点数增加线性增加,这就好比将一个程序并行分解为多个子任务(类似于随机小IO),因为子任务之间的关联很少,节点之间的通信量很小,则并行执行的效率高。也就是MPP自身是share-Nothing架构,运行在上面的程序也尽可能的是Share-Nothing

SMP、NUMA、MPP各有各的好处,比如

  • SMP适用于扩展性要求不高,而又不想程序改变太大的场景。
  • MPP则适用于海量数据下的高扩展性需求场景。它需要对程序进行大量的改变,而且多流大块连续IO场景下性能不佳。所以MPP架构广泛的应用于互联网的底层Key-Value分布式数据库,这种数据库主要应对高随机小块读的场景,可以获得非常高的性能。
image.png

参考

大话存储II

推荐阅读更多精彩内容

  • [转] SMP、NUMA、MPP体系结构介绍 说明:Greenplum是一款基于MPP架构的数据库 原文地址 从系...
    Michael_林阅读 392评论 0 1
  • ****1. 为什么需要 CPU 虚拟化**** X86 操作系统是设计在直接运行在裸硬件设备上的,因此它们自动认...
    51reboot阅读 2,552评论 0 8
  • 中央处理器 中央处理器(CPU,Central Processing Unit)是一块超大规模的集成电路,是一台计...
    houhy阅读 3,102评论 0 16
  • 系统的性能很大程度上依赖于cpu 硬件架构的支持。这里记录一下cpu 常见的三大架构的区别 smp SMP (Sy...
    钟大發阅读 12,913评论 0 1
  • 在这个灯红酒绿,夜夜笙歌的大城市,有着一群人的狂欢,也有这一群人的孤单,而我属于后者,不起眼的其中一员。 每天的生...
    sun鑫阅读 39评论 6 1