【华为网络技术大赛】储存基础原理

广义的存储

  • 硬件存储系统
  • 存储软件
  • 存储网络
  • 存储解决方案

存储方案

  1. DAS(直接连接存储)
    早期
  2. SAN(存储区域网络)
    采用专用的高速网将一个或多个网络存储设备和服务器连接在一起。分IP SAN和FC SAN。

FC里面有个Zone的概念,可进行互通的端口或设备的名称构成的集合

  • 直接组网
  • 单交换组网
  • 双交换组网

数据库场景,结构化数据,业务高性能,不占用业务网络资源
面向稳定性比较高,性能要求比较高。如大企业、政府核心类的系统。
关键数据库、集中存储、海量存储、备份、容灾等中高端存储应用环境。

  1. NAS(网络连接存储)

关键办公文档共享,非结构化数据

  • NAS网关:文件共享
  • 大数据海量存储:视频监控,高性能计算。
    对存储容量要求不高、服务器数量很少的中小型局域网

SAN和NAS相比不具有资源共享特征,SAN是只能独享的数据存储池,NAS是共享与独享兼顾的数据存储池。
NAS是网络外挂式,SAN是通道外挂式。
SAN高效可扩,NAS简单灵活。

  1. 统一存储 SAN+NAS
    同一套硬件软件直接提供两种服务

计算机内部的存储

内存

SDR-->DDR
DDR性能:容量 主频 带宽

CPU

CPU性能: 频率 缓存

总线
  1. 计算机总线
    计算机内部各个组件 CPU和内存之间
  2. 主机总线
    传输到网卡,显卡
  3. IO总线
    传输到计算机外部

网络化的存储

  1. 主机、服务器-->CPU
  2. 网络-->总线 (IP或者FC)
  3. 存储设备-->内存

存储介质和接口

机械硬盘

硬盘容量 转速 缓存 平均访问时间 数据传输率

  1. 磁道
    一个硬盘的一条条轨道(0~300 或 0~1024)
  2. 扇区
    一个磁道被划分成一堆扇区,一般是8K
  3. 柱面
    不同磁盘同一磁道所组成的存储块(条带化存储)
  4. 磁头数
    两倍于盘片
  5. 硬盘容量
    硬盘容量 = 柱面数(表示每面盘面上有几条磁道,一般总数是1024) × 磁头数(表示盘面数) × 扇区数(表示每条磁道有几个扇区,一般总数是64)× 扇区(存储基本单元,大小一般为512B/4KB)
固态硬盘

FLASH 支持热拔插,用在可移动U盘,固态硬盘
DDR 系统化的存储,不能掉电

接口
  1. ATA接口(老)
    并行口 IDE磁盘 133MBps
  2. SCSI接口
    并行 打印机 录影机 适应性广 传输距离高 价格昂贵
    320MB/s
  3. SATA接口(新)
    串行 150MBps~300MBps 移动硬盘 支持热拔插
  4. SAS接口(新)
    串行 全双工 双端口 1GBps
  5. NL-SAS
    采用SAS接口、SATA盘体,很明显性能在两者之间
  6. FC接口
    长距离传输

RAID技术(独立冗余磁盘阵列)

关键技术
  • 更有效的数据组织-->分条、并行
  • 数据安全保护功能-->校验、镜像
条带

磁盘中单个或者多个连续扇区构成一个条带。

分条

同一个磁盘阵列的多个磁盘驱动器上的相同位置(编号)的条带。
分条中硬盘容量、接口、速率都要保持一致

校验
异或校验冗余备份
常见RAID级别
  1. RAID 0

    数据条带化,无校验。存储性能最高,至少使用两个磁盘。
  2. RAID 1 (数据库)

    数据镜像,无校验。使用两组磁盘互补镜像。写的速度不高,读的速度和RAID 0相似,可以同时读。允许单个磁盘故障,可靠性高。
  3. RAID 3

    数据条带化读写,奇偶校验信息存放在专用硬盘。写的瓶颈被卡在校验盘,速度较慢。读的性能和RAID 0相似。
  4. RAID 5

    数据条带化,奇偶校验信息分布式存放。每块磁盘上既有数据信息也有校验信息。写的速度比RAID 3快,读的性能和RAID 0相似。
  5. RAID 6
    带有两种校验的独立磁盘结构,需要至少N+2(N>2)个磁盘。一般用在数据可靠性要求极高的应用场合。
  • RAID 6 P+Q
    两次RAID 5 的过程,分布式存放校验信息。可以允许两块盘同时出故障。
  • RAID 6 DP
    单独的两个校验盘,先做一次RAID 3,再进行一次斜向校验。出故障概率比较高。
  1. RAID 10
  1. RAID 50
RAID写惩罚
RAID 写惩罚
0 1
1 2
5 4
6 6
10 2

IOPS (Input/Output Operations Per Second),即每秒进行读写(I/O)操作的次数,多用于数据库等场合,衡量随机访问的性能。由寻道时间、旋转延迟和数据传输时间三部分构成。一般以每秒处理的I/O请求数量为单位。

寻道时间Tseek是指将读写磁头移动至正确的磁道上所需要的时间。寻道时间越短,I/O操作越快,目前磁盘的平均寻道时间一般在3-15ms。

旋转延迟Trotation是指盘片旋转将请求数据所在扇区移至读写磁头下方所需要的时间。旋转延迟取决于磁盘转速,通常使用磁盘旋转一周所需时间的1/2表示。比如,7200 rpm的磁盘平均旋转延迟大约为60*1000/7200/2 = 4.17ms,而转速为15000 rpm的磁盘其平均旋转延迟约为2ms。

数据传输时间Transfer是指完成传输所请求的数据所需要的时间,它取决于数据传输率,其值等于数据大小除以数据传输率。目前IDE/ATA能达到133MB/s,SATA II可达到300MB/s的接口数据传输率,数据传输时间通常远小于前两部分时间。

因此,理论上可以计算出磁盘的最大IOPS,即IOPS = 1000 ms/ (Tseek + Troatation),忽略数据传输时间。假设磁盘平均物理寻道时间为3ms, 磁盘转速为7200,10K,15K rpm,则磁盘IOPS理论最大值分别为,
IOPS = 1000 / (3 + 60000/7200/2) = 140
IOPS = 1000 / (3 + 60000/10000/2) = 167
IOPS = 1000 / (3 + 60000/15000/2) = 200


存储配置流程

LUN是英文Logical Unit Number的缩写,指逻辑单元号。RAID由几个硬盘组成,从整体上来看相当于由多个硬盘组成的一个大的物理卷,在物理卷的基础上可以按照指定容量创建一个或多个逻辑单元,这些逻辑单元称作LUN,可以作为映射给主机的基本块设备。

备份

备份结构——LAN BASED
基于LAN的备份,数据流和控制流都基于LAN传输,占用网络资源的备份模式。


备份结构——LAN FREE
不占用LAN资源,控制流基于LAN传输,数据流不经过LAN,由专用的高速存储网络承担。

常见的备份方式

方式 描述
D2D Disk to Disk,磁盘阵列到磁盘阵列(昂贵)
D2T 磁盘阵列到物理磁带(风险高)
D2V 磁盘阵列到虚拟磁带(中和)
D2D2T 每个月备份,每一年归档

常见的备份类型——[主要采用差异性备份]

容灾

低·数据级容灾
中·应用级容灾
高·业务级容灾
容灾备份的指标

  1. RPO(Recovery Point Objective)
    能恢复到的时间点,值越小说明备份时间距离现在越近
  2. RTO(Recovery Time Objective)
    恢复需要时间,值越小说明中断时间越小

推荐阅读更多精彩内容