首先来看一下整个的IO栈，大概分为7层，每一层都有其特殊的功能和意义。
1、VFS层
即虚拟文件系统，这是linux内核为了应对不同的文件系统（ext3\ext4）抽象出来的，直接与系统调用对接，当read/write系统调用进行读写操作时，首先与内核的VFS打交道。
VFS层屏蔽了不同文件系统的差异，向上层提供统一的文件读写访问接口。
与VFS相关的数据结构，只位于内存中。这些数据结构实现VFS到实际文件系统的转换，包括超级块、VFS的索引节点、各种文件操作函数的转换等。
超级块和VFS inode对应磁盘上的超级块和inode，来自于disk上的，目录项是系统在内存中根据inode建立的文件层级关系。
2、FS层
具体的文件系统层，比如ext3、ext4等，文件系统建立在逻辑分区之上，创建好逻辑分区，并在其上创建相应类型的文件系统，就会在此逻辑分区上建立超级块和inode表，当文件系统mount时，这些数据结构就被读入内存，由VFS层在内存中建立相应的对应关系。
3、pagecache层
pagecache是内存中开辟出一块地方用于将经常访问的数据存储在内存中，这样当IO请求来时：对应读请求，先在pagecache中查找，如果命中则直接返回，这样就减少了从磁盘读取数据的延迟，内存数据访问速度远远大于disk io，提高了性能；对于写请求直接将数据写到pagecache后就返回写完成，等到操作系统的机制将cache中的数据flush到磁盘，这样也提高了写的效率。
注意：对于直接IO，是不经过pagecache的。
如何查看当前内存cache：
a、free -h
b、cat /proc/meminfo
Cached: 1071576 kB #当前cache使用量
SwapCached: 0 kB #准备写入swap的数据，这一项与使用swap有关
......
Dirty: 0 kB #内存中缓存的脏数据，即这些数据在内存中已经更新，还没有写到disk，如果此时机器断电，则数据将丢失
Writeback: 0 kB #正在从cache写回disk的数据大小
一般关注以上几个与cache相关的项。
与pagecache相关的内核参数：
vm.dirty_background_ratio ：这个参数表示当pagecache占到了内存的百分之多少，就开始异步的flushcache数据到disk
vm.dirty_ratio ：这个参数是个硬限制，表示pagecache占到内存的百分之多少，阻塞IO进行同步flush cache数据到disk的操作
vm.dirty_writeback_centisecs ：表示多长时间 pdflush/flush/kdmflush 这些进程会起来一次，进行cache数据flush。
vm.dirty_expire_centisecs ：表示执行flush操作的进程起来之后，将多长时间的过期数据flush到disk。
参考：https://lonesysadmin.net/2013/12/22/better-linux-disk-caching-performance-vm-dirty_ratio/
如果不想过量的使用pagecache，可以这么设置：
vm.dirty_background_ratio = 5
vm.dirty_ratio = 10
4、通用块层（generic block layer）
这一层其实是对底下的块设备提供了一个抽象，屏蔽了不同块设备不同的访问方式。
5、IO调度层（IO scheduler layer）
IO调度层主要完成块设备的请求队列的处理。即接收通用块层发出的I/O请求，缓存请求并试图合并相邻的请求。并根据设置好的调度算法，回调驱动层提供的请求处理函数，以处理具体的I/O请求。
常见的I/O调度算法包括Noop调度算法（No Operation）、CFQ（完全公正排队I/O调度算法）、DeadLine（截止时间调度算法）
我们可以根据应用类型来调整IO scheduler，根据后端存储或者磁盘调整io队列和队列深度，以优化磁盘的IO性能。
# cat /sys/block/sda/queue/nr_requests
128
# cat /sys/block/sda/device/queue_depth
64
# cat /sys/block/sda/queue/scheduler
noop [deadline] cfq
6、块设备驱动层
该层主要给上层提供块设备的驱动接口函数，完成相应的读写操作。
7、块设备层
块设备层真正的执行读写处理，对于SATA、SAS、等磁盘就是寻道读取，对于SSD盘就是直接读取，所以块设备对于整体的IO性能还是有很大的影响。
