InnoDB存储引擎结构介绍

Ⅰ、InnoDB发展史

时间	事件	备注
1995	由Heikki Tuuri创建Innobase Oy公司，开发InnoDB存储引擎	Innobase开始做的是数据库，希望卖掉该公司
1996	MySQL 1.0 发布
2000	MySQL3.23版本发布
2001	InnoDB存储引擎集成到MySQL数据库	以插件方式集成
2006	Innobase被Oracle公司收购（InnoDB作为开源产品，性能和功能很强大）	InnoDB在被收购后的，MySQL中的InnoDB版本没有改变
2010	MySQL5.5版本InnoDB存储引擎称为默认存储引擎	MySQL被Sun收购，Sun被Oracle收购，使得MySQL和InnoDB重新在一起配合开发
至今	其他存储引擎已经不再得到Oracle官方的后续开发

Ⅱ、InnoDB重要特性一览

Fully ACID（InnoDB默认的Repeat Read隔离级别就支持）
Row-level Locking（支持行锁）
Multi-version concurrency control（MVCC）（支持多版本并发控制）
Foreign key support（支持外键）
Automatic deadlock detection（死锁自动检测）
High performance、High scalability、High availability（高性能，高扩展，高可用）

Ⅲ、物理存储结构

3.1 主要组成部分

表空间文件：

独立表空间
共享表空间
undo表空间(MySQL5.6开始)

重做日志文件：

物理逻辑日志
没有Oracle的归档重做日志

3.2 细说表空间文件

表空间的概念：

表空间是一个逻辑存储的概念
表空间可以由多个文件组成
支持裸设备（可以直接使用O_DIRECT 方式绕过缓存，直接写入磁盘）

表空间的分类：
①共享表空间(最早只有这个)

存储元数据信息
存储Change Buffer信息
存储Undo信息
MySQL4.0之前所有数据都是存储在共享表空间中

②独立表空间

MySQL4.0开始，支持每张表对应一个独立表空间(ibd文件)
innodb-file-per-table=1（默认为1，这个参数关掉创建表，会发现对应的库下面没有该表的idb文件）
分区表可以对应多个ibd文件

③undo表空间

MySQL5.6版本支持独立的Undo表空间,默认是0，即undo记录在共享表空间中
innodb_undo_tablespaces(该值8.0开始将会被剔除，不可修改，默认写死，为2)

④临时表空间

MySQL5.7增加了临时表空间（ibtmp1）
innodb_temp_data_file_path

3.3 看下数据目录

[root@VM_0_5_centos data3306]# ll ib*
-rw-r----- 1 mysql mysql    16285 Feb  4 18:15 ib_buffer_pool
-rw-r----- 1 mysql mysql 79691776 Feb 24 10:53 ibdata1          #共享表空间
-rw-r----- 1 mysql mysql 50331648 Feb 24 10:53 ib_logfile0      #重做日志
-rw-r----- 1 mysql mysql 50331648 Feb  4 15:06 ib_logfile1    
-rw-r----- 1 mysql mysql 12582912 Feb 24 10:14 ibtmp1           #临时表空间

两个ib_logfile是循环交替写入的，SSD下尽可能设大，单个文件4G/8G，设置太小可能会导致脏页刷新时hang住

MySQL中现在只有这两个文件不会归档，最老的3.23版本支持归档，因为MySQL有二进制日志所以把这个功能阉割了

[root@VM_0_5_centos data3306]# cd test
[root@VM_0_5_centos test]# ll
total 228
-rw-r----- 1 mysql mysql       65 Feb  4 13:21 db.opt           #记录默认字符集和字符集排序规则
-rw-r----- 1 mysql mysql  8554 Feb  1 15:45 abc.frm             #表结构文件
-rw-r----- 1 mysql mysql 98304 Feb 24 10:53 abc.ibd             #独立表空间

就性能而言，独立和共享速度是一样的，基本上区别

虽然ibadta1是一个文件，但是在底层申请也是1兆1兆地申请的空间，是连续的(两种都是以区的方式来管理)，在磁盘上的表现是一样的，1M的数据基本上可以认为是连续的

tips:
sysbench去测8个文件开16个线程和测1个文件开128个线程，测出来iops是一样的，因为它的分配和管理机制都是一样的

那为什么MySQL4.0版本开始引入了独立表空间呢？

主要是为了管理方便，表现为：

看上去清晰
删除文件非常简单，drop完空间可释放，对于ibdata1来说，一个文件，只能增不能减，删除一张表只是把这张表对应的空间标为可用，但是空间并不能回收
删除.ibd文件是不行的，因为对应的innodb元数据表里面的数据没有删

.ibd和.ibdata1文件坏了修复的话收费是按行数来算的很贵的哦，相对而言ibdata1文件修复难度更大

切记：不要在数据目录下删除任何文件

3.4 小常识

单个ibd文件直接拷贝到新的数据库中无法直接恢复：

原因一：元数据信息还是在ibdata1中
原因二：部分索引文件存在于Change Buffer中，目前还是存放于ibdata1文件中

查看表空间的元数据信息

select * from information_schema.innodb_sys_tablespaces;

Ⅳ、逻辑存储结构

4.1 从上到下的结构

表空间
内部有多个段对象（Segment）组成
每个段（Segment）由区（Extent）组成
每个区（Extent）由页（Page）组成
每个页里面保存数据（或者叫记录Row）

段：

段对用户来说是透明的，也是一个逻辑的概念，用来组织管理区

在MySQL系统表中是看不到段这个元数据的，但是逻辑上的确存在(重点理解区和页)

区：

区包含页

区是最小的空间申请单位，表空间文件要扩展是以区的单位来扩展

区的大小固定为1M，这1M在物理上是连续的，但1M和1M之间不保证连续

page_size=16K 就是1M * 1024 / 16 = 64个页

16k 64个页
8k 128个页
4k 256个页

通常一次申请4个区大小，1兆1兆地申请，特殊情况会申请5个区，很少发生这种情况

页 :
等价于ORACLE中的块 ,最小的I/O操作单位

tips:
data的最小单位不是页，而是页中的记录(row)

普通用户表中MySQL默认的每个页为16K

从MySQL 5.6开始使用 innodb_page_size可以控制页大小
一旦数据库通过innodb_page_size创建完成，则后续无法更改
innodb_page_size 是针对普通表的,压缩表不受其限制

4.2 来来来，吹两手

从5.6开始可以调整大小，但只能设置4k和8k，从5.7开始还可以设置32k，64k，如果设置为32k或者64k那区的大小就变为2M和4M

什么淘宝标准MySQL配置参数把这个大小设置为4k，完全扯淡，就算在ssd下4k可能也不会比16k好，另外设置为4k，io操作会变多，不要迷信，现在的表偏向于宽表(很多列组成，单行记录比较大）,一行超过1k甚至4k以上，这时候这个页大小设为4，性能会很差。

设置小了，B+ tree高度变高，io变多，性能变差;如果是宽列，4k的页会导致行外存，效率变差

目前为止，大家都用的SSD，列比较宽，内存也比较大，就保留16k或者尝试一下32k(一些单列特别大的场景，大页性能有优势)

tips:
MySQL页大小和ORACLE页大小不同的是，MySQL页大小是全局的，一旦初始化好，就不可再修改，不像ORACLE可以设置每张表的页大小

Ⅴ、MySQL中如何定位到一个页

SpaceID

每个表空间都对应一个SpaceID，而表空间又对应一个ibd文件，那么一个ibd文件也对应一个SpaceID
ibdata1对应的SpaceID为0，每创建一个表空间（ibd文件），SpaceID自增长（全局）

PageNumber

在一个表空间中，第几个16K的页（假设 innodb_page_size = 16K）即为PageNumber

           +--------------------+--------------+-------------+--------------+
  SpaceID  |         0          |      1       |             |      N       | # 全局递增              
           +----------------------------------------------------------------+              
           |                    |              ||           ||              |
  ibd File |      ibdata1       |  table1.ibd  ||  ......   ||  tableX.ibd  +------+              
           |                    |              ||           ||              |      |              
           +--------+-----------+-------+-----------------------------------+      |                       
                    |                   |                                          |                       
                    |                   |                                          |                       
                    |                   +--------------------------------------+   |                       
                    |                                                          |   |                       
                    |                                                          |   |               
           +--------v---+------------+--------------------------------------+  |   |
           |            |            |             ||          ||           |  |   |              
           |     16K    |     16K    |     16K     ||  ......  ||    16K    |  |   |              
           |            |            |             ||          ||           |  |   |              
           +----------------------------------------------------------------+  |   |
Page Number|      0     |      1     |      2      |            |     M     |  |   |                
           +------------+------------+-------------+------------+-----------+  |   |                                                                                                                                    |   |                                                                                                                                    |   |                       
                    +----------------------------------------------------------+   |                       
                    |                                                              |                       
                    |                                                              |                       
                    |                                                              |                     
                    |                                                              |              
           +--------v---+------------+--------------------------------------+      |              
           |            |            |             ||          ||           |      |              
           |     16K    |     16K    |     16K     ||  ......  ||    16K    |      |              
           |            |            |             ||          ||           |      |              
           +----------------------------------------------------------------+      | 
Page Number|      0     |      1     |      2      |            |     M     |      |         
           +------------+------------+-------------+------------+-----------+      |                                                                                                                                        |   
                                                                                   |
                    +--------------------------------------------------------------+                       
                    |                       
                    |                     
                    |              
           +--------v---+------------+--------------------------------------+                          
           |            |            |             ||          ||           |              
           |     16K    |     16K    |     16K     ||  ......  ||    16K    |              
           |            |            |             ||          ||           |              
           +----------------------------------------------------------------+ 
Page Number|      0     |      1     |      2      |            |     M     |              
           +------------+------------+-------------+------------+-----------+              
                       # 每个表空间中，都是从0开始递增，且仅仅是表空间内唯一

每次读取Page时，都是通过SpaceID和PageNumber进行读取
可以简单理解为从表空间的开头读多少个PageNumber * PageSize的字节（偏移）
想成数组，数组的名字就是SpaceID，数组的下标就是PageNumber
在一个SpaceID（ibd文件）中，PageNumber是唯一且自增的
删除表的时候，SpaceID不会回收，SpaceID是全局自增长的

tips：
这里的区（extent）的概念已经弱化

在这个例子中，第一个区的PageNumber是（0到63）且这64个页在物理上是连续的；第二个区的PageNumber是（64到127）且这64个页在物理上也是连的

但是（0到63）和（64到127）之间在物理上则不一定是连续的，因为区和区之间在物理上不一定是连续的

随便看看

(root@localhost) [information_schema]> select space, name from information_schema.innodb_sys_tablespaces order by space limit 5;
+-------+---------------------+
| space | name                |
+-------+---------------------+
|     2 | mysql/plugin        |
|     3 | mysql/servers       |
|     4 | mysql/help_topic    |
|     5 | mysql/help_category |
|     6 | mysql/help_relation |
+-------+---------------------+
5 rows in set (0.00 sec)

(root@localhost) [information_schema]> select name, space, table_id from information_schema.innodb_sys_tables where space=0;
+------------------+-------+----------+
| name             | space | table_id |
+------------------+-------+----------+
| SYS_DATAFILES    |     0 |       14 |
| SYS_FOREIGN      |     0 |       11 |
| SYS_FOREIGN_COLS |     0 |       12 |
| SYS_TABLESPACES  |     0 |       13 |
| SYS_VIRTUAL      |     0 |       15 |
+------------------+-------+----------+
5 rows in set (0.00 sec)

(root@localhost) [information_schema]> select name, space, table_id from information_schema.innodb_sys_tables where space<>0 order by space limit 5;
+---------------------+-------+----------+
| name                | space | table_id |
+---------------------+-------+----------+
| mysql/plugin        |     2 |       16 |
| mysql/servers       |     3 |       17 |
| mysql/help_topic    |     4 |       35 |
| mysql/help_category |     5 |       36 |
| mysql/help_relation |     6 |       38 |
+---------------------+-------+----------+
5 rows in set (0.00 sec)

独立表空间的table_id和SpaceID一一对应
共享表空间是多个table_id对应一个SpaceID
SpaceID为0的是ibdata1，1这个位置没有，空的