mysql添加分区导致数据库异常

前段时间在给数据库增加分区时导致了一个异常
; uncategorized SQLException for SQL []; SQL state [HY000]; error code [23]; Out of resources when opening file '/export/data/mysql/tmp/ML5P97Os' (Errcode: 24 - Too many open files); nested exception is java.sql.SQLException: Out of resources when opening file '/export/data/mysql/tmp/ML5P97Os' (Errcode: 24 - Too many open files)

java.sql.SQLException: Failed to read from the .par file
为什么会导致Too many open files呢？
加分区的表是个分库分表，添加的分区类型是RANGE分区，按照每月一个分区，一个表建了三年的分区表（36个分区表），数据库一共分了32个库，每个库上64张业务表。
首先说下mysql数据库会生成哪些文件，假设数据库表A
如果是MyISAM存储引擎的数据库会产生三个文件：
1、A.frm 文件：记录表结构、字段长度等
2、A.MYD: 数据信息文件，存储数据信息
3、A.MYI: 索引信息文件

如果是InnoDB 会产生以下文件:
1、A.frm: 记录表结构、字段长度等
2、如果采用独立表存储模式，data\a中还会产生A.ibd文件（存储数据信息和索引信息）
3、如果采用共存储模式的，数据信息和索引信息都存储在ibdata1中
4、如果采用分区存储，data\a中还会有一个A.par文件（用来存储分区信息）

我们的mysql数据库使用的是Innodb存储引擎，所以每个数据库在创建分区表时，会生成64*36=2304个 .ibd文件，同时也会打开每个表的.par文件加上数据库原本打开的文件数，超过了设置的可以打开的最大文件数量限制，导致报了错。

解决办法调整mysql打开文件数限制，或者减少创建的分区数量。

查看mysql文件数命令：
show variables like 'open_files_limit%'
查看打开文件数命令：
show status like 'open_files%'
mysql 常用status变量如下表：

status Variable_name value 值含义
Aborted_clients 由于客户没有正确关闭连接,已经丢弃死掉的连接数量
Aborted_connects 尝试已经丢弃的失败的MySQL服务器的连接的数量
Connections 试图连接MySQL服务器的次数
Created_tmp_tables 当执行语句时，已经被创造了的隐含临时表的数量
Delayed_insert_threads 正在使用的延迟插入处理器线程的数量
Delayed_writes 用INSERT DELAYED写入的行数
Delayed_errors 用INSERT DELAYED写入的发生某些错误(可能重复键值)的行数
Flush_commands 执行FLUSH命令的次数
Handler_delete 请求从一张表中删除行的次数
Handler_read_first 请求读入表中第一行的次数
Handler_read_key 请求数字基于键读行
Handler_read_next 请求读入基于一个键的一行的次数
Handler_read_rnd 请求读入基于一个固定位置的一行的次数
Handler_update 请求更新表中一行的次数
Handler_write 请求向表中插入一行的次数
Key_blocks_used 用于关键字缓存的块的数量
Key_read_requests 请求从缓存读入一个键值的次数
Key_reads 从磁盘物理读入一个键值的次数
Key_write_requests 请求将一个关键字块写入缓存次数
Key_writes 将一个键值块物理写入磁盘的次数
Max_used_connections 同时使用的连接的最大数目
Not_flushed_key_blocks 在键缓存中已经改变但是还没被清空到磁盘上的键块
Not_flushed_delayed_rows 在INSERT DELAY队列中等待写入的行的数量
Open_tables 打开表的数量
Open_files 打开文件的数量
Open_streams 打开流的数量(主要用于日志记载）
Opened_tables 已经打开的表的数量
Questions 发往服务器的查询的数量
Slow_queries 要花超过long_query_time时间的查询数量
Threads_connected 当前打开的连接的数量
Threads_running 不在睡眠的线程数量
Uptime 服务器工作了多少秒

最后编辑于：2019.12.13 17:17:55