MySQL运维-元数据锁问题定位

问题

最近维护MySQL数据库时,有个业务报障说所有的SQL语句都超时,执行了5分钟都执行不完。
我登录到他的MySQL后,执行了Show Process就发现问题了。
过程是他在一个表上执行了一个大查询,查询没有结束的情况下,又在该表发起了一个DDL语句,然后后续在该表上的SQL语句执行就一直在等待了。
具体的细节先不分析,让我们来重现这个场景,并在场景中进行分析。

环境准备

首先我们准备一张表,并在表中插入一点数据。

mysql> CREATE TABLE `t` (
    ->   `id` int(11) NOT NULL,
    ->   `name` varchar(30) DEFAULT NULL,  
    ->   PRIMARY KEY (`id`)
    -> ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; 
Query OK, 0 rows affected (0.05 sec)

mysql> insert into t values ( 1, '123') ;
Query OK, 1 row affected (0.03 sec)

问题重现

为了重现问题,我们至少需要4个会话,因为所有的SQL语句执行都会堵住,我们按照会话执行的先后顺序来执行。

  • 会话1
    在会话1中执行一条大查询,这条查询语句要执行很长时间。
mysql> select id , name , sleep(300) from t ; 
  • 会话2
    发起一条DDL操作。
mysql> alter table t add ts timestamp;

因为DDL语句会申请MDL锁,MDL锁是表级别独占锁,前面有一条查询t表的SQL语句没有结束,所以该DDL语句会等待。

  • 会话3
    发起t表上的其他任何语句,都会堵住,这里执行一条简单sql语句。
mysql> select * from t where id=1 ;

可以看到会话堵住了。

  • 会话4
    在该会话,我们来通过show processlist 看看发生了什么?
mysql> show processlist ; 
+--------+-------------+--------------------+------------+-------------+-------+-----------------------------------------------------------------------------+---------------------------------------+
| Id     | User        | Host               | db         | Command     | Time  | State                                                                       | Info                                  |
+--------+-------------+--------------------+------------+-------------+-------+-----------------------------------------------------------------------------+---------------------------------------+
| 177915 | test         | 127.0.0.1:27538  | testdb     | Query       |    17 | User sleep                                                                  | select id , name , sleep(300) from t  |
| 178701 | test         | 127.0.0.1:28316  | testdb     | Query       |    15 | Waiting for table metadata lock                                             | alter table t add column ts timestamp |
| 178751 | test         | 127.0.0.1:28346  | testdb     | Query       |    12 | Waiting for table metadata lock                                             | select * from t where id=1            |
| 188250 | test         | 127.0.0.1:37604  | testdb     | Query       |     0 | init                                                                        | show processlist                      |
+--------+-------------+--------------------+------------+-------------+-------+-----------------------------------------------------------------------------+---------------------------------------+

从show process结果中可以看到,第一条sql语句select id , name , sleep(300) from t 正在执行中,而第二条和第三条sql语句都在等待MDL锁。
在这个案例中第一条大SQL是起因,结合DDL操作就会出现该问题。

如何避免文中的问题

如果我们按照上面问题重现的步骤在一个MySQL上执行那么基本上没法避免出现MDL锁的问题。
业务方问咨询的时候,我建议他尽量不要自己执行DDL,在数据库管理平台申请SQL,我们的平台会审核后,对于DDL语句,会在底层通过pt工具执行,依赖防止大表ALTER操作影响后续的SQL,而来,pt工具在执行DDL之前会判断处理该表上的长SQL,如果超过10s,会直接kill掉sql语句后,再执行DDL。这样就避免了MDL锁的出现。
当然最好的方式是大查询SQL不要在主库执行,在从库中执行影响就会很小了,而且可以通过代理层(参考一步一步打造MySQL高可用平台),把读操作自动负载均衡到从库。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 160,026评论 4 364
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,655评论 1 296
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,726评论 0 244
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,204评论 0 213
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,558评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,731评论 1 222
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,944评论 2 314
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,698评论 0 203
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,438评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,633评论 2 247
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,125评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,444评论 3 255
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,137评论 3 238
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,103评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,888评论 0 197
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,772评论 2 276
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,669评论 2 271

推荐阅读更多精彩内容