mysql优化

数据库层面问题解决思路

一般应急调优的思路:针对突然的业务办理卡顿,无法进行正常的业务处理!需要立马解决的场景!

1、showprocesslist

2、explainselectid,namefromstuwherename='clsn'; # ALL id name age sexselectid,namefromstuwhereid=2-1 函数 结果集>30;showindexfromt able;


3、通过执行计划判断,索引问题(有没有、合不合理)或者语句本身问题


4、showstatuslike'%lock%'; # 查询锁状态kill SESSION_ID; # 杀掉有问题的s ession

常规调优思路:针对业务周期性的卡顿,例如在每天 10-11 点业务特别慢,但是还能够使用,过了这段时间就好了。

1、查看 slowlog,分析 slowlog,分析出查询慢的语句。

2、按照一定优先级,进行一个一个的排查所有慢语句。

3、分析 top sql,进行 explain 调试,查看语句执行时间。

4、调整索引或语句本身。

1. 系统层面

cpu 方面:

vmstat、sar top、htop、nmon、mpstat

内存:

free 、ps -aux 、

IO 设备(磁盘、网络):

iostat 、 ss 、 netstat 、 iptraf、iftop、lsof、

vmstat 命令说明:

Procs:r 显示有多少进程正在等待 CPU 时间。b 显示处于不可中断的休眠的进程数

量。在等待I/O

Memory:swpd 显示被交换到磁盘的数据块的数量。未被使用的数据块,用户缓冲数

据块,用于操作系统的数据块的数量

Swap:操作系统每秒从磁盘上交换到内存和从内存交换到磁盘的数据块的数量。s1 和

s0 最好是0

Io:每秒从设备中读入 b1 的写入到设备 b0 的数据块的数量。反映了磁盘I/O

System:显示了每秒发生中断的数量(in)和上下文交换(cs)的数量

Cpu:显示用于运行用户代码,系统代码,空闲,等待 I/O 的 CPU 时间

iostat 命令说明

实例命令:iostat -dk 1 5

iostat -d -k -x 5 (查看设备使用率(%util)和响应时间(await))

tps:该设备每秒的传输次数。“一次传输”意思是“一次 I/O 请求”。多个逻辑请求

可能会被合并为“一次 I/O 请求”。

iops :硬件出厂的时候,厂家定义的一个每秒最大的 IO 次数,"一次传输"请求的大小

是未知的。

kB_read/s:每秒从设备(drive

expressed)读取的数据量;

KB_wrtn/s:每秒向设备(drive

expressed)写入的数据量;

kB_read:读取的总数据量;

kB_wrtn:写入的总数量数据量;这些单位都为 Kilobytes。

1. 系统层面问题解决办法

你认为到底负载高好,还是低好呢?

在实际的生产中,一般认为 cpu只要不超过 90% 都没什么问题 。

当然不排除下面这些特殊情况:

问题一:cpu 负载高,IO 负载低

内存不够

磁盘性能差

SQL 问题 ------>去数据库层,进一步排查 sql 问题

IO 出问题了(磁盘到临界了、raid 设计不好、raid降级、锁、在单位时间内 tps 过高)

tps 过高: 大量的小数据 IO、大量的全表扫描

问题二:IO 负载高,cpu 负载低

大量小的 IO 写操作:

autocommit ,产生大量小IO

IO/PS 磁盘的一个定值,硬件出厂的时候,厂家定义的一个每秒最大的 IO 次数。

大量大的 IO 写操作

SQL 问题的几率比较大

问题三:IO 和 cpu 负载都很高

硬件不够了或 SQL 存在问题

五、基础优化

1. 优化思路

定位问题点:

硬件 --> 系统--> 应用 --> 数据库 --> 架构(高可用、读写分离、分库分表) 处理方向:

明确优化目标、性能和安全的折中、防患未然

1. 硬件优化

主机方面:

根据数据库类型,主机 CPU 选择、内存容量选择、磁盘选择

平衡内存和磁盘资源

随机的 I/O 和顺序的I/O

主机 RAID 卡的BBU(Battery Backup Unit)关闭

cpu 的选择:

cpu 的两个关键因素:核数、主频

根据不同的业务类型进行选择:

cpu 密集型:计算比较多,OLTP 主频很高的 cpu、核数还要多

IO 密集型:查询比较,OLAP 核数要多,主频不一定高的

内存的选择:

OLAP 类型数据库,需要更多内存,和数据获取量级有关。

OLTP 类型数据一般内存是 cpu核心数量的 2 倍到 4 倍,没有最佳实践。存储方面:

根据存储数据种类的不同,选择不同的存储设备

配置合理的 RAID 级别(raid

5、raid 10、热备盘)

对与操作系统来讲,不需要太特殊的选择,最好做好冗余(raid1)(ssd、sas 、sata)

raid 卡:主机 raid 卡选择:

实现操作系统磁盘的冗余(raid1)

平衡内存和磁盘资源

随机的 I/O 和顺序的I/O

主机 RAID 卡的BBU(Battery Backup Unit)要关闭

网络设备方面:

使用流量支持更高的网络设备(交换机、路由器、网线、网卡、HBA 卡)

注意:以上这些规划应该在初始设计系统时就应该考虑好。

1. 服务器硬件优化

1、物理状态灯:

2、自带管理设备:远程控制卡(FENCE 设备:ipmi ilo idarc),开关机、硬件监控。

3、第三方的监控软件、设备(snmp、agent)对物理设施进行监控 4、存储设备:自带的监控平台。EMC2(hp 收购了), 日立(hds),IBM 低端 OEM hds,

高端存储是自己技术,华为存储

1. 系统优化

Cpu:

基本不需要调整,在硬件选择方面下功夫即可。

内存:

基本不需要调整,在硬件选择方面下功夫即可。

SWAP:

MySQL 尽量避免使用 swap。阿里云的服务器中默认 swap 为0

IO :

raid、no lvm、 ext4 或 xfs、ssd、IO 调度策略

Swap 调整(不使用 swap 分区)

这个参数决定了 Linux 是倾向于使用 swap,还是倾向于释放文件系统 cache。在内

存紧张的情况下,数值越低越倾向于释放文件系统 cache。当然,这个参数只能减少使

用 swap 的概率,并不能避免Linux 使用 swap。

修改 MySQL 的配置参数innodb_flush_method,开启 O_DIRECT 模式。这种情况

下,InnoDB 的 buffer

pool 会直接绕过文件系统 cache 来访问磁盘,但是redo

log 依旧会使用文件系统cache。值得注意的是,Redo

log 是覆写模式的,即使使用了文

件系统的 cache,也不会占用太多

IO 调度策略:

1. 系统参数调整

Linux 系统内核参数优化:

用户限制参数(MySQL 可以不设置以下配置):

1. 应用优化

业务应用和数据库应用独立,防火墙:iptables、selinux 等其他无用服务(关闭):

安装图形界面的服务器不要启动图形界面 runlevel 3,另外,思考将来我们的业务是否

真的需要 MySQL,还是使用其他种类的数据库。用数据库的最高境界就是不用数据库。

六、数据库优化

SQL 优化方向:

执行计划、索引、SQL 改写

架构优化方向:

高可用架构、高性能架构、分库分表

1. 数据库参数优化

调整:

实例整体(高级优化,扩展)

连接层(基础优化)

设置合理的连接客户和连接方式

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 157,198评论 4 359
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,663评论 1 290
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 106,985评论 0 237
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,673评论 0 202
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 51,994评论 3 285
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,399评论 1 211
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,717评论 2 310
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,407评论 0 194
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,112评论 1 239
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,371评论 2 241
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,891评论 1 256
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,255评论 2 250
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,881评论 3 233
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,010评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,764评论 0 192
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,412评论 2 269
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,299评论 2 260

推荐阅读更多精彩内容