mysql 第二弹

继续mysql。mysql有一些分支:percona、MariaDB等,(关于MariaDB的来源的其实是Mysql创始人推出的。我们知道mysql经历了两次收购,创始人呢独立出来又创立了新的DB,Mysql是以他大女儿的名字命名的,MariaDB是以二女儿的名字取得。)当然相信这两者会随着时间的推移会越来越不同。

众而周知,Mysql两大主要存储引擎:MyISAM、InnoDB。在mysql5.0、5.1中主要以MyISAM为主,5.5--5.7则变为InnoDB为主。到了8.0时则完全脱离了MyISAM。存储结构方面:Oracle则是以块为基本单元(利用的是堆),而Mysql则是page(16K),一个page中包含索引和数据。


图片发自简书App

InnoDB有几个显著的性质:1.insert buffer;2.double write;3.自适应哈希;4.异步IO;5.刷新邻页。这里面着重提到double write。oracle中其实也有这部分,但是它自身内部已经优化好了,对开发人员来说是透明的。mysql的double write(缓冲缓存技术)用于防止系统断电,异常crash导致丢失数据。这个过程是异步的。会有2M的空间用于记录。说道double write,可能不得不提到以下两个log:redo-log,binlog。redolog是innoDB层,用于记录对数据进行的操作日志,binlog是server层。double write的中心词就是checksum(其实就是page的最后事务号)。如果出现了断电,或者写了一部分出现了异常,那么checksum是不一致的。这时redolog是无法恢复数据库的,因为其本身有一段记录是不完整的。这时我们就需要用double write构造出异常点,然后进行恢复。原理如下:当mysql将脏数据flush到data file的时候, 先使用memcopy 将脏数据复制到内存中的double write buffer ,之后通过double write buffer再分2次,每次写入1MB到共享表空间,然后马上调用fsync函数,同步到磁盘上,避免缓冲带来的问题,在这个过程中,double write是顺序写,开销并不大,在完成double write写入后,在将double write buffer写入各表空间文件,这时是离散写入。但是也有缺点:会降低一部分性能,但是不会低于50%(原因:1.顺序写磁盘,效率高;2.会自动合并空间刷新方式,每次刷新多个pages)。可参考:http://blog.itpub.net/22664653/viewspace-1140915

如何使用double write呢,可以查询一下参数show status like '%dbl%' ,比较刷新脏页。用第一个值除以第二个值,一般不超过32为正常,也就是说IO负载不高,像下图这是我自己本地的test配置,已经超过32了,因此会造成大量的IO负载。

Mysql也是使用LRU的方式,控制方式更加清晰,主要有两个参数:innodb_lru_scan_depth(控制LRU列表中可用页的数量)和innodb_max_dirty_pages_pact(刷脏页的频率,默认为75%,google为80%)。也可参考(https://yq.aliyun.com/articles/50627)

接着讨论关于数据表字段储存大小的问题。

我们一般创建表选的字符集有以下几个:latin1,gbk,utf8。它们分别占1,2,3个字节。因此我们如何判定表存储的临界值呢?使用varchar类型,如果指定gbk,表里含有一个字段,那么最多可指定多少字节呢?(32766)

越界
正常

这个临界值是怎么计算的呢?行最大长度65535(2个字节),则varchar列的最大长度算法就是(65535-2)/2=32766.分子上的2,取决于长度是否超过255,小于255则减一,大于则减2.分母上的2则是由编码的字节决定的,gbk是两个字节,所以除以2.

如何查看binlog

图片发自简书App

binlog会将有符号数和无符号数都按照无符号数转换。

sql的解析过程

虽然经常写sql,但是它是如何解析的呢?这个部分最容易忽略,也是最容易出错的地方。实例来看:create table test(id int not null,name varchar(20));用以下语句进行测试。

select1 id1 from1 test1 where1 id1='aa' group by1 id1 order by1 id1;大家可以试一试,首先回去检查文法,检查(select,from等关键字),然后校验表名,表的列名,接着分组,最后排序。(当然有些第三方的工具会将分组放在数据刷选的后面,有些则放在前面。)总体来说以下几个部分:1.检查文法。2.校验对象是否存在。3.将对象进行同义词转换。4.检查权限。5.生成执行计划。6.将游标产生的执行计划,sql文本装载。

怎样查看执行的性能问题

show session status like ‘%handler%’;

着重看下handler_read_rnd_next这个参数,比较运行sql执行前后的数值变化,从而定位耗性能点是在哪里。也可以打开跟踪:set optimizer_trace="enabled=on",进一步分析。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 157,012评论 4 359
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,589评论 1 290
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 106,819评论 0 237
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,652评论 0 202
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 51,954评论 3 285
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,381评论 1 210
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,687评论 2 310
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,404评论 0 194
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,082评论 1 238
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,355评论 2 241
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,880评论 1 255
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,249评论 2 250
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,864评论 3 232
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,007评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,760评论 0 192
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,394评论 2 269
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,281评论 2 259

推荐阅读更多精彩内容