MySQL的百万级性能测试——(一)环境搭建与百万级数据插入

MySQL——全球最流行的数据库(没有之一,就使用量而言)。

            ——开源数据库。

            ——与mongoDB不同,MySQL是一门关系型数据库。

此系列文章,作者本人将推演至个人毕业设计之中。所以在毕设前,git项目不公开。若有真实的必要需求,请在文章底部联系本人。

转载文章需注明出处,thank you!PS.文章颇显粗糙稚嫩,承望不吝赐教!

性能测试灵感来源:

前几天在读的《深入NOSQL》时,引发一个思考,在庞大的数据中,是否应该思考一下MySQL关联查询的实用性!

深入NoSQL

举一个简单的例子,微博网站,A关注了100个人,B关注了100个人,A和B是好友,那么两个人共同关注了哪些人呢,然后查询显示出来?(在数据量是百万级千万级的情况下)

那么,是否这个时候,使用NOSQL来设计整个数据库更加优越呢?

研究方向:

1.使用批量插入数据快?还是循环一条条插入数据快?两者相差多少?

        (批量插入:关闭事务,等数据全部加入命令列表,再开启事务插入数据)

        (单一插入:一条一条数据插入)

2.数据池的加入对数据插入性能是否有影响?

3.远程数据库与本地数据库插入的差距?

测试环境:

本地机器:CPU:i5-4210U 双核四线程

                  内存:8GB,DDR3L 

                  系统:Windows10专业版 1709版本

本地渣渣本本

服务器:系统:CentOS7.4  64位

              CPU:Intel(R) Xeon(R) CPU E5-2682 v4 @ 2.50GHz  单核

              内存:2GB

服务器配置

测试工具:

    开发工具:IDEA 2017.3

    本地MySQL版本:MySQL 5.7.17

    远程MySQL版本:MySQL 5.7.17

    其他:JDK1.8,阿里maven仓库,阿里druid连接池


百万级数据插入:

    ——为了保证数据的精确性,每次数据测试,都将进行三次测试

项目目录结构(后续将加入c3p0、dbcp以及hikaricp连接池的性能测试)


项目目录结构

数据库设计

数据库设计

万级数据的本地插入

    ——druid/local/批量数据插入

总耗时在2.1秒,循环占据0.8秒

万级数据的本地插入

——druid/local/一一数据插入

总耗时在26.5秒左右,循环即插入

总结:万级的数据的本地插入既可以看出,MySQL中用批量插入,性能是一条条数据插入的13倍!

因此在下一级的十万级数据插入,只进行一次一一插入数据的测试。

十万级数据的本地插入

——druid/local/批量数据插入

耗时9秒左右,10倍的数据量,4.5倍性能消耗

十万级数据的本地插入

——druid/local/一一数据插入

耗时265秒!10倍数据量,10倍的性能消耗

总结:十万级的数据本地插入即可以看出,MySQL中用批量插入,性能消耗和数据量插入应该不是成正比的,同时一条条数据插入完全可以淘汰!

万级数据的远程插入

——druid/remote/一一数据插入


未完待续!待补:

1.远程数据库连接 插入数据(万级、十万级、百万级)

2.本地数据库连接 插入数据(百万级)

3.不用数据库连接 插入数据(本地+远程 (万,十万,百万)级)

4.打包项目,在服务器模拟服务器本地数据库插入,打印日志,进行测试

5.购买阿里的云数据库RDS,插入比较

6. c3p0、dbcp以及hikaricp连接池的性能测试

关于查询

1.建立索引查询与纯粹关联查询差距

2.使用nosql的插入数据性能测试

3.使用nosql的查询数据性能测试

(后续测试不会基本不会测试单一数据插入,毕竟是不推荐的技术,性能差距太大。后续应该基本采用数据库连接池查询,因为实际开发中项目都是需要数据库连接池的开进行高效复用)

个人博客:写过诗的程序猿(https://www.hezhiming.xin)

个人邮箱:hezhimingabc@qq.com

个人微信:hezhiming_

如果您喜欢请点击一波关注,谢谢你的支持!

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 151,688评论 1 330
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 64,559评论 1 273
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 101,749评论 0 226
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 42,581评论 0 191
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 50,741评论 3 271
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 39,684评论 1 192
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,122评论 2 292
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,847评论 0 182
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,441评论 0 228
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,939评论 2 232
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,333评论 1 242
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,783评论 2 236
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,275评论 3 220
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,830评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,444评论 0 180
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 34,553评论 2 249
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 34,618评论 2 249

推荐阅读更多精彩内容