MySQL的百万级性能测试——(一)环境搭建与百万级数据插入

0.323字数 1135阅读 2734

MySQL——全球最流行的数据库(没有之一,就使用量而言)。

            ——开源数据库。

            ——与mongoDB不同,MySQL是一门关系型数据库。

此系列文章,作者本人将推演至个人毕业设计之中。所以在毕设前,git项目不公开。若有真实的必要需求,请在文章底部联系本人。

转载文章需注明出处,thank you!PS.文章颇显粗糙稚嫩,承望不吝赐教!

性能测试灵感来源:

前几天在读的《深入NOSQL》时,引发一个思考,在庞大的数据中,是否应该思考一下MySQL关联查询的实用性!

深入NoSQL

举一个简单的例子,微博网站,A关注了100个人,B关注了100个人,A和B是好友,那么两个人共同关注了哪些人呢,然后查询显示出来?(在数据量是百万级千万级的情况下)

那么,是否这个时候,使用NOSQL来设计整个数据库更加优越呢?

研究方向:

1.使用批量插入数据快?还是循环一条条插入数据快?两者相差多少?

        (批量插入:关闭事务,等数据全部加入命令列表,再开启事务插入数据)

        (单一插入:一条一条数据插入)

2.数据池的加入对数据插入性能是否有影响?

3.远程数据库与本地数据库插入的差距?

测试环境:

本地机器:CPU:i5-4210U 双核四线程

                  内存:8GB,DDR3L 

                  系统:Windows10专业版 1709版本

本地渣渣本本

服务器:系统:CentOS7.4  64位

              CPU:Intel(R) Xeon(R) CPU E5-2682 v4 @ 2.50GHz  单核

              内存:2GB

服务器配置

测试工具:

    开发工具:IDEA 2017.3

    本地MySQL版本:MySQL 5.7.17

    远程MySQL版本:MySQL 5.7.17

    其他:JDK1.8,阿里maven仓库,阿里druid连接池


百万级数据插入:

    ——为了保证数据的精确性,每次数据测试,都将进行三次测试

项目目录结构(后续将加入c3p0、dbcp以及hikaricp连接池的性能测试)


项目目录结构

数据库设计

数据库设计

万级数据的本地插入

    ——druid/local/批量数据插入

总耗时在2.1秒,循环占据0.8秒

万级数据的本地插入

——druid/local/一一数据插入

总耗时在26.5秒左右,循环即插入

总结:万级的数据的本地插入既可以看出,MySQL中用批量插入,性能是一条条数据插入的13倍!

因此在下一级的十万级数据插入,只进行一次一一插入数据的测试。

十万级数据的本地插入

——druid/local/批量数据插入

耗时9秒左右,10倍的数据量,4.5倍性能消耗

十万级数据的本地插入

——druid/local/一一数据插入

耗时265秒!10倍数据量,10倍的性能消耗

总结:十万级的数据本地插入即可以看出,MySQL中用批量插入,性能消耗和数据量插入应该不是成正比的,同时一条条数据插入完全可以淘汰!

万级数据的远程插入

——druid/remote/一一数据插入


未完待续!待补:

1.远程数据库连接 插入数据(万级、十万级、百万级)

2.本地数据库连接 插入数据(百万级)

3.不用数据库连接 插入数据(本地+远程 (万,十万,百万)级)

4.打包项目,在服务器模拟服务器本地数据库插入,打印日志,进行测试

5.购买阿里的云数据库RDS,插入比较

6. c3p0、dbcp以及hikaricp连接池的性能测试

关于查询

1.建立索引查询与纯粹关联查询差距

2.使用nosql的插入数据性能测试

3.使用nosql的查询数据性能测试

(后续测试不会基本不会测试单一数据插入,毕竟是不推荐的技术,性能差距太大。后续应该基本采用数据库连接池查询,因为实际开发中项目都是需要数据库连接池的开进行高效复用)

个人博客:写过诗的程序猿(https://www.hezhiming.xin)

个人邮箱:hezhimingabc@qq.com

个人微信:hezhiming_

如果您喜欢请点击一波关注,谢谢你的支持!

推荐阅读更多精彩内容