主流Java数据库连接池比较及前瞻

一、主流数据库连接池

C3p0: 实现数据源和JNDI绑定,支持JDBC3规范和JDBC2的标准扩展。Hibernate、Spring使用。单线程,性能较差,适用于小型系统,代码600KB左右。

DBCP (Database Connection Pool):Apache的, Jakarta commons-pool对象池机制,Tomcat使用。单独使用dbcp需要3个包:common-dbcp.jar,common-pool.jar,common-collections.jar,预先将数据库连接放内存中,建立数据库连接时,直接到连接池中申请,用完放回。单线程,并发量低,性能不好,适用于小型系统。

Tomcat Jdbc Pool:Tomcat在7.0以前都是使用,单线程,保证线程安全会锁整个连接池,性能差,超过60个类复杂。Tomcat从7.0开始叫做Tomcat jdbc pool,基于Tomcat JULI,使用Tomcat日志框架,完全兼容dbcp异步方式获取连接,支持高并发应用环境,核心文件8个,支持JMX,支持XA Connection。

BoneCP:高效、免费。设计提高性能,速度最快,高度可扩展:集成Hibernate和DataNucleus中。连接状态切换的回调机制;允许直接访问连接;自动化重置能力;JMX支持;懒加载能力;支持XML和属性文件配置方式;较好的Java代码组织,100%单元测试分支代码覆盖率;代码40KB左右。

DruidJava中最好,强大监控和扩展,可用于大数据实时查询和分析高容错、高性能分布式系统,尤其是当发生代码部署、机器故障以及其他产品系统遇到宕机等情况时,100%正常运行。主要特色:分析监控;交互式查询快;高可用;可扩展;

主流连接池各项功能对比如下

有HikariCP的

二、HikariCP性能分析:

HikariCP通过优化(concurrentBag,fastStatementList )集合来提高并发的读写效率。

使用threadlocal缓存连接及大量使用CAS的机制,最大限度的避免lock。可能带来cpu使用率的上升。

字节码的维度优化代码。 (default inline threshold for a JVM running the server Hotspot compiler is 35 bytecodes )让方法尽量在35个字节码一下,提升jvm的处理效率。HikariCP做的优化补充如下:

mysql connecter 源码里用的就是ping命令

比HikariCP更快的数据库连接池:https://github.com/mauricio/postgresql-async

scala生态圈的。用netty实现mysql协议,没用mysql官方connector,纯异步,连接池写的随便,性能依然很好。

三、前瞻,未来到底是HikariCP还是Druid的天下?

容器调度加编排云操作系统取而代单机的操作系统。裸机或者虚拟机的运行时也将会被容器取代通信方面将会使用Service Mesh

中间件趋势是弱化到无感知。maven依赖问题,把二方库写在pom里,监控等代码的硬编码进应用里都将逐渐弱化到不复存在,取而代之的那些java agent(如pinpoint、skywalking之类),或是service mesh这种side car模式都是可以做中间件(包括连接池)的监控的。

有赞用HikariCP替换durid后,RT出现断崖式下滑(1.5ms ~ 1.2ms) 并且持续稳定毛刺少。性能测试与压测之后,比druid性能提高一倍。

阿飞基于最新tag统计java、xml文件,druid(alibaba-druid)总行数:430289,HikariCP(brettwooldridge-HikariCP)总行数:18372。

只统计java代码,druid(alibaba-druid)总行数:428749,HikariCP(brettwooldridge-HikariCP)总行数:17556。

再过滤一下test目录,(alibaba-druid)总行数:215232,(brettwooldridge-HikariCP)总行数:7960。

DruidDataSource3000行druid是在jdbc的基础上,自己编码做得增强。druid生活在第一、二代连接池的面向过程的年代,忘了松耦合,监控和数据库连接池做在一个项目里(紧耦合没隔离)。监控在service mesh的。

未来的中间件,一定是和spring生态圈、servich mesh一样,大道至简,越来越薄,升级中间件不再是需要用户强行升级maven依赖解决依赖冲突,而是通过mesh的方式极致到升级让业务方无感知。热部署、潘多拉boot、容器隔离等解决依赖冲突的妥协方式也将可能大概率被置换掉

四、从Sharding-jdbc架构演进看未来

Database Mesh(搭乘 Service Mesh 新词):啮合层将数据库(散落系统各个角落)统一治理

首要目标:啮合应用与数据库间的交互(这样的交互网络像蜘蛛网一样复杂而有序),不是啮合db中的数据,将分布式数据访问应用数据库有机串联。Sharding-JDBC 以 JDBC 层分片架构图如下:

Sharding-JDBC 分别实现 Driver、Server 、Sidecar 三个不同版本,组成 Sharding-JDBC 的生态圈,为不同的需求与环境提供差异化服务

Sharding-JDBC-Server 使原来 DBA 通过 Sharding-JDBC-Driver 无法对数据进行操作的缺憾得到了补偿。由于 Sharding-JDBC-Driver 无需通过代理层进行二次转发,因此线上性能更佳,可通过以下的混合部署方案使用 Sharding-JDBC:

Sharding-JDBC-Driver:

线上应用使用,直连数据库以获取最优性能

用 MySQL 命令行或 UI 客户端连接 Sharding-JDBC-Server 方便的查询数据执行各种 DDL 语句

同一注册中心集群,通过管理端配置注册中心中的数据注册中心自动将配置变更推送Driver 和 Server 应用。若数据库拆分的过多而导致连接数会暴涨,则可以考虑直接在线上使用 Sharding-JDBC-Server,以达到有效控制连接数的目的。

Sharding-JDBC-Sidecar 将问世,部署架构:

基于 Sharding-JDBC 的 Database Mesh 与 Service Mesh 互不干扰,相得益彰。服务之间的交互由 Service Mesh Sidecar 接管,基于 SQL 的数据库访问Sharding-JDBC-Sidecar 接管(随着宿主机的生命周期创建和消亡的)。

非静态 IP,完全动态和弹性的存在,无中心节点。数据运维等操作,启动Sharding-JDBC-Server 进程作为静态 IP 入口,通过各种命令行或 UI 客户端进行操作。

硬编码

scala

Sharding-JDBC

JNDI绑定,JDBC3规范和JDBC2的标准,

用netty实现mysql协议,没用mysql官方connector

二方库

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,015评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,262评论 1 292
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,727评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,986评论 0 205
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,363评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,610评论 1 219
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,871评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,582评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,297评论 1 242
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,551评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,053评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,385评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,035评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,079评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,841评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,648评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,550评论 2 270