通过jedis客户端连接redis写入报"JedisConnectionException: java.net.SocketException: Software caused connection

问题现象(jedis-2.1.0.jar)

基于JedisPool管理Jedis对象,通过get方法获取值,出现key对应的value值错误,例如:

K V

a a

Jedis.get(“a”)==’b’

通过获取key为a的值,但获取了值b来。

同一套代码的项目,分别部署在两个不同的应用集群,其中一个集群出现这种问题,而另一个集群却没有出现。

问题分析

通过表象可以看出,应该是链接池的Jedis对象链接出现错乱而导致的。而两个集群中的其中一个集群出现,这两个集群的唯一区别就是网络环境不一样,所以连接Redis服务器的网络是有差别的。

问题思考

根据以上信息,可以大致判断出应该跟网速和JedisPool链接池的超时时间(500毫秒)设置有关。那接下来的问题是,如果网络差的集群,出现redis连接超时,那么Jedis为什么会错误呢?是否在连接池的配置不当知道呢?

问题发现

带着以上的疑问,继续Google和百度相关资料,结果发现returnBrokenResource这个方法。通过资料查找和对JedisPool的源码分析,此方法是销毁异常Jedis连接的。如果Jedis链接发现异常(如连接超时),不对异常连接销毁的话,会有数据缓存问题。

异常流程:

重现问题测试代码(设置1ms的readTimeOut时间,以便问题重现):

1 package test; 2 3 import java.io.IOException; 4 import java.io.InputStream; 5 import java.util.Properties; 6 import java.util.Random; 7 import org.apache.commons.lang.StringUtils; 8 import redis.clients.jedis.Jedis; 9 import redis.clients.jedis.JedisPool; 10 import redis.clients.jedis.JedisPoolConfig; 11 12 public class RedisTest implements Runnable{ 13 14 public static JedisPool pool = null; 15 16 static { 17 try { 18 JedisPoolConfig config = new JedisPoolConfig(); 19 config.setMaxActive(100); 20 config.setMaxIdle(10); 21 config.setMaxWait(1000); 22 config.setTestOnBorrow(false); 23 config.setTestOnReturn(false); 24 config.setTestWhileIdle(true); 25 config.setTimeBetweenEvictionRunsMillis(30000); 26 config.setNumTestsPerEvictionRun(10); 27 config.setMinEvictableIdleTimeMillis(60000); 28 pool = new JedisPool(config, "192.168.22.213", 6379,1); 29 } catch (Exception e) { 30 System.out.println("【jedispool init error】"); 31 } 32 } 33 34 public void run() { 35 36 Jedis jedis = null; 37 String result = ""; 38 int i = new Random().nextInt(1000); 39 40 try{ 41 jedis=pool.getResource(); 42 result = jedis.get("T"+i); 43 44 if(StringUtils.isNotEmpty(result) && !result.equals("T"+i)){ 45 System.out.println(result+"!=T"+i); 46 } 47 48 }catch(Exception e){ 49 System.out.println(jedis+e.toString()); 50 51 }finally{ 52 if(jedis!=null){ 53 pool.returnResource(jedis); 54 } 55 } 56 57 } 58 59 /** 60 * 模拟2000线程并发 61 */ 62 public static void main(String[] args) throws Exception { 63 64 for(int i=0;i<2000;i++){ 65 new Thread(new RedisTest()).start(); 66 } 67 } 68 }

执行结果:

……

T50!=T47

redis.clients.jedis.Jedis@1295fe8redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketTimeoutException: Read timed out

T56!=T94

redis.clients.jedis.Jedis@151b0a5redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketTimeoutException: Read timed out

T717!=T380

redis.clients.jedis.Jedis@131303fredis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketTimeoutException: Read timed out

redis.clients.jedis.Jedis@602b6bredis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketTimeoutException: Read timed out

T204!=T787

T474!=T763

T163!=T542

T552!=T60

T604!=T820

T733!=T624

redis.clients.jedis.Jedis@131303fredis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketTimeoutException: Read timed out

redis.clients.jedis.Jedis@d56b37redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketTimeoutException: Read timed out

redis.clients.jedis.Jedis@151b0a5redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketTimeoutException: Read timed out

redis.clients.jedis.Jedis@1295fe8redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketTimeoutException: Read timed out

T784!=T948

T440!=T672

T97!=T867

……

以上结果出现许多键值不对应的情况。

解决方案

当Jedis读超时时,把此实例销毁,以免造成后续伤害。

销毁异常Jedis有三种方法:

方法1:加入红色代码,当读取Redis数据时任何异常都抛弃此Jedis实例

try{ jedis=pool.getResource(); result = jedis.get("T"+i); if(StringUtils.isNotEmpty(result) && !result.equals("T"+i)){ System.out.println(result+"!=T"+i); } }catch(Exception e){ System.out.println(jedis+e.toString()); if(jedis!=null){ pool.returnBrokenResource(jedis); } }finally{ if(jedis!=null){ pool.returnResource(jedis); } }

方法2:配置JedisPool的TestOnBorrow为true

config.setTestOnBorrow(true)

方法3:配置JedisPool的TestOnReturn为true

config.setTestOnReturn(true)

总结

其实以上三种方法原理都是一样,就是检查Jedis的有效性,销毁异常Jedis链接实例。只是检查的时间不一样。

而导致量应用集群中其中之一出现,可以定位为有问题集群到Redis集群服务器的网速比正常集群的差(500ms超时限制)

方法1是在发生时检验销毁;

方法2是在从连接池获取Jedis实例时检查;

截图源码来自package org.apache.commons.pool.impl.GenericObjectPool

方法3是在归还Jedis实例给连接池时检查;

截图源码来自package org.apache.commons.pool.impl.GenericObjectPool

以上三种检查连接有效性方法都是一致:

oolean isNormal = false

try{

isNormal = (jedis.isConnected()) && (jedis.ping().equals("PONG"))

}catch(Exception e){

isNormal = false

注1,三种方法可以同时使用,但需要在检查性能消耗和功能稳定性之间衡量。

文章更新时间:2016-07-01

更新内容:当我把jedis更新到2.8.1的时候使用returnBrokenResource和returnResource显示方法过期,原因是Jedis类重写了这个close方法,原本是没有的,它在close已经帮你判断好,源码如下所示:

ublic void close() { if (this.dataSource != null) { if (this.client.isBroken()) this.dataSource.returnBrokenResource(this); else this.dataSource.returnResource(this); } else this.client.close(); }

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,736评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,167评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,442评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,902评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,302评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,573评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,847评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,562评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,260评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,531评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,021评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,367评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,016评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,068评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,827评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,610评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,514评论 2 269

推荐阅读更多精彩内容

  • 使用redis也有端时间了,现在讲开发中遇到的几个常见异常总结如下: 一、通过JedisPool类实例获取getR...
    托普帝国_rachel阅读 13,747评论 0 2
  • NOSQL类型简介键值对:会使用到一个哈希表,表中有一个特定的键和一个指针指向特定的数据,如redis,volde...
    MicoCube阅读 3,902评论 2 27
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,099评论 18 139
  • 感恩!今天是父亲节,给爱喝绿茶的老爸送两袋,祝亲爱的老爸节日快乐!谢谢!谢谢!谢谢! 感恩!喜欢听解读是考核录音及...
    梧桐70阅读 162评论 0 0
  • 吵架了,离婚! 男人沉默着,无处发泄的情绪就像手中的烟头,一丝丝燃烧着。 女人啜泣着,杂乱的心绪是淌在脸颊的...
    一片梧桐树叶阅读 140评论 0 0