你的httpclient真的使用正确吗

我用java开发类似scrapy的工具包时,在使用httpclient做网络请求,遇到了请求无限卡死的问题,今天将其解决方案拿出来,避免后人踩坑。

问题如下:
RequestConfig.custom().setSocketTimeout(SO_TIME_OUT).setConnectTimeout(CONNECTION_TIME_OUT).setConnectionRequestTimeout(CONNECTION_REQUEST_TIME_OUT)

在设置了常规的超时配置如socketTimeout、connectTimeout和connectionRequestTimeout,在大并发情况下,时不时会出现部分请求在java.net.SocketInputStream.socketRead0方法中一直卡死,dump出的信息如下:

"pool-2-thread-87" #202 prio=5 os_prio=0 tid=0x00007f52603a8000 nid=0x6672 runnable [0x00007f51888c6000]
   java.lang.Thread.State: RUNNABLE
    at java.net.SocketInputStream.socketRead0(Native Method)
    at java.net.SocketInputStream.socketRead(SocketInputStream.java:116)
    at java.net.SocketInputStream.read(SocketInputStream.java:171)
    at java.net.SocketInputStream.read(SocketInputStream.java:141)
    at org.apache.http.impl.io.SessionInputBufferImpl.streamRead(SessionInputBufferImpl.java:137)
    at org.apache.http.impl.io.SessionInputBufferImpl.fillBuffer(SessionInputBufferImpl.java:153)
    at org.apache.http.impl.io.SessionInputBufferImpl.readLine(SessionInputBufferImpl.java:282)
    at org.apache.http.impl.conn.DefaultHttpResponseParser.parseHead(DefaultHttpResponseParser.java:138)
    at org.apache.http.impl.conn.DefaultHttpResponseParser.parseHead(DefaultHttpResponseParser.java:56)
    at org.apache.http.impl.io.AbstractMessageParser.parse(AbstractMessageParser.java:259)
    at org.apache.http.impl.DefaultBHttpClientConnection.receiveResponseHeader(DefaultBHttpClientConnection.java:163)
    at org.apache.http.protocol.HttpRequestExecutor.doReceiveResponse(HttpRequestExecutor.java:273)
    at org.apache.http.protocol.HttpRequestExecutor.execute(HttpRequestExecutor.java:125)
    at org.apache.http.impl.execchain.MainClientExec.createTunnelToTarget(MainClientExec.java:486)
    at org.apache.http.impl.execchain.MainClientExec.establishRoute(MainClientExec.java:411)
    at org.apache.http.impl.execchain.MainClientExec.execute(MainClientExec.java:237)
    at org.apache.http.impl.execchain.ProtocolExec.execute(ProtocolExec.java:185)
    at org.apache.http.impl.execchain.RetryExec.execute(RetryExec.java:89)
    at org.apache.http.impl.execchain.RedirectExec.execute(RedirectExec.java:110)
    at org.apache.http.impl.client.InternalHttpClient.doExecute(InternalHttpClient.java:185)
    at org.apache.http.impl.client.CloseableHttpClient.execute(CloseableHttpClient.java:83)
排查自己是否踩坑

可以通过运行命令:jstack -l ${pid} | grep java.net.SocketInputStream.socketRead0
如果多次dump信息都有同一个线程栈每次都出现,则可以判断你的服务也存在这种问题

解决方案
  1. 如果是https的,并且使用的是4.3.5版本的httpclient版本,升级httpclient版本即可,这个是httpclient的bug,详情见https://issues.apache.org/jira/browse/HTTPCLIENT-1589,这是第一种可能性的解决方案。
  2. 如果第一种不能解决,基本都是这种可能性了。我在使用httpclient的代理请求,经过无数次的debug,发现代理请求时在TUNNEL_TARGET步骤,里面的连接用的DefaultBHttpClientConnection绑定的socket,使用的是SocketConfig配置,而不是RequestConfig,所以在没有设置SocketConfig情况下,socket的ocketRead0方法是无限等待的,就会造成线程一直卡死。增加下面的配置即可:
connectionManager.setSocketConfig(SocketConfig.custom().setSoTimeout(SO_TIME_OUT).build());

另外,凡是用到socket的,可能都需要注意是否设置了socket的timeout,不然就会出现一直socketRead0的情况。

本文作者:二当家的
同名博客文章链接: 2018/12/15/你的httpclient真的使用正确吗
本博客所有文章除特别声明外,均采用 CC BY-NC-SA 3.0 CN 许可协议。转载请注明出处!

二当家的黑板报

扫描上面微信公众号,获取更多技术信息

推荐阅读更多精彩内容