Spring+ Dubbo的应用关闭时dataSource already closed探究

线上问题

最近我们线上的一个工程,每次在发布重启应用的时候都会报如下错误:

com.alibaba.druid.pool.DataSourceClosedException:dataSource already closed at Fri Mar 20 17:36:26 CST 2020

显然是应用在shutdown时的处理有问题,导致数据库连接在dubbo服务执行完毕前就关闭而导致的,属于优雅停机相关的问题。


什么是优雅停机?

在web服务(Http协议)上线的时候,会通过kill命令杀死进程,这个时候在已经accept的请求还在线程池里面,我们要保证这部分请求正常处理并且返回数据之后再停机.

dubbo服务(Tcp协议)也是同样的道理.

优雅停机包括:线程池的优雅关闭,数据库连接池的关闭,数据源的关闭,kafka连接的关闭....


本地再现

    @PostMapping("/test")
    @ResponseBody
    public Object test() throws InterruptedException {
        // 模拟服务执行耗时
        Thread.sleep(5000);
        return supplierMapper.selectByUuid("SEL000000625");
    }

我们发起/test请求,五秒内点击ide内的关闭按钮(向java进程发送kill命令),成功复现问题:



问题根源探究

java程序的优雅退出通过JVM的关闭钩子来实现,即:

Runtime.addShutDownHook

我们的服务基于SpringBoot+Dubbo+数据库连接池的,他们当然都注册了关闭钩子:

dubbo关闭钩子 com.alibaba.dubbo.container.Main#main
spring关闭钩子 org.springframework.context.support.AbstractApplicationContext#registerShutdownHook

那么问题来了,为什么框架已经对关闭做了处理的情况下,仍然会出现报错呢?我们来看jdk对addShutdownHook的一段注释:


从中我们可以看到,jvm在关闭时,是并发的,不指定顺序的执行所有关闭钩子,那么对我们的服务来说,就会出现一种情况,dubbo在进入优雅停机状态中的时候已经停止接收新的业务请求,然而已经接收的请求需要继续处理,但是有可能此时Spring的优雅关闭已经执行完成,导致在处理请求的时候出现异常(比如DataSource已经close了)。


解决方案

知道了问题的根源,解决起来也就是水到渠成了,思路就是Spring容器等待dubbo优雅关闭执行完成以后再执行bean的@PreDestory方法(销毁bean),我们通过spring应用生命周期监听接口来实现:

public interface ApplicationListener<E extends ApplicationEvent> extends EventListener {
    void onApplicationEvent(E var1);
}

ContextClosedEvent是在所有bean执行PreDestory之前发出的事件广播.我们在这个事件回调中执行Dubbo的优雅关闭,就不会出现数据源已经关闭的异常.

新增代码配置如下:

    @Bean
    DubboShutdownListener dubboShutdownListener() {
        return new DubboShutdownListener();
    }

    public static class DubboShutdownListener implements ApplicationListener, PriorityOrdered {

        @Override
        public void onApplicationEvent(ApplicationEvent event) {
            if (event instanceof ApplicationStartedEvent) {
                Runtime.getRuntime().removeShutdownHook(DubboShutdownHook.getDubboShutdownHook());
                log.info("dubbo default shutdown hook removed,will be managed by spring");
            } else if (event instanceof ContextClosedEvent) {
                log.info("start destroy dubbo on spring close event");
                DubboShutdownHook.getDubboShutdownHook().destroyAll();
                log.info("dubbo destroy finished");
            }
        }

        @Override
        public int getOrder() {
            return 0;
        }
    }

再次尝试一开始的操作,发现没有报错,关机前的请求也能正常返回数据,目的达成。


推荐阅读更多精彩内容