netty服务端源码分析之eventloop和eventloopgroup

在众多的编程语言和网络库中,拿来介绍网络编程的例子,echo服务器和客户端恐怕是最多的一个例子。netty作为一个在java语言中应用非常广泛、非常优秀的网络编程框架,echo服务器和客户端程序往往是大家第一个接触的实例程序。很多工程师正是通过echo服务器和客户端跨入netty的大门。

我们先看一个echo服务器的完整实例代码:

/**
 * Echoes back any received data from a client.
 */
public final class EchoServer {

    static final boolean SSL = System.getProperty("ssl") != null;
    static final int PORT = Integer.parseInt(System.getProperty("port", "8007"));
    
    public static void main(String[] args) throws Exception {
        
        // Configure SSL.
        final SslContext sslCtx;
        if (SSL) {
            SelfSignedCertificate ssc = new SelfSignedCertificate();
            sslCtx = SslContextBuilder.forServer(ssc.certificate(), ssc.privateKey()).build();
        } else {
            sslCtx = null;
        }
        
        // Configure the server.
        EventLoopGroup bossGroup = new NioEventLoopGroup(1);
        EventLoopGroup workerGroup = new NioEventLoopGroup();
        try {
            ServerBootstrap b = new ServerBootstrap();
            b.group(bossGroup, workerGroup)
                // 把ServerBootstrap的channelfactory设置为ReflectiveChannelFactory
                // 当执行channelfactory的newChannel方法时,会创建NioServerSocketChannel实例
             .channel(NioServerSocketChannel.class)
             .option(ChannelOption.SO_BACKLOG, 100)
                // 处理server Socket事件
             .handler(new LoggingHandler(LogLevel.INFO))
                // 处理client socket事件
             .childHandler(new ChannelInitializer<SocketChannel>() {
                 @Override
                 public void initChannel(SocketChannel ch) throws Exception {
                     ChannelPipeline p = ch.pipeline();
                     if (sslCtx != null) {
                         p.addLast(sslCtx.newHandler(ch.alloc()));
                     }
                     //p.addLast(new LoggingHandler(LogLevel.INFO));
                     p.addLast(new EchoServerHandler());
                 }
             });

            // Start the server.
            ChannelFuture f = b.bind(PORT).sync();

            // Wait until the server socket is closed.
            f.channel().closeFuture().sync();
        } finally {
            // Shut down all event loops to terminate all threads.
            bossGroup.shutdownGracefully();
            workerGroup.shutdownGracefully();
        }
    }
}

代码中前面一段跟SSL相关的代码我们先跳过,从这两行代码开始:

EventLoopGroup bossGroup = new NioEventLoopGroup(1);
EventLoopGroup workerGroup = new NioEventLoopGroup();

这里创建了两个EventLoopGroup对象bossGroupworkerGroupbossGroup主要用来处理server socket监听client socket的连接请求,server socket接收了新建连接后,会把connection socket放到workerGroup中进行处理,也就是说workerGroup主要用来处理connection socket的网络IO和相关的业务逻辑。netty支持很多种线程模型,这种bossGroupworkerGroup的组合是比较典型的。

netty作为一个异步的事件驱动(event drivern)的网络应用程序框架,采用非阻塞的多路复用的网络io模型。连接建立、连接关闭、socket可读、socket可写这些状态的改变称为一个个“事件(event)”,当然事件也可以是应用程序添加的一个任务。而处理这些event的线程就是一个无限循环(for or while loop),没有事件发生时,线程一直等待事件的产生。当有事件发生时,则处理所有的事件,处理完后则开始下一个循环,继续等待新的事件的发生。所以这种处理逻辑叫做eventloop,eventloop与线程是一一对应的,一个eventloop对应一个线程,一个线程也只有一个eventloop。而eventloopgroup主要包含了一组eventloop(线程池),当然还有许多线程任务分发等管理功能。

eventloopgroup/eventloop是netty的核心部件之一,可以说是netty三大核心部件之一,另外两个是channel和pipeline。eventloopgroup/eventloop定义了netty的线程模型,包括channel对socket的操作、pipeline的业务处理、用户提交的任务在内的所有任务的分发调度和执行都是在eventloopgroup/eventloop中进行。

这里为eventloopgroup接口实例化的是类NioEventLoopGroup,NioEventLoopGroup基于java nio进行网络操作。

我们跟踪一下NioEventLoopGroup的构造函数,

NioEventLoopGroup

    public NioEventLoopGroup(int nThreads) {
        this(nThreads, (Executor) null);
    }
    
    public NioEventLoopGroup(int nThreads, Executor executor) {
        this(nThreads, executor, SelectorProvider.provider());
    }
    
    public NioEventLoopGroup(
            int nThreads, Executor executor, final SelectorProvider selectorProvider) {
        this(nThreads, executor, selectorProvider, DefaultSelectStrategyFactory.INSTANCE);
    }
    
    public NioEventLoopGroup(int nThreads, Executor executor, final SelectorProvider selectorProvider,
                                  final SelectStrategyFactory selectStrategyFactory) {
        super(nThreads, executor, selectorProvider, selectStrategyFactory, RejectedExecutionHandlers.reject());
    }

然后进入他的父类:

MultithreadEventLoopGroup

    protected MultithreadEventLoopGroup(int nThreads, Executor executor, Object... args) {
        super(nThreads == 0 ? DEFAULT_EVENT_LOOP_THREADS : nThreads, executor, args);
    }

继续进入上一级父类:

MultithreadEventExecutorGroup

    protected MultithreadEventExecutorGroup(int nThreads, Executor executor, Object... args) {
        this(nThreads, executor, DefaultEventExecutorChooserFactory.INSTANCE, args);
    }
    
    protected MultithreadEventExecutorGroup(int nThreads, Executor executor,
                                            EventExecutorChooserFactory chooserFactory, Object... args) {
        
    }

这里进入了一个有实质内容的构造函数,在分析这个函数之前,我们先根据构造函数的调用链梳理一下构造函数的入参的值。

nThreads = (nThreads == 0 ? DEFAULT_EVENT_LOOP_THREADS : nThreads);
executor = null;
chooserFactory = DefaultEventExecutorChooserFactory.INSTANCE;

args = [SelectorProvider SelectorProvider.provider(),
        SelectStrategyFactory DefaultSelectStrategyFactory.INSTANCE,
        RejectedExecutionHandler RejectedExecutionHandlers.reject()]

可见如果NioEventLoopGroup的构造函数如果nThreads为非0值,则为传入的实际值,如果为0或没有参数,则为DEFAULT_EVENT_LOOP_THREADS,我们看下DEFAULT_EVENT_LOOP_THREADS的定义,

DEFAULT_EVENT_LOOP_THREADS = Math.max(1, SystemPropertyUtil.getInt(
                "io.netty.eventLoopThreads", NettyRuntime.availableProcessors() * 2));

继续跟下去,可以知道NettyRuntime.availableProcessors()默认值为Runtime.getRuntime().availableProcessors(),也就是说nThreads值默认为CPU核心数的2倍

接下来我们分析构造函数:

protected MultithreadEventExecutorGroup(int nThreads, Executor executor, EventExecutorChooserFactory chooserFactory, Object... args)

首先为executor重新赋值:

    if (executor == null) {
        // DefaultThreadFactory设置: 非daemon、线程优先级5、线程名字、线程组为当前线程所属组
        executor = new ThreadPerTaskExecutor(newDefaultThreadFactory());
    }

因为executor入参值为null,所以executor重新赋值为ThreadPerTaskExecutor类的一个新建实例,ThreadPerTaskExecutor就是eventloop的执行器,eventloop的所有任务都是通过调用ThreadPerTaskExecutorexecute()函数,从而创建一个线程,进而执行提交的任务的。ThreadPerTaskExecutor只有一个成员,线程工厂DefaultThreadFactory,这个线程工厂创建的线程实例设置的线程属性为:非daemon、线程优先级5、线程名的前缀、所属的线程组与当前线程相同,一句话,创建的是一个普通线程,其中线程名的前缀为:
nioEventLoopGroup-poolId-, poolId初始值为0,每创建一个DefaultThreadFactory实例值加1。

然后初始化EventLoopGroup的线程池,具体代码如下:

        // 创建一个数组,数组大小为线程的个数
        children = new EventExecutor[nThreads];

        for (int i = 0; i < nThreads; i ++) {
            boolean success = false;
            try {
                // 初始化线程executor
                children[i] = newChild(executor, args);
                success = true;
            } catch (Exception e) {
                // TODO: Think about if this is a good exception type
                throw new IllegalStateException("failed to create a child event loop", e);
            } finally {
                // 如果初始化一个线程executor时抛出异常,则执行这一段代码:关闭前面创建的所有executor,并等待所有线程退出运行
                if (!success) {
                    for (int j = 0; j < i; j ++) {
                        children[j].shutdownGracefully();
                    }

                    for (int j = 0; j < i; j ++) {
                        EventExecutor e = children[j];
                        try {
                            while (!e.isTerminated()) {
                                e.awaitTermination(Integer.MAX_VALUE, TimeUnit.SECONDS);
                            }
                        } catch (InterruptedException interrupted) {
                            // Let the caller handle the interruption.
                            Thread.currentThread().interrupt();
                            break;
                        }
                    }
                }
            }
        }

初始化过程,在代码注释中已经说明了,关键语句children[i] = newChild(executor, args);我们先放下,待会再详细分析。

线程选择器初始化:

chooser = chooserFactory.newChooser(children);

chooser实现了eventloopgroup的任务分派,当需要向线程池提交一个新的任务时,如注册一个新的服务端socket到eventloop,则通过chooser选择一个具体的executor。从前面分析得知,chooserFactory是DefaultEventExecutorChooserFactory的一个实例,它的executor选择逻辑代码如下:

    public EventExecutorChooser newChooser(EventExecutor[] executors) {
        if (isPowerOfTwo(executors.length)) {
            return new PowerOfTwoEventExecutorChooser(executors);
        } else {
            return new GenericEventExecutorChooser(executors);
        }
    }

    private static boolean isPowerOfTwo(int val) {
        return (val & -val) == val;
    }

    private static final class PowerOfTwoEventExecutorChooser implements EventExecutorChooser {
        private final AtomicInteger idx = new AtomicInteger();
        private final EventExecutor[] executors;

        PowerOfTwoEventExecutorChooser(EventExecutor[] executors) {
            this.executors = executors;
        }

        @Override
        // executor数是2的n次方,用与来计算,改善性能
        public EventExecutor next() {
            return executors[idx.getAndIncrement() & executors.length - 1];
        }
    }

    private static final class GenericEventExecutorChooser implements EventExecutorChooser {
        private final AtomicInteger idx = new AtomicInteger();
        private final EventExecutor[] executors;

        GenericEventExecutorChooser(EventExecutor[] executors) {
            this.executors = executors;
        }

        @Override
        // executor数不是2的n次方,用除法求余的方式计算
        public EventExecutor next() {
            return executors[Math.abs(idx.getAndIncrement() % executors.length)];
        }
    }

可见,线程池中的个数是2的n次方与不是2的n次方,具体的计算方法不一样,但效果都是round-robin的选择方法。

最后,为线程池的每一个EventExcutor注册一个结束后的回调函数,并把所有的EventExcutor保存到一个不可修改的Set中。具体代码如下:

        // 线程结束时的回调函数
        final FutureListener<Object> terminationListener = new FutureListener<Object>() {
            @Override
            public void operationComplete(Future<Object> future) throws Exception {
                if (terminatedChildren.incrementAndGet() == children.length) {
                    terminationFuture.setSuccess(null);
                }
            }
        };

        // 注册回调函数
        for (EventExecutor e: children) {
            e.terminationFuture().addListener(terminationListener);
        }

        Set<EventExecutor> childrenSet = new LinkedHashSet<EventExecutor>(children.length);
        Collections.addAll(childrenSet, children);
        readonlyChildren = Collections.unmodifiableSet(childrenSet);

这个构造函数分析完了,下面分析eventloop以及它的初始化,也就是前面遗留没有分析的children[i] = newChild(executor, args); newChild是一个抽象函数:

protected abstract EventExecutor newChild(Executor executor, Object... args) throws Exception;

我们先看看类NioEventLoopGroup的继承体系:

NioEventLoopGroup的继承体系.png

然后从NioEventLoopGroup开始往上找哪个最底层的类实现了newChild()函数。

然后在类NioEventLoopGroup中找到了它的实现,

    protected EventLoop newChild(Executor executor, Object... args) throws Exception {
        return new NioEventLoop(this, executor, (SelectorProvider) args[0],
            ((SelectStrategyFactory) args[1]).newSelectStrategy(), (RejectedExecutionHandler) args[2]);
    }

可见EventExecutor是NioEventLoop的一个实例,按照分析NioEventLoopGroup一样的分析过程,这里我不在粘贴具体代码了,只列出NioEventLoop的关键域的初始值,
NioEventLoop的继承体系:

NioEventLoop的继承体系.png

关键域的初始值及说明:

SelectorProvider provider = SelectorProvider.provider()
Selector selector = provider.openSelector()
SelectStrategy selectStrategy = DefaultSelectStrategyFactory.INSTANCE
boolean addTaskWakesUp = false // 添加任务时不wakeup线程eventloop
int maxPendingTasks = Math.max(16,
SystemPropertyUtil.getInt("io.netty.eventLoop.maxPendingTasks", Integer.MAX_VALUE)); // 最小值为16,默认值为Integer.MAX_VALUE
Queue<Runnable> tailTasks = new LinkedBlockingQueue<Runnable>(maxPendingTasks)
Queue<Runnable> taskQueue = new LinkedBlockingQueue<Runnable>(maxPendingTasks)
EventExecutorGroup parent = 执行newChild函数的NioEventLoopGroup实例
Executor executor = ThreadPerTaskExecutor的实例

这里特别说明一下providerselector
provider在不同的操作系统平台下有不同的实现,windowns平台是WindowsSelectorProvider。在linux平台下,如果内核版本>=2.6则,具体的实现为EPollSelectorProvider,否则为默认的PollSelectorProvider。MAC平台下则是KQueueSelectorProvider。
selector是netty的一个核心概念,封装了不同平台的多路复用网络io模式,eventloop正是通过向selector注册感兴趣的事件(event),然后等待事件发生,从而实现非阻塞异步处理事件的目的。在linux平台下,底层通过epoll实现,执行provider.openSelector()可以理解为执行了epoll_init()系统调用,会返回一个epoll句柄给selector,然后通过selector可以向epoll注册感兴趣的事件,并在事件发生时获取发生的事件,然后对事件进行相应的处理。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 157,298评论 4 360
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,701评论 1 290
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 107,078评论 0 237
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,687评论 0 202
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,018评论 3 286
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,410评论 1 211
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,729评论 2 310
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,412评论 0 194
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,124评论 1 239
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,379评论 2 242
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,903评论 1 257
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,268评论 2 251
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,894评论 3 233
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,014评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,770评论 0 192
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,435评论 2 269
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,312评论 2 260

推荐阅读更多精彩内容