Netty 权威指南笔记(一):网络 I/O 模型和 Java IO 入门

Netty 权威指南笔记(一):网络 I/O 模型和 Java IO 入门

Java I/O 模型的实现离不开底层操作系统的支持,所以这里先讲一下 Linux 网络 I/O 模型。

Linux 网络 I/O 模型简介

同步阻塞 I/O 模型

最常见的模型是同步阻塞 I/O 模型,用户进程调用 recvfrom 的时候,会阻塞,一直等到响应数据被复制到用户空间的缓冲区或发生错误时才返回。

同步阻塞 I/O 模型

观看上面的流程图,我们可以发现,一次 I/O 请求包括以下几个步骤:

  1. 用户进程发起系统调用。
  2. 内核处理。
  3. 将数据从内核复制到用户空间。

同步非阻塞 I/O 模型

在同步非阻塞 I/O 模型中,用户进程发起 recvfrom 系统调用时,如果缓冲区没有数据,操作会立即返回 EWOULDBLOCK,此后用户进程可以继续轮询,直到有数据返回。

同步非阻塞 I/O 模型

和同步阻塞 I/O 模型不同的地方在于,recvfrom 系统调用会立即返回,用户进程可以做其他任务后再来检查数据是否已经返回。

I/O 复用模型

Linux 提供 select/poll,进程通过将多个 fd 传递给 select 系统调用,阻塞在 select 操作上,让 select 帮我们侦测多个 fd 是否已经处于就绪状态。跟同步非阻塞 I/O 模型的对比我们发现,I/O 复用模型相当于把原来由用户进程负责的轮询操作,进行封装,放到了 select 调用里。

轮询的缺点是,当 fd 数量较多时,性能会比较差。所以 Linux 又提供了基于事件驱动的 epoll 系统调用来代替 select 的轮询。

I/O 复用模型

信号驱动 I/O 模型

在这种模型下,我们首先开启套接字的信号驱动式 I/O 功能,并通过 sigaction 系统调用安装一个信号处理函数。系统调用将立即返回,我们的进程继续工作,也就是说他没有被阻塞。当数据报准备好读取时,内核就为该进程产生一个 SIGIO 信号。我们随后就可以在信号处理函数中调用 read 读取数据报,并通知主循环数据已经准备好待处理,也可以立即通知主循环,让它读取数据报。

信号驱动 I/O 模型

异步非阻塞 I/O 模型

告知内核启动某个操作,并让内核在整个操作完成后通知我们。这种模型与信号驱动模型的区别是:信号驱动 I/O 由内核告知我们何时可以开始一个 I/O 操作,而异步 I/O 模型由内核通知我们操作何时已经完成。

异步非阻塞 I/O 模型

下面我们总结一下,各种不同的 I/O 模型下,用户进程都需要做什么呢?

模型 阻塞 除了发起请求,用户进程还参与了哪些步骤?
同步阻塞 I/O 阻塞于全部过程
同步非阻塞 I/O 轮询状态,复制数据
I/O 复用 阻塞于多路复用系统调用,但可监听多个事件。但是 I/O 读写本身是非阻塞的
信号驱动 I/O 复制数据
异步非阻塞 I/O 用户进程只需要处理数据。完全无阻塞,内核负责 I/O 读写操作并复制数据

Java I/O

和 Linux 的诸多网络 I/O 模型相对应,Java 也有多种 I/O 相关的 API:

Linux 网络 I/O 模型 Java I/O API
同步阻塞 I/O Socket、ServerSocket
I/O 复用 NIO: Selector、SocketChannel、ServerSocketChannel
异步非阻塞 I/O AIO: AsynchronousSocketChannel、AsynchronousServerSocketChannel

Java NIO 代码示例

服务器端

端口监听类:

public class SelectorTest {

    private static ThreadPoolExecutor executor = new ThreadPoolExecutor(1, 1000, 1, TimeUnit.MINUTES, new ArrayBlockingQueue<Runnable>(1), new RejectedExecutionHandler() {
        public void rejectedExecution(Runnable r, ThreadPoolExecutor executor) {
            System.out.println("reject ...");
        }
    });

    public static void main(String[] args) throws IOException {
        AtomicInteger atomicInteger = new AtomicInteger(0);

        Selector selector = Selector.open();

        ServerSocketChannel serverSocketChannel = ServerSocketChannel.open();
        serverSocketChannel.socket().bind(new InetSocketAddress(9078));
        serverSocketChannel.configureBlocking(false);
        SelectionKey selectionKey = serverSocketChannel.register(selector, SelectionKey.OP_ACCEPT);
        selectionKey.attach("accept_channel");

        long start = System.currentTimeMillis();

        while (true) {
            int readyNum = selector.select();
            System.out.println("\nready num: " + readyNum + ", time: " + (System.currentTimeMillis() - start));

            Set<SelectionKey> selectionKeys = selector.selectedKeys();
            Iterator<SelectionKey> iterator = selectionKeys.iterator();
            while (iterator.hasNext()) {
                SelectionKey next = iterator.next();
                String tag = (String) next.attachment();

                if (next.isAcceptable()) {
                    ServerSocketChannel channel = (ServerSocketChannel) next.channel();
                    SocketChannel socketChannel = channel.accept();
                    socketChannel.configureBlocking(false);
                    String socketName = "socket_" + atomicInteger.incrementAndGet();
                    socketChannel.register(selector, SelectionKey.OP_READ, socketName);

                    System.out.println(tag + " new SocketChannel: " + socketName);
                } else if (next.isReadable()) {
                    SocketChannel socketChannel = (SocketChannel) next.channel();
                    executor.submit(new SocketServerRunnable(socketChannel, tag));
                    next.cancel();
                }

                iterator.remove();
            }
        }
    }
}

SocketServerRunnable 业务处理类:

public class SocketServerRunnable implements Runnable {

    private SocketChannel socketChannel;
    private String tag;

    public SocketServerRunnable(SocketChannel serverSocketChannel, String tag) {
        this.socketChannel = serverSocketChannel;
        this.tag = tag;
    }

    public void run() {
        long start = System.currentTimeMillis();
        try {
            ByteBuffer buffer = ByteBuffer.allocate(100);
            buffer.clear();
            int readNum = socketChannel.read(buffer);
            System.out.println(tag + " receive: " + ConvertUtil.convertByteBufferToString(buffer));
            buffer.rewind();
            socketChannel.write(buffer);
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            try {
                socketChannel.close();
            } catch (IOException e) {
                e.printStackTrace();
            }

            System.out.println(tag + " time: " + (System.currentTimeMillis() - start));
        }
    }
}

客户端

public class SocketChannelRunnable implements Runnable {
    private String tag = "default";

    public SocketChannelRunnable(){}

    public SocketChannelRunnable(String tag) {
        this.tag = tag;
    }

    public void run() {
        long start = System.currentTimeMillis();
        try {
            SocketChannel socketChannel = SocketChannel.open();
            socketChannel.connect(new InetSocketAddress("127.0.0.1", 9078));

            System.out.println(tag + " connect success ......");

            ByteBuffer byteBuffer = helloString();
            while (byteBuffer.hasRemaining()) {
                socketChannel.write(byteBuffer);
            }

            byteBuffer.clear();
            socketChannel.read(byteBuffer);

            System.out.println(tag + " receive: " + ConvertUtil.convertByteBufferToString(byteBuffer));

            socketChannel.close();
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            System.out.println(tag + " time: " + (System.currentTimeMillis() - start));
        }
    }

    public static void main(String[] args) throws IOException {
        new SocketChannelRunnable().run();
    }
}

总结,是为了强化学习效果。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 157,298评论 4 360
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,701评论 1 290
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 107,078评论 0 237
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,687评论 0 202
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,018评论 3 286
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,410评论 1 211
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,729评论 2 310
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,412评论 0 194
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,124评论 1 239
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,379评论 2 242
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,903评论 1 257
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,268评论 2 251
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,894评论 3 233
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,014评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,770评论 0 192
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,435评论 2 269
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,312评论 2 260

推荐阅读更多精彩内容