关于Linux的零拷贝技术详解

已同步更新到微信公众号,手机阅读更舒适~

零拷贝机制原理分析之前,我们先来看下传统IO在数据拷贝的基本原理,从数据拷贝(I/O拷贝)的次数以及上下文切换的次数进行对比分析。

传统IO:

image.png

1、JVM进程内发起read()系统调用,操作系统由用户态空间切换到内核态空间(第一次上下文切换)
2、通过DMA引擎建数据从磁盘拷贝到内核态空间的输入的socket缓冲区中(第一次拷贝)
3、将内核态空间缓冲区的数据原封不动的拷贝到用户态空间的缓存区中(第二次拷贝),同时内核态空间切换到用户态空间(第二次上下文切换),read()系统调用结束
4、JVM进程内业务逻辑代码执行
5、JVM进程内发起write()系统调用
6、操作系统由用户态空间切换到内核态空间(第三次上下文切换),将用户态空间的缓存区数据原封不动的拷贝到内核态空间输出的socket缓存区中(第三次拷贝)
7、write()系统调用返回,操作系统由内核态空间切换到用户态空间(第四次上下文切换),通过DMA引擎将数据从内核态空间的socket缓存区数据拷贝到协议引擎中(第四次拷贝)

传统IO方式,一共在用户态空间与内核态空间之间发生了4次上下文的切换,4次数据的拷贝过程,其中包括2次DMA拷贝和2次I/O拷贝(内核态与用户应用程序之间发生的拷贝)。
内核空间缓冲区的一大用处是为了减少磁盘I/O操作,因为它会从磁盘中预读更多的数据到缓冲区中。而使用BufferedInputStream的用处是减少“系统调用”。

DMA:
DMA(Direct Memory Access) —直接内存访问 :DMA是允许外设组件将I/O数据直接传送到主存储器中并且传输不需要CPU的参与,以此将CPU解放出来去完成其他的事情。

sendfile数据零拷贝:
显然,在传统IO中,用户态空间与内核态空间之间的复制是完全不必要的,因为用户态空间仅仅起到了一种数据转存媒介的作用,除此之外没有做任何事情。
Linux 提供了sendfile()用来减少我们前面提到的数据拷贝和的上下文切换次数

image.png

1、发起sendfile()系统调用,操作系统由用户态空间切换到内核态空间(第一次上下文切换)
2、通过DMA引擎建数据从磁盘拷贝到内核态空间的输入的socket缓冲区中(第一次拷贝)
3、将数据从内核空间拷贝到与之关联的socket缓冲区(第二次拷贝)
4、将socket缓冲区的数据拷贝到协议引擎中(第三次拷贝)
5、sendfile()系统调用结束,操作系统由用户态空间切换到内核态空间(第二次上下文切换)

根据以上过程,一共有2次的上下文切换,3次的I/O拷贝。我们看到从用户空间到内核空间并没有出现数据拷贝,从操作系统角度来看,这个就是零拷贝。内核空间出现了复制的原因: 通常的硬件在通过DMA访问时期望的是连续的内存空间。

支持scatter-gather特性的sendfile数据零拷贝

image.png

这次相比sendfile()数据零拷贝,减少了一次从内核空间到与之相关的socket缓冲区的数据拷贝。
1、发起sendfile()系统调用,操作系统由用户态空间切换到内核态空间(第一次上下文切换)
2、通过DMA引擎建数据从磁盘拷贝到内核态空间的输入的socket缓冲区中(第一次拷贝)
3、将描述符信息会拷贝到相应的socket缓冲区当中,该描述符包含了两方面的信息:a)kernel buffer的内存地址;b)kernel buffer的偏移量。
4、DMA gather copy根据socket缓冲区中描述符提供的位置和偏移量信息直接将内核空间缓冲区中的数据拷贝到协议引擎上(第二次拷贝),这样就避免了最后一次I/O数据拷贝。
5、sendfile()系统调用结束,操作系统由用户态空间切换到内核态空间(第二次上下文切换)
下面这个图更进一步理解:
image.png

Linux/Unix操作系统下可以通过下面命令查看是否支持scatter-gather特性。

# ethtool -k eth0 | grep scatter-gather
scatter-gather: on
       tx-scatter-gather: on
       tx-scatter-gather-fraglist: on

许多的web server都已经支持了零拷贝技术,比如Apache、Tomcat。

sendfile零拷贝消除了所有内核空间缓冲区与用户空间缓冲区之间的数据拷贝过程,因此sendfile零拷贝I/O的实现是完成在内核空间中完成的,这对于应用程序来说就无法对数据进行操作了。
如果需要对数据做操作,Linux提供了mmap零拷贝来实现。
mmap零拷贝:

image.png

通过上图看到,一共发生了4次的上下文切换,3次的I/O拷贝,包括2次DMA拷贝和1次的I/O拷贝,相比于传统IO减少了一次I/O拷贝。使用mmap()读取文件时,只会发生第一次从磁盘数据拷贝到OS文件系统缓冲区的操作。

1)在什么场景下使用mmap()去访问文件会更高效?

对文件执行随机访问时,如果使用read()或write(),则意味着较低的 cache 命中率。这种情况下使用mmap()通常将更高效。
多个进程同时访问同一个文件时(无论是顺序访问还是随机访问),如果使用mmap(),那么操作系统缓冲区的文件内容可以在多个进程之间共享,从操作系统角度来看,使用mmap()可以大大节省内存。

2)什么场景下没有使用mmap()的必要?

访问小文件时,直接使用read()或write()将更加高效。
单个进程对文件执行顺序访问时(sequential access),使用mmap()几乎不会带来性能上的提升。譬如说,使用read()顺序读取文件时,文件系统会使用 read-ahead 的方式提前将文件内容缓存到文件系统的缓冲区,因此使用read()将很大程度上可以命中缓存。

下面我们通过代码示例来对比下传统IO与使用了零拷贝技术的NIO之间的差异。
我们通过服务端开启socket监听,然后客户端连接的服务端进行数据的传输,数据传输文件大小为237M。
1、构建传统IO的socket服务端,监听8898端口。

public class OldIOServer {

    public static void main(String[] args) throws Exception {
        try (ServerSocket serverSocket = new ServerSocket(8898)) {
            while (true) {
                Socket socket = serverSocket.accept();
                DataInputStream inputStream = new DataInputStream(socket.getInputStream());

                byte[] bytes = new byte[4096];
                // 从socket中读取字节数据
                while (true) {
                    // 读取的字节数大小,-1则表示数据已被读完
                    int readCount = inputStream.read(bytes, 0, bytes.length);

                    if (-1 == readCount) {
                        break;
                    }
                }

            }
        }
    }
}

2、构建传统IO的客户端,连接服务端的8898端口,并从磁盘读取237M的数据文件向服务端socket中发起写请求。

public class OldIOClient {

    public static void main(String[] args) throws Exception {
        Socket socket = new Socket();
        socket.connect(new InetSocketAddress("localhost", 8898)); // 连接服务端socket 8899端口

        // 设置一个大的文件, 237M
        try (FileInputStream fileInputStream = new FileInputStream(new File("/Users/david/Downloads/jdk-8u144-macosx-x64.dmg"));
                // 定义一个输出流
                DataOutputStream dataOutputStream = new DataOutputStream(socket.getOutputStream());) {

            // 读取文件数据
            // 定义byte缓存
            byte[] buffer = new byte[4096];
            int readCount; // 每一次读取的字节数
            int total = 0; // 读取的总字节数

            long startTime = System.currentTimeMillis();

            while ((readCount = fileInputStream.read(buffer)) > 0) {
                total += readCount; //累加字节数
                dataOutputStream.write(buffer); // 写入到输出流中
            }

            System.out.println("发送的总字节数:" + total + ", 耗时:" + (System.currentTimeMillis() - startTime));
        }
    }
}

运行结果:发送的总字节数:237607747, 耗时:450 (400~600毫秒之间)
接下来,我们通过使用JDK提供的NIO的方式实现数据传输与上述传统IO做对比。
1、构建基于NIO的服务端,监听8899端口。

public class NewIOServer {

    public static void main(String[] args) throws Exception {
        ServerSocketChannel serverSocketChannel = ServerSocketChannel.open();
        serverSocketChannel.bind(new InetSocketAddress(8899));

        ByteBuffer byteBuffer = ByteBuffer.allocate(4096);

        while (true) {
            SocketChannel socketChannel = serverSocketChannel.accept();
            socketChannel.configureBlocking(false); // 这里设置为阻塞模式
            int readCount = socketChannel.read(byteBuffer);

            while (-1 != readCount) {
                readCount = socketChannel.read(byteBuffer);

                // 这里一定要调用下rewind方法,将position重置为0开始位置
                byteBuffer.rewind();
            }
        }
    }
}

2、构建基于NIO的客户端,连接NIO的服务端8899端口,通过FileChannel.transferTo传输237M的数据文件。

public class NewIOClient {

    public static void main(String[] args) throws Exception {
        SocketChannel socketChannel = SocketChannel.open();
        socketChannel.connect(new InetSocketAddress("localhost", 8899));
        socketChannel.configureBlocking(true);

        String fileName = "/Users/david/Downloads/jdk-8u144-macosx-x64.dmg";

        FileInputStream fileInputStream = new FileInputStream(fileName);
        FileChannel fileChannel = fileInputStream.getChannel();

        long startTime = System.currentTimeMillis();
        long transferCount = fileChannel.transferTo(0, fileChannel.size(), socketChannel); // 目标channel
        System.out.println("发送的总字节数:" + transferCount + ",耗时:" + (System.currentTimeMillis() - startTime));
        fileChannel.close();
    }
}

运行结果:发送的总字节数:237607747,耗时:161(100到300毫秒之间)
结合运行结果,基于NIO零拷贝技术要比传统IO传输效率高3倍多。所以,后续当设计大文件数据传输时可以优先采用类似NIO的方式实现。
这里我们使用了FileChannel,其中调用的transferTo()方法将数据从FileChannel传输到其他的channel中,如果操作系统底层支持的话transferTo、transferFrom会使用相关的零拷贝技术来实现数据的传输。所以,这里是否使用零拷贝必须依赖于底层的系统实现。

FileChannel.transferTo方法

public abstract long transferTo(long position,
                                long count,
                                WritableByteChannel target) throws IOException

将字节从此通道的文件传输到给定的可写入字节通道。
试图读取从此通道的文件中给定 position 处开始的 count 个字节,并将其写入目标通道。此方法的调用不一定传输所有请求的字节;是否传输取决于通道的性质和状态。如果此通道的文件从给定的 position 处开始所包含的字节数小于 count 个字节,或者如果目标通道是非阻塞的并且其输出缓冲区中的自由空间少于 count 个字节,则所传输的字节数要小于请求的字节数。
此方法不修改此通道的位置。如果给定的位置大于该文件的当前大小,则不传输任何字节。如果目标通道中有该位置,则从该位置开始写入各字节,然后将该位置增加写入的字节数。
与从此通道读取并将内容写入目标通道的简单循环语句相比,此方法可能高效得多。很多操作系统可将字节直接从文件系统缓存传输到目标通道,而无需实际复制各字节。
参数:
position - 文件中的位置,从此位置开始传输;必须为非负数
count - 要传输的最大字节数;必须为非负数
target - 目标通道
返回:
实际已传输的字节数,可能为零

FileChannel.transferFrom方法

public abstract long transferFrom(ReadableByteChannel src,
                                  long position,
                                  long count) throws IOException

将字节从给定的可读取字节通道传输到此通道的文件中。
试着从源通道中最多读取 count 个字节,并将其写入到此通道的文件中从给定 position 处开始的位置。此方法的调用不一定传输所有请求的字节;是否传输取决于通道的性质和状态。如果源通道的剩余空间小于 count 个字节,或者如果源通道是非阻塞的并且其输入缓冲区中直接可用的空间小于 count 个字节,则所传输的字节数要小于请求的字节数。
此方法不修改此通道的位置。如果给定的位置大于该文件的当前大小,则不传输任何字节。如果该位置在源通道中,则从该位置开始读取各字节,然后将该位置增加读取的字节数。
与从源通道读取并将内容写入此通道的简单循环语句相比,此方法可能高效得多。很多操作系统可将字节直接从源通道传输到文件系统缓存,而无需实际复制各字节。
参数:
src - 源通道
position - 文件中的位置,从此位置开始传输;必须为非负数
count - 要传输的最大字节数;必须为非负数
返回:
实际已传输的字节数,可能为零

发生相应的异常的情况:

异常抛出:
IllegalArgumentException - 如果关于参数的前提不成立
NonReadableChannelException - 如果不允许从此通道进行读取操作
NonWritableChannelException - 如果目标通道不允许进行写入操作
ClosedChannelException - 如果此通道或目标通道已关闭
AsynchronousCloseException - 如果正在进行传输时另一个线程关闭了任一通道
ClosedByInterruptException - 如果正在进行传输时另一个线程中断了当前线程,因此关闭了两个通道并将当前线程设置为中断
IOException - 如果发生其他 I/O 错误

参考资料:
http://xcorpion.tech/2016/09/10/It-s-all-about-buffers-zero-copy-mmap-and-Java-NIO/
http://www.jianshu.com/p/e76e3580e356
http://www.linuxjournal.com/node/6345
http://senlinzhan.github.io/2017/03/25/%E7%BD%91%E7%BB%9C%E7%BC%96%E7%A8%8B%E4%B8%AD%E7%9A%84zerocpoy%E6%8A%80%E6%9C%AF/
jdk官方文档

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,560评论 4 361
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,104评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,297评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,869评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,275评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,563评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,833评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,543评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,245评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,512评论 2 244
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,011评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,359评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,006评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,062评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,825评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,590评论 2 273
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,501评论 2 268

推荐阅读更多精彩内容