mmap函数详解与代码实操

icon1.jpg

mmap 函数是 unix/linux下的系统调用。

当存在客户-服务程序中复制文件时候,其数据流如下,要经历四次数据复制,开销很大。

image.png

果采用共享内存的方式,那么将大大优化IO操作,数据流变成了如下,数据只复制两次

image.png

mmap 函数映射文件或设备到内存中,取消映射就是munmap函数。

C语言mmap()函数:建立内存映射

摘自:http://c.biancheng.net/cpp/html/138.html

  • 头文件:#include <unistd.h> #include <sys/mman.h>

  • 定义函数:void *mmap(void *start, size_t length, int prot, int flags, int fd, off_t offsize);

  • 函数说明:mmap()用来将某个文件内容映射到内存中,对该内存区域的存取即是直接对该文件内容的读写。

参数说明:

参数 说明
start 指向欲对应的内存起始地址,通常设为NULL,代表让系统自动选定地址,对应成功后该地址会返回。
length 代表将文件中多大的部分对应到内存。
prot 代表映射区域的保护方式,有下列组合:
PROT_EXEC 映射区域可被执行;
PROT_READ 映射区域可被读取;
PROT_WRITE 映射区域可被写入;
PROT_NONE 映射区域不能存取。
flags 会影响映射区域的各种特性:
MAP_FIXED 如果参数 start 所指的地址无法成功建立映射时,则放弃映射,不对地址做修正。通常不鼓励用此旗标。
MAP_SHARED 对应射区域的写入数据会复制回文件内,而且允许其他映射该文件的进程共享。
MAP_PRIVATE 对应射区域的写入操作会产生一个映射文件的复制,即私人的"写入时复制" (copy on write)对此区域作的任何修改都不会写回原来的文件内容。
MAP_ANONYMOUS 建立匿名映射,此时会忽略参数fd,不涉及文件,而且映射区域无法和其他进程共享。
MAP_DENYWRITE 只允许对应射区域的写入操作,其他对文件直接写入的操作将会被拒绝。
MAP_LOCKED 将映射区域锁定住,这表示该区域不会被置换(swap)。
在调用mmap()时必须要指定MAP_SHARED 或MAP_PRIVATE。
fd open()返回的文件描述词,代表欲映射到内存的文件。
offset 文件映射的偏移量,通常设置为0,代表从文件最前方开始对应,offset必须是分页大小的整数倍。

返回值:若映射成功则返回映射区的内存起始地址,否则返回MAP_FAILED(-1),错误原因存于errno 中。

错误代码:

  • EBADF 参数fd 不是有效的文件描述词。
  • EACCES 存取权限有误。如果是MAP_PRIVATE 情况下文件必须可读,使用MAP_SHARED 则要有 PROT_WRITE 以及该文件要能写入。
  • EINVAL 参数start、length 或offset 有一个不合法。
  • EAGAIN 文件被锁住,或是有太多内存被锁住。
  • ENOMEM 内存不足。

C语言munmap()函数:解除内存映射

摘自:http://c.biancheng.net/cpp/html/139.html

  • 头文件:#include <unistd.h> #include <sys/mman.h>

  • 定义函数:int munmap(void *start, size_t length);

  • 函数说明:munmap()用来取消参数start所指的映射内存起始地址,参数length则是欲取消的内存大小。

    • 当进程结束或利用exec相关函数来执行其他程序时,映射内存会自动解除,但关闭对应的文件描述词时不会解除映射。
  • 返回值:如果解除映射成功则返回0,否则返回-1。错误原因存于errno中错误代码EINVAL参数startlength不合法。

MacOC下实测

命令行生成固定大小文件

有时我们需要不同大小的测试文件
我们可以使用终端创建一些指定大小的文件

mkfile -n size[b|k|m|g] 文件名

例如:创建一个1G的文件Demo.pdf

mkfile -n 1g ~/Desktop/Demo.pdf

这个命令在Mac下是OK的。

共享映射

修改共享内存中的文件内容:

#include <sys/mman.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>

int main (int argc, char **argv) 
{
    int fd, nread, i;
    struct stat sb;
    char *mapped;
    
    if ( argc <= 1 ) {
        printf("%s: Need file path! \n",argv[0]);
        exit(-1);
    }

    /* 打开文件 */
    if ((fd = open (argv[1], O_RDWR)) < 0) {
        perror ("open");
    }

    /* 获取文件的属性 */
    if ((fstat (fd, &sb)) == -1) {
        perror ("fstat");
    }

    /* 将文件映射至进程的地址空间 */

    if ((mapped = (char *) mmap (NULL, sb.st_size, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0)) == (void *) -1) {
        perror ("mmap");
    }

    /* 映射完后, 关闭文件也可以操纵内存 */
    close (fd);

    printf ("%s", mapped);
  
    /* 修改一个字符,同步到磁盘文件 */
    mapped[0] = '0';

    if ((msync ((void *) mapped, sb.st_size, MS_SYNC)) == -1) {
        perror ("msync");
    }

    /* 释放存储映射区 */
    if ((munmap ((void *) mapped, sb.st_size)) == -1) {
        perror ("munmap");
    }
  
    return 0;
 }

  • 编译:
    $ gcc -c lianxi1.c
  • 链接:
    $ gcc -o out1 lianxi1.o
    执行, 参数为一个文件全路径。例如在/Desktop下创建一个hello1.txt,存入hello单词:
    $ ./out1 /Desktop/hello1.txt
    执行完毕后发现文件中的第一个字母h变成了0
    程序将文件映射到了内存中,并将第一个字符进行了修改并同步到了磁盘文件中。

父子进程通信

使用fork创建进程,父子进程分别往共享内存中写入各自字符串,并读出。

#include <sys/mman.h>
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>

#define BUF_SIZE 100

int main (int argc, char **argv) 
{
    char *p_map;

    /* 匿名映射,创建一块内存供父子进程通信 */
    p_map = (char *) mmap (NULL, BUF_SIZE, PROT_READ | PROT_WRITE, MAP_SHARED | MAP_ANONYMOUS, -1, 0);
    if (fork () == 0) {
        sleep (1); //可以修改此处睡眠时间,看看不同的输出。
        printf ("child got a message: %s\n", p_map);
        sprintf (p_map, "%s", "from u son");
        munmap (p_map, BUF_SIZE); //实际上,进程终止时,会自动解除映射。 
        exit (0);
    } 

    sprintf (p_map, "%s", "from u father");
    sleep (2); //可以修改此处睡眠时间,看看不同的输出。
    printf ("parent got a message: %s\n", p_map);

    return 0;
}
  • 编译:
    $ gcc -c lianxi2.c
  • 链接:
    $ gcc -o out2 lianxi2.o
  • 执行:
    $ ./out2
    这段代码,根据父子进程的sleep时间长短不同,输出会有不同。
child got a message: from u father
parent got a message: from u son

内存访问溢出

linux采用的是页式管理机制,使用mmap()映射普通文件后,进程会在自己的地址空间新增一块空间,空间大小由mmap()len参数指定。但是,进程并不一定能够对全部新增空间都能进行有效访问。进程能够访问的有效地址大小取决于文件被映射部分的大小。决定进程能访问的大小是容纳文件被映射部分的最小页面数。如下图。

image.png

#include <sys/mman.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <stdio.h> 

int main (int argc, char **argv)
{
    int fd;
    int pagesize, offset;
    int len, size;
    char *p_map;
    struct stat sb;

    /* 取得page size */
    pagesize = sysconf (_SC_PAGESIZE);
    printf ("pagesize is %d\n", pagesize);

    /* 打开文件 */
    fd = open (argv[1], O_RDWR, 00777);
    fstat (fd, &sb);

    len = pagesize * 2;
    size = sb.st_size;
    printf("映射内存长度: %d; 文件大小: %d\n", len, size);
    offset = 0;
    //映射两页内存
    p_map = (char *) mmap (NULL, len, PROT_READ | PROT_WRITE, MAP_SHARED, fd, offset);
    close (fd);

    printf("开始测试\n");
    printf("访问超过映射大小内存地址\n");
    //p_map[len] = '9';      /* 导致段错误 */
    if(size < pagesize) {  //文件大小小于一页大小
        printf("文件大小小于一页大小\n");
        printf("访问文件大小内存地址\n");
        p_map[size] = '9';    /* 正常访问 */
        printf("访问一页大小内存地址\n");
        p_map[pagesize - 1] = '9'; /* 正常访问 */
        printf("访问超过一页大小内存地址\n");
        p_map[pagesize] = '9'; /* 导致总线错误 */
        printf("访问映射大小内存地址\n");
        p_map[len - 1] = '9'; /* 导致总线错误 */
    } else if(size > pagesize) { //文件大小大于一页大小
        printf("文件大小大于一页大小\n");
        printf("访问文件大小内存地址\n");
        p_map[size] = '9';    /* 正常访问 */
        printf("访问一页大小内存地址\n");
        p_map[pagesize - 1] = '9'; /* 正常访问 */
        printf("访问超过一页大小内存地址\n");
        p_map[pagesize] = '9'; /* 正常访问 */
        printf("访问映射大小内存地址\n");
        p_map[len - 1] = '9'; /*  正常访问 */
    } else { //文件大小等于一页大小
        printf("文件大小等于一页大小\n");
        printf("访问文件大小内存地址\n");
        p_map[size] = '9';    /* 导致总线错误 */
        printf("访问一页大小内存地址\n");
        p_map[pagesize - 1] = '9'; /* 正常访问 */
        printf("访问超过一页大小内存地址\n");
        p_map[pagesize] = '9'; /* 导致总线错误 */
        printf("访问映射大小内存地址\n");
        p_map[len - 1] = '9'; /*  导致总线错误 */
    }

    munmap (p_map, len);

    return 0;
}
  • 编译:
    $ gcc -c lianxi3.c
  • 链接:
    $ gcc -o out3 lianxi3.o
  • 执行,
    参数为一个文件全路径。例如在/Desktop下创建三个文件。
    • 分别对应文件大小大于一页内存大小的dayu.txt;
    • 文件大小小于一页内存大小的xiaoyu.txt,;
    • 文件大小等于一页内存大小的dengyu.txt:

$ ./out3 dayu.txt
$ ./out3 xiaoyu.txt
$ ./out3 dengyu.txt

参考文章:https://segmentfault.com/a/1190000014616732

推荐阅读更多精彩内容