no space left on device

最近遇到一个Linux机器上Java程序向/tmp文件夹写入临时文件报错问题,报错信息如下:

Caused by: java.nio.file.FileSystemException: /tmp/imageio8208234794343042842.tmp: No space left on device
at sun.nio.fs.UnixException.translateToIOException(UnixException.java:91)
at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:102)
at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:107)
at sun.nio.fs.UnixFileSystemProvider.newByteChannel(UnixFileSystemProvider.java:214)
at java.nio.file.Files.newByteChannel(Files.java:361)
at java.nio.file.Files.createFile(Files.java:632)
at java.nio.file.TempFileHelper.create(TempFileHelper.java:138)
at java.nio.file.TempFileHelper.createTempFile(TempFileHelper.java:161)
at java.nio.file.Files.createTempFile(Files.java:897)
at javax.imageio.stream.FileCacheImageInputStream.<init>(FileCacheImageInputStream.java:102)
at com.sun.imageio.spi.InputStreamImageInputStreamSpi.createInputStreamInstance(InputStreamImageInputStreamSpi.java:69)
at javax.imageio.ImageIO.createImageInputStream(ImageIO.java:357)
... 41 more

从报错信息/tmp/imageio8208234794343042842.tmp: No space left on device字面意思来看应该是磁盘空间不足,于是我们通过du -f查看了一下啊磁盘空间的占用情况:

[root@iZ23yaz766kZ ~]# df -h                                                                                                                                                                                                    
Filesystem      Size  Used Avail Use% Mounted on                                                                                                                                                                                
/dev/xvda1       40G   24G   14G  63% /                                                                                                                                                                                         
tmpfs           7.8G     0  7.8G   0% /dev/shm                                                                                                                                                                                  
/dev/xvdb1       40G   25G   13G  67% /alidata1

从输出信息可以看出磁盘空间并没有满,还有很多的富裕,而且我们磁盘的空间的使用率是有监控的,一旦超过阈值就会发送报警信息,但是我们并没有收到相应的报警信息,所以可以推断出不是磁盘空间不足的问题,那到底是什么问题导致报错呢?

通过查询资料了解到,除了磁盘空间可能导致无法写入文件外,还有磁盘的inode数量也会影响文件的写入,当inode数量不足时,也会导致无法写入文件,于是通过df -i查看了一下inode的数量:

[root@iZ23yaz766kZ ~]# df -i                                                                                                                                                                                                    
Filesystem      Inodes   IUsed   IFree IUse% Mounted on                                                                                                                                                                         
/dev/xvda1     2621440 2581440  40000   99% /                                                                                                                                                                                  
tmpfs          2041364       1 2041363    1% /dev/shm                                                                                                                                                                           
/dev/xvdb1     2621440  230217 2391223    9% /alidata1

从输出可以看到inode使用的数量占到了99%,几乎满了,从而我们我们推断很可能是当时的inode数量不足导致无法向/tmp写入文件。

解决inode数量不足的方法有两种

  1. 清理inode占用过高的文件和目录

    通过for i in /*; do echo $i; find $i | wc -l; done统计了一下每个文件夹下的inode数量,找到了占用数量比较多的文件夹,然后,逐层进入inode占用最高的目录,继续执行上述指令,逐步定位占用过高空间的文件或目录,最后进行相应清理。

  2. 修改inode的数量,这种方法需要重新格式化磁盘。具体方法如下:

    1. 执行如下命令,卸载系统文件。

      umount /home
      
    2. 执行如下命令,重新建立文件系统,指定inode节点数。

      mkfs.ext3 /dev/xvdb -N 1638400
      
    3. 执行如下命令,修改fstab文件。

      vim /etc/fstab
      
    4. 执行如下命令,查看修改后的inode节点数。

      dumpe2fs -h /dev/xvdb | grep node
      

我们通过第一种方法清理了一下占用inode数量比较多的文件解决了该问题。

推荐阅读更多精彩内容