Linux 业务突然宕机、系统卡死、磁盘空间爆满，该怎么查?

场景

在服务器运维过程中，我们偶尔会发现业务突然宕机，进去服务器发现异常卡顿查看服务器磁盘空间发现磁盘满载。

如何找到占用空间大的目录或文件？

1、比较笨的方法：

在根目录下，du -hs命令，列出各目录所占空间大小之后再用同样的方法继续到对应目录下去找。

2、再相对高效一点的方法是：

通过du的-d参数，或–max-depth，设置查询的目录深度，目录深度增加，所查询的目录，展示出来会很多，这个时候可以通过grep进行过滤，通过这样的方式，可以搜出以G或者T为单位的占用磁盘空间的大目录，并排序

3、或者可以通过find来查询

find / -type f -size +1G -exec du -h {} \;  
1

小结：
从效率上来说，find要比du要更快速、灵活。通过这两种方法，我们可以快速找到占用磁盘空间的罪魁祸首。

但是很多时候，通过find或du查半天，发现所有加起来的占用空间，和df看到的磁盘空间占用，相差很大，就比如我上面的两张图。

通过df查看，磁盘使用37G，但是在根目录下通过du -hs 查看，总共加起来差不多10G，没有隐藏目录，那空间被谁吃了？很明显，有空间被已删除文件占用，文件删除了，但是资源没释放。之前介绍过一个很好用的命令：lsof，我们可以通过以下命令去查看。

lsof

lsof +L1  
1

从结果可以看出，有一个28G左右的大日志文件，删除了，但是空间没释放，这是很常见的一种情况。对应的解决方法就是，重启tomcat应用，释放空间。

磁盘空间莫名被吃？

还有一种经常有人问的问题，就是，通过df查看到的磁盘，会发现Used和Avail加起来不够Size。

其实这是Linux文件系统的一种安全策略，它默认会为root用户保留5%的磁盘空间，留作紧急情况使用。这样能保证有些关键应用（比如数据库）在硬盘满的时候有点余地，不致于马上就 crash。

我们可以通过tune2fs修改预留空间的比例：

tune2fs -m 1 /dev/vda1  
1

前后对比