磁盘满之前的三次定位:df、du、ncdu 实战
凌晨收到磁盘告警,大部分人第一反应是随手 rm 几个大日志,或者干脆重启机器。这两种做法都在赌运气——赌删的是对的文件,赌重启能释放空间。磁盘排查有固定套路:df 判断是否真的满、du 定位目录、ncdu 翻找大文件,三次定位通常十分钟内解决。没有思路的乱删,最坏的结果是删掉数据库的数据文件换回一点空间。
第一步 df:先确认是不是真的满
df(disk free)回答「文件系统还剩多少」这个问题:
df -h
Filesystem Size Used Avail Use% Mounted on
/dev/vda1 39G 36G 1.3G 97% /
tmpfs 957M 1.1M 956M 1% /dev/shm
/dev/vdb1 49G 12G 35G 23% /data
读这张表只看三处:挂载点是不是出事的那个分区(报警里写的路径在哪个分区下)、Use% 的数值、Size 和 Avail 之间的差值是否对得上。tmpfs 这类内存伪文件系统的行直接跳过——它们占的是内存,删文件救不了。排查时最好加 -T 把文件系统类型也打出来,一眼分清真磁盘和伪文件系统。
还有一个数值陷阱:ext4 默认给 root 用户预留 5% 的块(tune2fs 可查可调),所以 Use% 会比真实占用高出几个点。39G 的盘在 du 统计只有 36G 时 df 显示 97%,中间一部分就是这块预留。预留块的存在是为了防止系统盘被普通用户写满后 root 还能进系统救场,单用途数据盘可以 sudo tune2fs -m 1 /dev/vdb1 把比例降到 1%,多挤几个 G 出来。
df -hT
另一个常见误区是把 tmpfs 的 Size 当成磁盘总量。/dev/shm 显示 957M 是分配给共享内存的内存额度,和磁盘容量无关。
别忘了 inode。 磁盘有「块用满」和「inode 用满」两种满法。海量小文件场景下块还剩很多,inode 却先耗尽,之后任何写入都会报 No space left on device,报错文本完全不提 inode:
df -i
Filesystem Inodes IUsed IFree IUse% Mounted on
/dev/vda1 4896K 4871K 25K 99% /
IUse% 接近 100% 时,问题从小文件堆里找——session 文件、邮件队列、缓存碎片都是惯犯——找单个大文件没有意义。
第二步 du:一层一层往下剥
df 只告诉你哪个分区满,du(disk usage)负责回答「空间被谁吃了」。直接对根目录全量统计慢且输出爆炸,正确姿势是从挂载点开始逐层下钻:
# 根目录下第一层,只统计一级子目录
sudo du -h --max-depth=1 -x / 2>/dev/null | sort -rh
8.7G /var
3.9G /usr
1.6G /snap
260M /opt
96M /root
1.2M /etc
8.4G total
三个参数各有分工:
| 参数 | 作用 | 为什么要带 |
|---|---|---|
--max-depth=1 | 只输出指定层级,不递归打印每个子目录 | 不带的话输出几万行,人没法读 |
-x | 遇到其他文件系统直接跳过 | 根分区排查时避免把挂载在下面的数据盘一起算进来 |
sort -rh | 人类可读大小逆序排序 | 最大目录排最前 |
2>/dev/null | 压掉无权限目录的报错 | 输出只留数据,不混权限噪音 |
假设上一步看到 8.7G 都在 /var,继续下钻:
sudo du -h --max-depth=1 /var | sort -rh
逐层往下,两三轮就能圈定到具体目录。加 -t 500M 可以只显示超过 500M 的条目,输出更干净:
sudo du -h -t 500M --max-depth=2 /var | sort -rh
先查这五个地方,九成磁盘就这么吃满
下来这五个目录包办了 Linux 服务器上大部分的磁盘增长,排查时可以直接点名:
1. /var/log 与 journald。 日志是第一大源头。先看总量:
sudo du -h --max-depth=1 /var/log | sort -rh | head
journalctl --disk-usage
journald 默认不设上限,跑几年吃掉几个 G 很正常。两个限流开关一起打开:journalctl --vacuum-size=500M 立即瘦身,再在 /etc/systemd/journald.conf 里设 SystemMaxUse=500M 让它长期守规矩,改完 sudo systemctl restart systemd-journald 生效。
2. /var/lib/docker。 镜像、容器层、volume 全在这里堆积:
docker system df # 先看 docker 自己的账本
docker system prune # 清悬空资源(-a 连无引用镜像一起清)
镜像分层、volume 清理的完整姿势见 Docker 磁盘清理,这里不展开。
3. apt 缓存与旧内核。 每次升级都往 /var/cache/apt/archives 拉一份 deb,旧内核升级后也不自动删:
sudo apt clean # 清 deb 缓存,零风险
sudo apt autoremove --purge # 删不再依赖的包,含旧内核
4. snap 旧版本。 snap 默认给每个包留两三个旧 revision,一套 Chromium 下来每个旧版就是几百兆:
snap list --all | grep disabled # 列出可删的旧版
sudo snap remove chromium --revision=3210 # 按 revision 删
5. /tmp 和应用自己的 dump 文件。 Java 的 heapdump、PHP 的 core dump、临时上传文件,单个小目录底下埋着十几个 G。上面 du 下钻到这一步自然会暴露,重点是把「删 dump 前先确认不需要回溯」记在流程里。
第三步 ncdu:逐个翻找与删除
命令行下钻到三四层以后,改用 ncdu(ncurses disk usage)做交互式翻找。Ubuntu 24.04 里是 ncdu 1.19:
sudo apt install ncdu
sudo ncdu /
界面是上下键进入目录、回车确认、d 删除选中项。几个高频按键:
| 按键 | 功能 |
|---|---|
| 上/下 + 回车 | 进入目录 |
d | 删除选中项(会二次确认) |
n | 按名称排序 |
g | 切换百分比/图形条显示 |
q | 退出 |
两个使用注意。第一,大目录首次扫描要几分钟,等得起;加 -o /tmp/scan.out 先导出快照,之后 ncdu -f /tmp/scan.out 离线浏览,重复排查同一台机器时省扫描时间。第二,在 ncdu 里按 d 是真删除,不经过回收站。正式机器上建议先用它定位,回命令行用 rm 确认路径后删,d 键留给确认目录树以后再按。
df 和 du 对不上号,差在哪
排查中最让人困惑的现象:df 显示分区用了 36G,du 加总只有 20G,中间 16G 不知去向。对不上号有四种常见原因,对应四种处理:
| 现象 | 原因 | 处理 |
|---|---|---|
| du 加总远小于 df | 进程持有已删除文件的句柄 | 重启对应服务;或 lsof +L1 找出持有者 |
| du 漏算某目录 | 排查路径外有挂载点、或权限不足 | df 查挂载清单;带 sudo 重新统计 |
| 差值集中在几 MB 内 | 正常开销:文件系统元数据、预留块 | 忽略 |
| 差值巨大且逐秒增长 | 有进程还在写已删除的日志 | 同上,找到进程先停再改日志切割 |
第一种最常见。日志被 logrotate 轮转、旧文件被 rm,但服务进程还握着旧文件句柄继续写,空间不会释放。验证方法:
sudo lsof +L1
COMMAND PID USER FD TYPE NODE SIZE/NLICAL NAME
nginx 1838 root 4w REG 8,1 15.2G /var/log/nginx/access.log.1 (deleted)
输出里 SIZE 一栏就是被占着的空间。systemctl restart nginx(或对应服务)释放,顺手把 logrotate 的 copytruncate 或 reload 配置补上,问题不再复发。
常见问题
Q:du -sh * 看到的目录加起来,为什么和 df 差很远?
A:两种满法先分清:df -i 看是不是 inode 满。块空间对不上时查已删除文件的句柄(lsof +L1),权限不足也会让 du 漏算,普通用户统计系统目录务必带 sudo。
Q:已经 No space left on device 了,du 都跑不动怎么办?
A:优先用开销最小的命令组合:journalctl --vacuum-size=100M、apt clean、snap list --all 删旧版,先腾出几百兆再回头细查。实在不行重启进单用户模式,不带服务启动,慢慢清。
Q:find / -size +500M 直接找大文件不是更快?
A:它只适合收尾确认,开局就全盘 find 又慢又容易漏——空间经常是海量中等文件堆出来的,不是单个巨型文件。先 du 下钻看目录结构,最后用 find 扫一遍确认没有漏网大文件,顺序别反。
Q:ncdu 和 du -h --max-depth=1 该选哪个?
A:定位阶段用 du 一层层剥,路径清晰、可以在脚本里跑;翻找阶段用 ncdu,交互式看哪个目录占比反常。两者不冲突,常见流程是 du 圈定范围、ncdu 收尾。
Q:怎么防止再被塞满? A:三个方向:日志配 logrotate(配合 journalctl 的 SystemMaxUse 限制)、定时用 df 报警(Use% 超 85% 触发通知)、给会持续写盘的服务单独分数据盘。监控和切割做在前面,就不用再凌晨定位。
Q:稀疏文件为什么 du 和 ls 大小不一样?
A:ls -l 显示的是逻辑大小,du 显示的是实际占用的块数。镜像文件、虚拟机磁盘常是稀疏的,两者差几倍都正常,评估剩余空间以 df 和 du 为准。
磁盘排查的完整链路就三步:df 判断哪种满、du 逐层下钻、ncdu 翻找收尾。把这条链路和 lsof +L1 记熟,凌晨的告警十分钟内能落地面。清理动作永远排在定位完成之后,顺序错了,删错文件的代价远高于多花十分钟排查。
再往前一步是预防:journald 设上限、logrotate 管应用日志、docker 定期 prune、df 报警阈值定在 85%。这四件事做齐,磁盘告警这个工单本身就很少再出现。