磁盘满之前的三次定位:df、du、ncdu 实战

磁盘满之前的三次定位:df、du、ncdu 实战

磁盘排查dudfncdu服务器运维Ubuntu
📶 入门 🧩 ncdu · coreutils · Linux

磁盘满之前的三次定位:df、du、ncdu 实战

凌晨收到磁盘告警,大部分人第一反应是随手 rm 几个大日志,或者干脆重启机器。这两种做法都在赌运气——赌删的是对的文件,赌重启能释放空间。磁盘排查有固定套路:df 判断是否真的满、du 定位目录、ncdu 翻找大文件,三次定位通常十分钟内解决。没有思路的乱删,最坏的结果是删掉数据库的数据文件换回一点空间。

第一步 df:先确认是不是真的满

df(disk free)回答「文件系统还剩多少」这个问题:

df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/vda1        39G   36G  1.3G  97% /
tmpfs           957M  1.1M  956M   1% /dev/shm
/dev/vdb1       49G   12G   35G  23% /data

读这张表只看三处:挂载点是不是出事的那个分区(报警里写的路径在哪个分区下)、Use% 的数值、Size 和 Avail 之间的差值是否对得上。tmpfs 这类内存伪文件系统的行直接跳过——它们占的是内存,删文件救不了。排查时最好加 -T 把文件系统类型也打出来,一眼分清真磁盘和伪文件系统。

还有一个数值陷阱:ext4 默认给 root 用户预留 5% 的块(tune2fs 可查可调),所以 Use% 会比真实占用高出几个点。39G 的盘在 du 统计只有 36G 时 df 显示 97%,中间一部分就是这块预留。预留块的存在是为了防止系统盘被普通用户写满后 root 还能进系统救场,单用途数据盘可以 sudo tune2fs -m 1 /dev/vdb1 把比例降到 1%,多挤几个 G 出来。

df -hT

另一个常见误区是把 tmpfs 的 Size 当成磁盘总量。/dev/shm 显示 957M 是分配给共享内存的内存额度,和磁盘容量无关。

别忘了 inode。 磁盘有「块用满」和「inode 用满」两种满法。海量小文件场景下块还剩很多,inode 却先耗尽,之后任何写入都会报 No space left on device,报错文本完全不提 inode:

df -i
Filesystem      Inodes  IUsed   IFree IUse% Mounted on
/dev/vda1       4896K   4871K     25K   99% /

IUse% 接近 100% 时,问题从小文件堆里找——session 文件、邮件队列、缓存碎片都是惯犯——找单个大文件没有意义。

第二步 du:一层一层往下剥

df 只告诉你哪个分区满,du(disk usage)负责回答「空间被谁吃了」。直接对根目录全量统计慢且输出爆炸,正确姿势是从挂载点开始逐层下钻:

# 根目录下第一层,只统计一级子目录
sudo du -h --max-depth=1 -x / 2>/dev/null | sort -rh
8.7G    /var
3.9G    /usr
1.6G    /snap
260M    /opt
96M     /root
1.2M    /etc
8.4G    total

三个参数各有分工:

参数作用为什么要带
--max-depth=1只输出指定层级,不递归打印每个子目录不带的话输出几万行,人没法读
-x遇到其他文件系统直接跳过根分区排查时避免把挂载在下面的数据盘一起算进来
sort -rh人类可读大小逆序排序最大目录排最前
2>/dev/null压掉无权限目录的报错输出只留数据,不混权限噪音

假设上一步看到 8.7G 都在 /var,继续下钻:

sudo du -h --max-depth=1 /var | sort -rh

逐层往下,两三轮就能圈定到具体目录。加 -t 500M 可以只显示超过 500M 的条目,输出更干净:

sudo du -h -t 500M --max-depth=2 /var | sort -rh

先查这五个地方,九成磁盘就这么吃满

下来这五个目录包办了 Linux 服务器上大部分的磁盘增长,排查时可以直接点名:

1. /var/log 与 journald。 日志是第一大源头。先看总量:

sudo du -h --max-depth=1 /var/log | sort -rh | head
journalctl --disk-usage

journald 默认不设上限,跑几年吃掉几个 G 很正常。两个限流开关一起打开:journalctl --vacuum-size=500M 立即瘦身,再在 /etc/systemd/journald.conf 里设 SystemMaxUse=500M 让它长期守规矩,改完 sudo systemctl restart systemd-journald 生效。

2. /var/lib/docker。 镜像、容器层、volume 全在这里堆积:

docker system df          # 先看 docker 自己的账本
docker system prune       # 清悬空资源(-a 连无引用镜像一起清)

镜像分层、volume 清理的完整姿势见 Docker 磁盘清理,这里不展开。

3. apt 缓存与旧内核。 每次升级都往 /var/cache/apt/archives 拉一份 deb,旧内核升级后也不自动删:

sudo apt clean                  # 清 deb 缓存,零风险
sudo apt autoremove --purge     # 删不再依赖的包,含旧内核

4. snap 旧版本。 snap 默认给每个包留两三个旧 revision,一套 Chromium 下来每个旧版就是几百兆:

snap list --all | grep disabled          # 列出可删的旧版
sudo snap remove chromium --revision=3210 # 按 revision 删

5. /tmp 和应用自己的 dump 文件。 Java 的 heapdump、PHP 的 core dump、临时上传文件,单个小目录底下埋着十几个 G。上面 du 下钻到这一步自然会暴露,重点是把「删 dump 前先确认不需要回溯」记在流程里。

第三步 ncdu:逐个翻找与删除

命令行下钻到三四层以后,改用 ncdu(ncurses disk usage)做交互式翻找。Ubuntu 24.04 里是 ncdu 1.19:

sudo apt install ncdu
sudo ncdu /

界面是上下键进入目录、回车确认、d 删除选中项。几个高频按键:

按键功能
上/下 + 回车进入目录
d删除选中项(会二次确认)
n按名称排序
g切换百分比/图形条显示
q退出

两个使用注意。第一,大目录首次扫描要几分钟,等得起;加 -o /tmp/scan.out 先导出快照,之后 ncdu -f /tmp/scan.out 离线浏览,重复排查同一台机器时省扫描时间。第二,在 ncdu 里按 d 是真删除,不经过回收站。正式机器上建议先用它定位,回命令行用 rm 确认路径后删,d 键留给确认目录树以后再按。

df 和 du 对不上号,差在哪

排查中最让人困惑的现象:df 显示分区用了 36G,du 加总只有 20G,中间 16G 不知去向。对不上号有四种常见原因,对应四种处理:

现象原因处理
du 加总远小于 df进程持有已删除文件的句柄重启对应服务;或 lsof +L1 找出持有者
du 漏算某目录排查路径外有挂载点、或权限不足df 查挂载清单;带 sudo 重新统计
差值集中在几 MB 内正常开销:文件系统元数据、预留块忽略
差值巨大且逐秒增长有进程还在写已删除的日志同上,找到进程先停再改日志切割

第一种最常见。日志被 logrotate 轮转、旧文件被 rm,但服务进程还握着旧文件句柄继续写,空间不会释放。验证方法:

sudo lsof +L1
COMMAND   PID USER   FD   TYPE NODE SIZE/NLICAL NAME
nginx   1838 root    4w   REG  8,1      15.2G /var/log/nginx/access.log.1 (deleted)

输出里 SIZE 一栏就是被占着的空间。systemctl restart nginx(或对应服务)释放,顺手把 logrotate 的 copytruncate 或 reload 配置补上,问题不再复发。

常见问题

Q:du -sh * 看到的目录加起来,为什么和 df 差很远? A:两种满法先分清:df -i 看是不是 inode 满。块空间对不上时查已删除文件的句柄(lsof +L1),权限不足也会让 du 漏算,普通用户统计系统目录务必带 sudo。

Q:已经 No space left on device 了,du 都跑不动怎么办? A:优先用开销最小的命令组合:journalctl --vacuum-size=100M、apt clean、snap list --all 删旧版,先腾出几百兆再回头细查。实在不行重启进单用户模式,不带服务启动,慢慢清。

Q:find / -size +500M 直接找大文件不是更快? A:它只适合收尾确认,开局就全盘 find 又慢又容易漏——空间经常是海量中等文件堆出来的,不是单个巨型文件。先 du 下钻看目录结构,最后用 find 扫一遍确认没有漏网大文件,顺序别反。

Q:ncdu 和 du -h --max-depth=1 该选哪个? A:定位阶段用 du 一层层剥,路径清晰、可以在脚本里跑;翻找阶段用 ncdu,交互式看哪个目录占比反常。两者不冲突,常见流程是 du 圈定范围、ncdu 收尾。

Q:怎么防止再被塞满? A:三个方向:日志配 logrotate(配合 journalctl 的 SystemMaxUse 限制)、定时用 df 报警(Use% 超 85% 触发通知)、给会持续写盘的服务单独分数据盘。监控和切割做在前面,就不用再凌晨定位。

Q:稀疏文件为什么 du 和 ls 大小不一样? A:ls -l 显示的是逻辑大小,du 显示的是实际占用的块数。镜像文件、虚拟机磁盘常是稀疏的,两者差几倍都正常,评估剩余空间以 df 和 du 为准。


磁盘排查的完整链路就三步:df 判断哪种满、du 逐层下钻、ncdu 翻找收尾。把这条链路和 lsof +L1 记熟,凌晨的告警十分钟内能落地面。清理动作永远排在定位完成之后,顺序错了,删错文件的代价远高于多花十分钟排查。

再往前一步是预防:journald 设上限、logrotate 管应用日志、docker 定期 prune、df 报警阈值定在 85%。这四件事做齐,磁盘告警这个工单本身就很少再出现。