39人参与 • 2026-09-08 • Linux
# 查看磁盘分区使用率 df -h # 进入磁盘使用率100%的挂载点,逐层看哪个目录大 du -sh * # 只看一级目录大小 du -h --max-depth=1 /var/log
坑:df 和 du 结果不一致:大概率存在已经 rm,但进程还持有句柄的 deleted 日志。
du 看不到,但 df 统计占用。
直接 rm 删除即可释放空间。
禁止直接 rm。
正确操作:清空文件
> big-app.log
执行完,df 看磁盘空间马上释放。
如果手已经 rm 了活跃日志文件:
lsof |grep deleted 找到 pid/proc/<pid>/fd/ 目录,找到对应 fd,执行 > fd编号 清空文件,不用重启进程。示例(不重启进程清空已删除句柄文件)
cd /proc/1234/fd > 3
磁盘 100%,连创建 tmp 文件都失败:
> xxx.log,不要产生新文件;find /var/log/hadoop-yarn -type f -name "*.log*" -mtime +7 -delete
参数解释
/var/log/hadoop-yarn:要清理的日志目录-type f:只匹配普通文件-name "*.log*":匹配日志归档文件(log.1、log‑日期.gz)-mtime +7:修改时间大于 7 天的文件-delete:直接删除禁忌:不要匹配 *.log,这是程序正在追加写的活跃日志!只匹配切割后的归档文件。
/opt/scripts/clean_old_log.sh
#!/bin/bash
# 清理7天以上归档日志,禁止删除正在写入的xxx.log
log_dirs=(
"/var/log/hadoop-yarn"
"/var/log/spark"
"/opt/flink/log"
)
for dir in "${log_dirs[@]}"
do
if [ -d "$dir" ];then
find "$dir" -type f -name "*.log.*" -mtime +7 -delete
fi
done
赋执行权限
chmod +x /opt/scripts/clean_old_log.sh
本地先手动执行一遍测试,确认不会误删文件。
crontab -e
加入,每天凌晨 2 点执行清理(业务低峰)
0 2 * * * /opt/scripts/clean_old_log.sh >> /opt/scripts/clean_log_cron.log 2>&1
0 2 * * *:每天 02:00 运行>> /opt/scripts/clean_log_cron.log 2>&1:把脚本输出和错误输出记录,方便排查定时任务是否异常。查看已配置定时任务
crontab -l
按文件大小 / 时间切割日志,自动压缩、自动删除 n 天前日志。避免单日志无限膨胀。
简单示例配置 /etc/logrotate.d/bizlog
/opt/app/logs/*.log {
daily
rotate 7
compress
missingok
copytruncate
}
daily:按天切割rotate 7:保留 7 份历史日志copytruncate:复制后截断原文件,不需要重启应用,适合不能重启的服务。1)业务程序本身配置日志级别,关闭大量 debug 打印。
2)定时任务配合 find 清理归档日志(仅清理已经切割完毕的旧日志,不要处理正在写的日志)。
重要提醒:
crontab 只清理已经切割完毕的归档旧日志,绝对不要去删除应用正在持续写入的活跃日志文件,否则出现 deleted 幽灵文件,磁盘空间不释放。
活跃日志交给 logrotate;
crontab 适合清理 .log.1、.log‑20260908.gz 这类轮转后的历史归档文件。
| 方案 | logrotate | crontab+find |
|---|---|---|
| 作用 | 日志切割、压缩、保留份数、截断原文件 | 只删除已经切割完成的旧归档文件 |
| 处理活跃日志 | ✅支持,copytruncate 模式不用重启服务 | ❌不能处理活跃日志 |
| 能力 | 完整日志治理 | 仅做旧文件删除 |
| 生产建议 | 首选必备 | 辅助,搭配 logrotate 使用 |
以上为个人经验,希望能给大家一个参考,也希望大家多多支持代码网。
您想发表意见!!点此发布评论
版权声明:本文内容由互联网用户贡献,该文观点仅代表作者本人。本站仅提供信息存储服务,不拥有所有权,不承担相关法律责任。 如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 2386932994@qq.com 举报,一经查实将立刻删除。
发表评论