自动删除大文件日志、过期日志

一、创建虚拟文件

1、使用dd命令模拟创建一个文件，if：指定输入（input）设备或文件，of：指定输出（output）设备或文件，bs：每次传输的块（block）的大小，单位为B(byte)。默认为512B。bs 的值可以指定单位，如bs=1b或bs=1k等；count：传输多少个块（块的大小由bs指定）。若未指定count，则直到输入数据耗尽（如文件遇到EOF），或输出空间满为止。如果是从stdin输入，则按ctrl+d可以结束输入。skip：跳过前面skip个块（块的大小由bs指定）後再传输。也就是说：dd命令会跳过 if 的前 skipbs个字节，然后将 if 的 bscount 个字节传输到 of 处。

dd if=/dev/zero of=/root/12345/ceshi bs=1M skip=1 count=60
1

二、删除超过固定大小文件日志

1、du -sh方式

#! /bin/bash

DIRPATH=/root/ceshi/

for size in $( du -sh -b $DIRPATH* | awk '{print $1}' )
do
        for file in $(du -sh -b $DIRPATH* | grep ${size} | awk '{print $2}')
        do
                if [ $size -gt 31457280 ] ; then
                        echo "${file} ${size}"
                        rm -rf $file
                fi
        done
done
1
2
3
4
5
6
7
8
9
10
11
12
13
14

2、ls -l方式

#! /binbash

AIRPATH=/root/ceshi/

for size in $(ls -l $AIRPATH* | awk '{print $5}')
do
          for file in $(ls -l $AIRPATH* | grep ${size} | awk '{print $9}')
          do
                      if [ $size -gt 31457280 ];then
                      echo "${file} ${size}"
                      rm -rf $file
                      fi
          done
done
1
2
3
4
5
6
7
8
9
10
11
12
13
14

3、find方法

1、根据大小，超过设定1024k删除

find . -size +1024k | xargs -n 1 rm -rf
1

4、du-sh转存重命名方式

#! /bin/bash

DIRPATH=/data/nfs-storage/nginx/usr/local/nginx/logs/
AIR=/root/ceshi/bak/
cd $DIRPATH
for size in $( du -sh -b * | awk '{print $1}' )
do
        for file in $(du -sh -b * | grep ${size} | awk '{print $2}')
        do
                if [ $size -gt 21457280 ] ; then
                        echo "${file} ${size}"
                        mkdir -p $AIR
                        echo "${AIR} ${file}"
                        mv $file $AIR$file.`(date +%Y%m%d_%H.%M.%S)`
                fi
        done
done
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

二、根据时间，创建时间超过设定10天以上进行删除

1、find方法

find命令参数详解
-name filename #查找名为filename的文件
-perm #按执行权限来查找
-user username #按文件属主来查找
-group groupname #按组来查找
-mtime (mmin/分钟) -n +n #按文件修改时间来查找文件，-n指n天以内，+n指n天以前
-atime （amin/分钟） -n +n #按文件访问时间来查找文件，-n指n天以内，+n指n天以前
-ctime （cmin/分钟） -n +n #按文件状态改变时间来查找文件，包括文件属主、权限以及内容修改时间，-n指n天以内，+n指n天以前
-nogroup #查无有效属组的文件，即文件的属组在/etc/groups中不存在
-nouser #查无有效属主的文件，即文件的属主在/etc/passwd中不存
-type b/d/c/p/l/f #查是块设备、目录、字符设备、管道、符号链接、普通文件
-size n[c] #查长度为n块[或n字节]的文件
-mount #查文件时不跨越文件系统mount点
-follow #如果遇到符号链接文件，就跟踪链接所指的文件
-prune #忽略某个目录

（1）根据文件名称后缀查找文件删除

find . -mtime +10 -name "*.bak" -exec rm -rf {} \;
1

（2）根据文件类型查找删除文件
-type f是指定文件类型为普通文件
-type 是find命令的一个参数:
-type:查找某一类型文档
b:块设备文档
d:目录
c:字符设备文档
P:管道文档
l:符号链接文档
f:普通文档

find . -mtime +1 -type f  -exec rm -rf {} \;
1

find方法Shell脚本

#！ /bin/bash

find . -size +1024k | xargs -n 1 rm -rf
find . -ctime +1 -type f  -exec rm -rf {} \;
1
2
3
4

三、添加定时任务

1、配置crontab定时文件

crontab -e
1

2、crontab文件配置内容

0 0 * * * find /root/ceshi/* -type f -ctime +2 -exec rm -rf {} \；

0 0 * * * find /root/ceshi/* -size +1024k | xargs -n 1 rm -rf
1
2
3

详细crontab配置请点击此链接