centos7.9脚本,怎么排除特定的访问记录

以下参考免费微信小程序：皆我百晓生 作答，并由阿齐Archie整理回复，若还有疑问可评论或留言。

要修改您的脚本，以便排除以 .asp、.php 和 .txt 结尾的访问记录，您可以使用 grep 的 -v 选项（表示排除匹配的行）和扩展正则表达式模式来实现这一点。

首先，我们需要在 grep 命令中添加 -E 选项来使用扩展正则表达式，并使用 -v 选项来排除那些以特定扩展名结尾的行。

以下是修改后的脚本片段：

while read line
do
    # 使用 grep 排除所有以 .asp、.php 和 .txt 结尾的 URL
    r=$(grep -v -E "\.(asp|php|txt)$" "21check_junrong_if_the_list_is_blocked.txt" | grep "$line" | wc -l)
    
    if [ "$r" == "0" ]
    then
        echo "$line was not found num=0"
        echo "000不存在特别注意列表">>./tmp/pls_21_tebie_bucunzai_ip_`date +%Y%m%d`
        echo "$line"                >>./tmp/pls_21_tebie_bucunzai_ip_`date +%Y%m%d`
    else
        echo "$line is found num>=1"
        aa=$(grep "$line" "21check_junrong_if_the_list_is_blocked.txt")
        echo "000以下特别注意的列表"    >>./tmp/pls_21_tebie_cunzai_url_`date +%Y%m%d`
        echo "$aa"                      >>./tmp/pls_21_tebie_cunzai_url_`date +%Y%m%d`
        ## 在待检查的列表中“21check_junrong_if_the_list_is_blocked.txt” 删除含有特别注意内容的行
        sed -i "/$line/d" "21check_junrong_if_the_list_is_blocked.txt"
    fi
done <./tmp/pls_21_tebiezhuyi_`date +%Y%m%d`.txt

这里的关键改动是：

1. 在 grep 命令中使用了 -v -E "\.(asp|php|txt)$" 来排除所有以 .asp、.php 和 .txt 结尾的行。
2. 通过 grep "$line" 检查是否包含特定的行，然后计算其数量。

请注意，如果 $line 变量中包含特殊字符或空格，这可能会导致意外的结果。确保在实际环境中测试此脚本以验证它的准确性和安全性。

以下参考免费微信小程序：皆我百晓生 作答，并由妄北y整理回复。

要排除包含特定后缀（如 .asp, .php, .txt）的访问记录，你可以在 grep 命令中使用 -v 选项来反向匹配这些后缀，或者使用 grep 的正则表达式功能来排除这些后缀。下面是一个修改后的脚本示例，使用正则表达式排除包含 .asp, .php, .txt 结尾的行。

cat ./tmp/pls_21_tebiezhuyi_`date +%Y%m%d`.txt | while read line
do
    # 使用正则表达式排除包含.asp、.php、.txt后缀的行
    r=$(cat 21check_junrong_if_the_list_is_blocked.txt | grep -vE '(\.asp|\.php|\.txt)$' | grep "$line" | wc -l)
    if [ "$r" -eq 0 ]
    then
        echo "$line was not found num=0"
        echo "000不存在特别注意列表" >> ./tmp/pls_21_tebie_bucunzai_ip_`date +%Y%m%d`
        echo "$line" >> ./tmp/pls_21_tebie_bucunzai_ip_`date +%Y%m%d`
    else
        echo "$line is found num>=1"
        aa=$(cat 21check_junrong_if_the_list_is_blocked.txt | grep -vE '(\.asp|\.php|\.txt)$' | grep "$line")
        echo "000以下特别注意的列表" >> ./tmp/pls_21_tebie_cunzai_url_`date +%Y%m%d`
        echo "$aa" >> ./tmp/pls_21_tebie_cunzai_url_`date +%Y%m%d`
        # 在待检查的列表中“21check_junrong_if_the_list_is_blocked.txt” 删除含有特别注意内容的行
        sed -i "/$line/d" 21check_junrong_if_the_list_is_blocked.txt
    fi
done

这里的关键改动是：

1. 使用 grep -vE '(\.asp|\.php|\.txt)$' 来排除所有以 .asp, .php, .txt 结尾的行。其中 -v 是排除匹配的选项，-E 允许使用扩展正则表达式。
2. 我将 grep 命令放在了 cat 命令的管道中，这样每次只处理需要排除特定后缀的行，而不是整个文件。

请注意，这个脚本假设 pls_21_tebiezhuyi_ 文件中的每行都是一个独立的 URL。如果文件中的行格式不同，你可能需要调整 grep 命令以匹配正确的模式。此外，这个脚本使用 cat 来读取文件，这可能在处理非常大的文件时效率较低。如果遇到性能问题，可以考虑使用其他方法，如 awk 或 sed 来直接处理文件。

让阿豪来帮你解答，本回答参考chatgpt3.5编写提供，如果还有疑问可以评论或留言

1. 读取文件：使用命令 cat 读取文件，将其输出到终端或者通过重定向写入到另一个文件中，例如 cat filename.txt > output.txt
2. 解析行：使用 awk 或者 sed 命令解析行，并输出符合条件的行到终端或者重定向到文件中，例如：
3. 使用 awk 命令解析行，查找包含指定字符串的行并输出到终端： awk '/string/ {print}' filename.txt
4. 使用 sed 命令解析行，查找包含指定字符串的行并输出到文件中： sed -n '/string/p' filename.txt > output.txt
5. 排除指定类型的文件：使用 grep 命令筛选出不包含指定字符串的行，并通过 awk 或者 sed 命令进一步处理 例如，根据给出的脚本，可以将以下命令添加到脚本中，实现特定的排除文件类型的功能：

# 排除以 .asp 和 .php 和 .txt 结尾的文件
grep -vE '\.(asp|php|txt)$' 21check_junrong_if_the_list_is_blocked.txt | awk '{print $0}' > filtered.txt

其中 grep -vE '\.(asp|php|txt)$' 用于排除以 .asp 和 .php 和 .txt 结尾的文件，| 连接符用于将上一个命令的输出作为下一个命令的输入，awk '{print $0}' 用于输出筛选后的行到文件中。 完整代码：

#!/bin/bash
# 读取文件，排除特定文件类型，输出到临时文件
grep -vE '\.(asp|php|txt)$' 21check_junrong_if_the_list_is_blocked.txt | awk '{print $0}' > filtered.txt
# 逐行解析文件，查找并输出符合条件的行到相应的文件中
while read line
do
    r=`grep \"$line\" filtered.txt | wc -l`
    if [ "$r" == "0" ]
    then
        echo "$line was not found num=0"
        echo "000不存在特别注意列表" >> /tmp/pls_21_tebie_bucunzai_ip_$(date +%Y%m%d)
        echo "$line" >> /tmp/pls_21_tebie_bucunzai_ip_$(date +%Y%m%d)
    else
        aa=`grep "$line" filtered.txt`
        echo "$line is found num=$r"
        echo "000以下特别注意的列表" >> /tmp/pls_21_tebie_cunzai_url_$(date +%Y%m%d)
        echo "$aa" >> /tmp/pls_21_tebie_cunzai_url_$(date +%Y%m%d)
        # 在待检查的列表中“21check_junrong_if_the_list_is_blocked.txt”删除含有特别注意内容的行
        sed -i "/$line/d" filtered.txt
    fi
done < filtered.txt
# 统计 filtered.txt 中的访问 URL 是否含有 upload 关键字的（文件是 .asp 和 .php 以及 .txt 的不统计）
grep -E 'upload.*\.(do|jsp|html|htm)$' filtered.txt >> /tmp/pls_21_tebie_cunzai_url_$(date +%Y%m%d)
# 删除临时文件
rm filtered.txt

注意事项： 1. 根据实际需要修改脚本中的文件名和路径 2. 在使用 awk 或者 sed 命令时，需要根据实际情况设置相应的解析规则 3. 在使用 grep 命令时，需要注意使用正则表达式排除特定文件类型

该回答引用ChatGPT，望对题主有所帮助/启发；若有帮助，还望采纳🤝🤝🤝

要排除包含特定扩展名（如.asp、.php 和 .txt）的访问记录，你可以在 grep 命令中使用 -v 选项来反转匹配，即排除那些匹配特定模式的行。此外，你可以使用正则表达式来匹配文件扩展名。

以下是修改后的脚本片段，展示了如何排除包含 .asp、.php 和 .txt 扩展名的行：

while read line
do
    # 使用grep排除包含.asp、.php和.txt的行
    r=$(grep -vE ".asp|.php|.txt" 21check_junrong_if_the_list_is_blocked.txt | grep "$line" | wc -l)

    if [ "$r" == "0" ]
    then
        echo "$line was not found num=0"
        echo "000不存在特别注意列表">>./tmp/pls_21_tebie_bucunzai_ip_`date +%Y%m%d`
        echo "$line"                >>./tmp/pls_21_tebie_bucunzai_ip_`date +%Y%m%d`
    else
        echo "$line is found num>=1"
        aa=$(grep "$line" 21check_junrong_if_the_list_is_blocked.txt)
        echo "000以下特别注意的列表"    >>./tmp/pls_21_tebie_cunzai_url_`date +%Y%m%d`
        echo "$aa"                      >>./tmp/pls_21_tebie_cunzai_url_`date +%Y%m%d`
        # 在待检查的列表中“21check_junrong_if_the_list_is_blocked.txt” 删除含有特别注意内容的行
        sed -i "/$line/d" 21check_junrong_if_the_list_is_blocked.txt
    fi
done <./tmp/pls_21_tebiezhuyi_`date +%Y%m%d`.txt

在这个脚本中，grep -vE ".asp|.php|.txt" 这一行的作用是排除所有包含 .asp、.php 或 .txt 的行。-v 选项表示选择非匹配的行，-E 选项表示使用扩展正则表达式。

请注意，这个脚本假设每行记录的格式是固定的，并且 URL 是每行的最后一个字段。如果记录的格式有所不同，你可能需要调整 grep 和 sed 命令中的匹配模式以适应实际的格式。

另外，如果你的文件路径或模式包含特殊字符或空格，你可能需要对 $line 进行引号处理，以确保正确地处理这些情况。

要在脚本中排除带有特定扩展名（如.asp、.php、.txt）的访问记录，可以使用grep命令的排除选项-v。具体来说，你可以在使用grep命令时通过正则表达式来排除这些扩展名的记录。

以下是如何修改你的脚本以排除.asp、.php和.txt的访问记录：

#!/bin/bash

# 读取特别注意的列表
while read line
do
    # 统计不含有.asp、.php以及.txt的访问记录
    r=$(grep "$line" 21check_junrong_if_the_list_is_blocked.txt | grep -Ev '\.asp|\.php|\.txt' | wc -l)
    
    if [ "$r" == "0" ]
    then
        echo "$line was not found num=0"
        echo "000不存在特别注意列表" >> ./tmp/pls_21_tebie_bucunzai_ip_$(date +%Y%m%d)
        echo "$line" >> ./tmp/pls_21_tebie_bucunzai_ip_$(date +%Y%m%d)
    else
        echo "$line is found num>=1"
        aa=$(grep "$line" 21check_junrong_if_the_list_is_blocked.txt | grep -Ev '\.asp|\.php|\.txt')
        echo "000以下特别注意的列表" >> ./tmp/pls_21_tebie_cunzai_url_$(date +%Y%m%d)
        echo "$aa" >> ./tmp/pls_21_tebie_cunzai_url_$(date +%Y%m%d)
        # 在待检查的列表中删除含有特别注意内容的行
        sed -i "/$line/d" 21check_junrong_if_the_list_is_blocked.txt
    fi
done < ./tmp/pls_21_tebiezhuyi_$(date +%Y%m%d).txt

# 统计21check_junrong_if_the_list_is_blocked.txt 中的访问URL是否含有upload关键字的(文件是.asp和.php以及.txt的不统计)
grep 'upload' 21check_junrong_if_the_list_is_blocked.txt | grep -Ev '\.asp|\.php|\.txt' >> ./tmp/pls_21_tebie_cunzai_url_$(date +%Y%m%d)

解释

1. 排除特定扩展名的记录：

   • 使用grep -Ev '\.asp|\.php|\.txt'来排除包含.asp、.php和.txt扩展名的记录。
   • -E选项启用扩展正则表达式，-v选项表示排除匹配的行。

2. 修改统计部分：

   • 将原来的grep "$line" 21check_junrong_if_the_list_is_blocked.txt | wc -l替换为grep "$line" 21check_junrong_if_the_list_is_blocked.txt | grep -Ev '\.asp|\.php|\.txt' | wc -l。

3. 修改特别注意列表部分：

   • 将原来的aa=$(grep "$line" 21check_junrong_if_the_list_is_blocked.txt)替换为aa=$(grep "$line" 21check_junrong_if_the_list_is_blocked.txt | grep -Ev '\.asp|\.php|\.txt')。

4. 统计含有upload关键字的记录：

   • 直接使用grep 'upload' 21check_junrong_if_the_list_is_blocked.txt | grep -Ev '\.asp|\.php|\.txt'来过滤并输出到指定文件。

这样修改后，脚本会排除带有.asp、.php和.txt扩展名的访问记录，并只处理其他记录。

结合GPT给出回答如下请题主参考
在CentOS 7.9上排除特定的访问记录内容，可以通过使用rsyslog工具和正则表达式来实现。rsyslog是一个强大的系统日志处理工具，可以过滤和修改日志消息。

以下是一个简单的脚本，用于排除包含特定内容的访问记录：

1. 确保系统已安装rsyslog工具：

   sudo yum install rsyslog -y
   

2. 编辑rsyslog配置文件/etc/rsyslog.conf：

   sudo vi /etc/rsyslog.conf
   

3. 在配置文件的末尾添加以下内容，用于定义过滤规则：

   :msg, contains, "特定内容" ~
   

   这个规则将过滤掉包含"特定内容"的日志消息。

4. 保存并关闭文件。

5. 重启rsyslog服务以使更改生效：

   sudo systemctl restart rsyslog
   

这样，rsyslog将不再记录包含特定内容的访问记录。

请注意，这只是一个简单的示例脚本，用于演示如何排除特定的访问记录内容。具体的正则表达式和过滤规则应根据实际需求进行调整。

另外，也可以使用awk命令来排除特定内容的访问记录。以下是一个示例脚本，使用awk命令过滤日志文件并将结果输出到新文件：

#!/bin/bash

# 定义要排除的特定内容
exclude_string="特定内容"

# 定义日志文件路径
log_file="/var/log/access.log"

# 定义输出文件路径
output_file="/var/log/access_filtered.log"

# 使用awk过滤日志文件
awk -v exclude="$exclude_string" '!($0 ~ exclude)' $log_file > $output_file

将上述脚本保存为一个.sh文件，并通过以下命令执行：

bash script.sh

这样，脚本将从/var/log/access.log文件中排除包含"特定内容"的行，并将结果输出到/var/log/access_filtered.log文件中。

需要注意的是，以上脚本仅适用于文本类型的日志文件，对于二进制格式的日志文件不能直接使用。对于二进制格式的日志文件，可以考虑使用专门的日志解析工具进行处理。

希望以上信息对您有帮助！

参考gpt
要排除文件名以 .asp、.php 和 .txt 结尾的访问记录，可以使用 grep 命令的反向匹配（即 -v 选项），结合正则表达式来排除这些特定文件。以下是修改后的脚本：

#!/bin/bash

# 创建特定关注列表文件名
attention_list="./tmp/pls_21_tebiezhuyi_$(date +%Y%m%d).txt"

# 创建特定不存在列表文件名
not_exist_file="./tmp/pls_21_tebie_bucunzai_ip_$(date +%Y%m%d)"
exist_file="./tmp/pls_21_tebie_cunzai_url_$(date +%Y%m%d)"

# 创建检查列表文件名
check_list="21check_junrong_if_the_list_is_blocked.txt"

# 特定排除的文件扩展名
exclude_patterns="\.\(asp\|php\|txt\)$"

# 清空不存在和存在的输出文件
> "$not_exist_file"
> "$exist_file"

while read -r line
do
    r=$(grep -E "$line" "$check_list" | grep -Ev "$exclude_patterns" | wc -l)
    if [ "$r" -eq 0 ]; then
        echo "$line was not found num=0"
        echo "000不存在特别注意列表" >> "$not_exist_file"
        echo "$line" >> "$not_exist_file"
    else
        echo "$line is found num>=1"
        aa=$(grep -E "$line" "$check_list" | grep -Ev "$exclude_patterns")
        echo "000以下特别注意的列表" >> "$exist_file"
        echo "$aa" >> "$exist_file"
        # 在待检查的列表中删除含有特别注意内容的行
        sed -i "/$line/d" "$check_list"
    fi
done < "$attention_list"

说明

1. 排除特定文件扩展名的正则表达式：

   • exclude_patterns="\.\(asp\|php\|txt\)$" 用于匹配 .asp、.php 和 .txt 结尾的文件。

2. **双重 grep**：

   • grep -E "$line" "$check_list" 首先匹配包含 line 的所有行。
   • grep -Ev "$exclude_patterns" 然后排除包含指定文件扩展名的行。

3. 清空输出文件：

   • > 操作符用于在脚本执行前清空指定的输出文件。

4. 确保文件路径和命令的准确性：

   • 检查文件名和路径是否正确。
   • 确保脚本中的所有文件路径都正确无误。

这样可以确保脚本在运行时，正确地排除了 .asp、.php 和 .txt 结尾的访问记录，并将其余符合条件的记录输出到相应的文件中。