• Shell脚本文本三剑客之sed编辑器

    目录

    一、sed编辑器简介

    二、sed工作流程

    三、sed命令

    四、sed命令的使用

    1.sed打印文件内容（p）

    （1）打印文件所有行

    （2）打印文件指定行

    2.sed增加、插入、替换行（a、i、c）

    （1）a操作在指定行下增加行内容

    （2）i操作在指定行上插入行内容 

    （3）c操作指定行替换为一行内容

    4.sed删除文件内容（d）

    5.sed替换文件内容（s）

    6.sed使用命令文件执行（-f）

    7.sed直接修改文件内容（-i）

    8.sed扩充操作

    （1）替换处&代表需要替换内容处中正则表达式的内容

    （2）替换处\1\...\n\ 对应需要替换内容处每个括号中子表达式（可以是字符串和正则）

    （3）大小写转换

    （4）将多个文件内容放在一个文件中 

    （5）复制、剪切粘贴行内容

    一、sed编辑器简介

            sed是一种流编辑器，流编辑器会在编辑器处理数据前基于预先提供的一组规则来编辑数据。

            sed编辑器可以根据命令来处理数据流中的数据，通过多种转换修改流经它的文本，这些命令要么从命令行中输入，要么存储在一个命令文本文件中。

            sed是一个面向字符流的非交互式编辑器，也就是说 sed 不允许用户与它进行交互操作。

    二、sed工作流程

    1.读取

            sed从输入流（文件、管道、标准输入）中读取一行内容并存储到临时的内存缓冲区中（又称模式空间，pattern space)。

    2.执行

            默认情况下，所有的sed命令都在模式空间中顺序地执行，除非指定了行的地址，否则sed命令将会在所有的行上依次执行。

    3.显示

            发送修改后的内容到输出流。在发送数据后，模式空间将会被清空。在所有的文件内容都被处理完成之前，上述过程将重复执行，直至所有内容被处理完。

    注：默认情况下所有的sed命令都是在模式空间内执行的，不会影响到文件中的内容，除非是用重定向输出到文件或使用-i选项。

    三、sed命令

    sed [选项] 操作 文件名...

    常用选项 

    选项作用
    -e表示用指定命令来处理输入的文本文件，一般在执行多个操作命令使用（只有一个操作命令时可省略）。
    -f表示用指定的脚本文件来处理输入的文本文件。
    -n禁止sed编辑自动输出，但可以与p命令一起使用完成输出。
    -i直接修改目标文本文件。

    常用操作

    操作作用
    a插入，在当前行下面增加一行指定内容。
    i插入，在选定行上面插入一行指定内容。
    d删除，删除指定的行。
    s替换，替换选定的字符。
    c替换，将选定行替换为指定内容。
    p打印，如果同时指定行，表示打印指定行，如果不指定行，则表示打印所有内容，如果有非打印字符，则以ASCII码输出。其通常与"-n"选项一起使用。
    =打印行号。
    l打印数据流中的文本和不可打印的ASCII码字符（比如结束符$、制表符\t）。

    执行多个操作的方法

    • sed -e '操作1' -e '操作2' ... 文件名
    • sed -e '操作1;操作2;...' 文件名

    四、sed命令的使用

    1.sed打印文件内容（p）

    （1）打印文件所有行

            sed本身有执行操作后自动打印的效果，-n禁用，p操作也可以打印，并且可以限定条件

    sed ' ' 文件名       

    sed -n 'p' 文件名       

    1. //使用sed自动打印
    2. [root@localhost1 sedtest]#sed '' file1
    3. one
    4. two
    5. three
    6. four
    7. five
    8. six
    9. seven
    10. eight
    11. nine
    12. ten
    13.  
    14. //使用sed的p操作打印
    15. [root@localhost1 sedtest]#sed -n 'p' file1
    16. one
    17. two
    18. three
    19. four
    20. five
    21. six
    22. seven
    23. eight
    24. nine
    25. ten

    （2）打印文件指定行

    sed -n '指定条件p' 文件名

    sed -n '/字符串或正则表达式/p' 文件名

    1. //1.打印指定行（根据行号）
    2. [root@localhost1 sedtest]#sed -n '2p' file1    //打印第2行
    3. two
    4.  
    5. //2.打印指定的多行（根据行号）
    6. [root@localhost1 sedtest]#sed -n '7,$p' file1    //打印从第7行到末尾行
    7. seven
    8. eight
    9. nine
    10. ten
    11.  
    12. //3.打印多行后退出
    13. [root@localhost1 sedtest]#sed '3q' file1    //从头打印3行后退出
    14. one
    15. two
    16. three
    17.  
    18. //4.打印指定行（根据字符串）
    19. [root@localhost1 sedtest]#sed -n '/ve/p' file1    //根据字符串s
    20. five
    21. seven
    22.  
    23. //5.从指定行打印到包含指定字符串的行（根据字符串）    
    24. [root@localhost1 sedtest]#sed -n '7,/nobody/p' /etc/passwd    //打印7到包含nobody的行
    25. shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
    26. halt:x:7:0:halt:/sbin:/sbin/halt
    27. mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
    28. operator:x:11:0:operator:/root:/sbin/nologin
    29. games:x:12:100:games:/usr/games:/sbin/nologin
    30. ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
    31. nobody:x:99:99:Nobody:/:/sbin/nologin
    32.  
    33.  
    34. //6.打印奇偶行
    35. [root@localhost1 sedtest]#sed -n 'n;p' file1    //n表示跳到下一行，先n实现输出偶数行
    36. two
    37. four
    38. six
    39. eight
    40. ten
    41. [root@localhost1 sedtest]#sed -n 'p;n' file1    //后n实现奇数行
    42. one
    43. three
    44. five
    45. seven
    46. nine
    47.  
    48. //7.正则表达式表示
    49. //根据root开头或包含mail的输出行（包含扩展正则时sed一定需要加-r选项）
    50. [root@localhost1 sedtest]#sed -nr '/^root|mail/p' /etc/passwd
    51. root:x:0:0:root:/root:/bin/bash
    52. mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
    53.  
    54. //从第8行打印到包含（r 至少有一个a t）的字符串的行
    55. [root@localhost1 sedtest]#sed -nr '8,/ra{1,}t/p' /etc/passwd
    56. halt:x:7:0:halt:/sbin:/sbin/halt
    57. mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
    58. operator:x:11:0:operator:/root:/sbin/nologin
    59.

    2.sed增加、插入、替换行（a、i、c）

    （1）a操作在指定行下增加行内容

    sed '指定行范围a 指定内容' 文件名

    1. //指定第2行下增加行内容
    2. [root@localhost1 ~]#sed '2a ABC' file1
    3. One Two Three
    4. Four Five Six
    5. ABC
    6. Seven Eight Nine
    7. Ten Eleven Twelve
    8.  
    9. //指定2到4行每行下增加行内容
    10. [root@localhost1 ~]#sed '2,4a ABC' file1
    11. One Two Three
    12. Four Five Six
    13. ABC
    14. Seven Eight Nine
    15. ABC
    16. Ten Eleven Twelve
    17. ABC
    18.

    （2）i操作在指定行上插入行内容 

    sed '指定行范围i 指定内容' 文件名

    1. //指定第2行上插入行内容
    2. [root@localhost1 ~]#sed '2i ABC' file1
    3. One Two Three
    4. ABC
    5. Four Five Six
    6. Seven Eight Nine
    7. Ten Eleven Twelve
    8.  
    9. //指定第1到3行上插入行内容
    10. [root@localhost1 ~]#sed '1,3i ABC' file1
    11. ABC
    12. One Two Three
    13. ABC
    14. Four Five Six
    15. ABC
    16. Seven Eight Nine
    17. Ten Eleven Twelve

    （3）c操作指定行替换为一行内容

     sed '指定行范围c 指定内容' 文件名

    1. //指定第3行替换为指定行内容
    2. [root@localhost1 ~]#sed '3c ABC' file1
    3. One Two Three
    4. Four Five Six
    5. ABC
    6. Ten Eleven Twelve
    7.  
    8. //指定第3到4行替换为指定行内容（多行变为一行）
    9. [root@localhost1 ~]#sed '3,4c ABC' file1
    10. One Two Three
    11. Four Five Six
    12. ABC
    13.  
    14. //指定包含ve的行替换为指定行内容
    15. [root@localhost1 ~]#sed '/ve/c ABC' file1
    16. One Two Three
    17. ABC
    18. ABC
    19. ABC

    4.sed删除文件内容（d）

    sed '指定条件d' 文件名

    sed '/字符串或正则表达式/d' 文件名

    1. //1.删除所有行（根据行号）
    2. [root@localhost1 sedtest]#sed 'd' file1
    3.  
    4. //2.删除指定行（根据行号）
    5. [root@localhost1 sedtest]#sed '1d' file1    //删除第1行
    6. two
    7. three
    8. four
    9. five
    10. six
    11. seven
    12. eight
    13. nine
    14. ten
    15.  
    16. //3.删除指定的多行（根据行号）
    17. [root@localhost1 sedtest]#sed '2,8d' file1    //删除2到8行
    18. one
    19. nine
    20. ten
    21.  
    22. //4.删除空行
    23. [root@localhost1 sedtest]#sed '/^$/d' /etc/fstab
    24. #
    25. # /etc/fstab
    26. # Created by anaconda on Fri Jul 29 21:42:19 2022
    27. #
    28. # Accessible filesystems, by reference, are maintained under '/dev/disk'
    29. # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
    30. #
    31. /dev/mapper/centos-root /                       xfs     defaults        0 0
    32. UUID=552d20a1-63f1-4209-af23-7bcdb31d1c84 /boot                   xfs     defaults        0 0
    33. /dev/mapper/centos-swap swap                    swap    defaults        0 0
    34.  
    35. //5.删除指定的多行（根据字符串）
    36. [root@localhost1 sedtest]#sed '/ve/d' file1    //删除包含ve的行
    37. one
    38. two
    39. three
    40. four
    41. six
    42. eight
    43. nine
    44. ten
    45.  
    46. //6.正则表达式表示
    47. //删除结尾为bash或nologin的行
    48. [root@localhost1 sedtest]#sed -r '/bash$|nologin$/d' /etc/passwd
    49. sync:x:5:0:sync:/sbin:/bin/sync
    50. shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
    51. halt:x:7:0:halt:/sbin:/sbin/halt
    52.  
    53. //7.从包含第1个字符串的行开始删除，到包含第2个字符串的位置停止删除
    54. //（如果找不到第2个字符串的行，则删到最后一行）
    55. [root@localhost1 sedtest]#sed '/one/,/five/d' file1    //从含one的行删到含five的行
    56. six
    57. seven
    58. eight
    59. nine
    60. ten
    61.  
    62. [root@localhost1 sedtest]#sed '/thr/,/no/d' file1    //从含thr的行开始删，匹配不到含no的行，则删到最后
    63. one
    64. two
    65.  
    66.  
    67. //8.反向删除（删除除了包含指定内容的行）
    68. [root@localhost1 sedtest]#sed '/ve/d' file1    //删除除包含ve的行
    69. five
    70. seven
    71.

    5.sed替换文件内容（s）

    sed [选项] '行范围 s/旧字符串/新字符串/替换标记' 文件名

    4种替换标记

    替换标记作用
    数字n表明新字符串将替换第n处匹配的地方
    g表明新字符串将会替换所有匹配的地方
    p打印与替换命令匹配的行，需要在前面加 -n选项
    w将替换的结果写到文件中
    1. //1.不加范围，替换每行查找到的字符串
    2. [root@localhost1 ~]#sed -n 's/root/admin/p' /etc/passwd
    3. admin:x:0:0:root:/root:/bin/bash
    4. operator:x:11:0:operator:/admin:/sbin/nologin
    5.  
    6. //2.指定范围行，在指定行中替换n次（默认1次）
    7. [root@localhost1 ~]#sed -n '/^root/ s/root/abc/p' /etc/passwd
    8. abc:x:0:0:root:/root:/bin/bash
    9. [root@localhost1 ~]#sed -n '/^root/ s/root/abc/2p' /etc/passwd
    10. root:x:0:0:abc:/root:/bin/bash
    11.  
    12. //3.替换行中所有，使用g
    13. [root@localhost1 ~]#sed -n '/^root/ s/root/abc/gp' /etc/passwd
    14. root:x:0:0:root:/abc:/bin/bash
    15.  
    16. //4.指定行s/^/#/可以实现注释行内容
    17. [root@localhost1 ~]#sed '2 s/^/#/' file1
    18. one two three
    19. #four five six
    20. seven eight nine
    21. ten eleven twelve
    22.  
    23. //5.指定行范围替换
    24. [root@localhost1 ~]#sed '1,3 s/^/#/' file1
    25. #one two three
    26. #four five six
    27. #seven eight nine
    28. ten eleven twelve
    29.  
    30. //指定替换除为空可以实现将指定字符串删除
    31. [root@localhost1 ~]#sed 's/#//' /etc/fstab
    32.  
    33.  /etc/fstab
    34.  Created by anaconda on Fri Jul 29 21:42:19 2022
    35.  
    36.  Accessible filesystems, by reference, are maintained under '/dev/disk'
    37.  See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
    38.  
    39. /dev/mapper/centos-root /                       xfs     defaults        0 0
    40. UUID=552d20a1-63f1-4209-af23-7bcdb31d1c84 /boot                   xfs     defaults        0 0
    41. /dev/mapper/centos-swap swap                    swap    defaults        0 0

    6.sed使用命令文件执行（-f）

    1. //编写文件包含sed的操作
    2. [root@localhost1 ~]#vim script.txt
    3. /^$/d
    4. /e$/ s/^/#/
    5. 1,3 s/#//
    6.  
    7. //测试用文件
    8. [root@localhost1 ~]#vim file2
    9. #one
    10. #two
    11. #three
    12. four
    13. five
    14.  
    15.  
    16. six
    17. seven
    18. eight
    19.  
    20. nine
    21. ten
    22.  
    23. //sed指定文件操作
    24. [root@localhost1 ~]#sed -f script.txt file2
    25. #one
    26. two
    27. #three
    28. four
    29. five
    30. six
    31. seven
    32. eight
    33. #nine
    34. ten

    7.sed直接修改文件内容（-i）

    1. //加-i直接对文件进行操作
    2. [root@localhost1 ~]#sed -i '/swap/ s/^/#/' /etc/fstab
    3.  
    4. //注释文件中包含swap的行
    5. [root@localhost1 ~]#vim /etc/fstab
    6. # /etc/fstab
    7. # Created by anaconda on Fri Jul 29 21:42:19 2022
    8. #
    9. # Accessible filesystems, by reference, are maintained under '/dev/disk'
    10. # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
    11. #
    12. /dev/mapper/centos-root /                        xfs     defaults        0 0
    13. UUID=552d20a1-63f1-4209-af23-7bcdb31d1c84 /boot  xfs     defaults        0 0
    14. #/dev/mapper/centos-swap swap                    swap    defaults        0 0

    8.sed扩充操作

    （1）替换处&代表需要替换内容处中正则表达式的内容

    sed [选项] '行范围 s/正则表达式/&/替换标记' 文件名

    1. //这里的&代表.*swap.*匹配到的内容（即包含swap的行内容），在前面加上#可以实现注释行
    2. [root@localhost1 ~]#sed -n 's/.*swap.*/#&/' /etc/fstab
    3. #/dev/mapper/centos-swap swap                    swap    defaults        0 0

    （2）替换处\1\...\n\ 对应需要替换内容处每个括号中子表达式（可以是字符串和正则）

    sed [选项] 's/(表达式1)..(表达式n)/\1\2\...\n/' 文件名

    1. //原文件
    2. [root@localhost1 ~]#cat file3
    3. 123456abcdef
    4.  
    5. //字符串子表达示，"\数字" 一一对应
    6. [root@localhost1 ~]#sed 's/(123)(456)(abc)/\3\2\1/' file3
    7. abc456123def
    8.  
    9. //正则子表达示，"\数字" 一一对应
    10. [root@localhost1 ~]#sed -r 's/([0-9]{6})([a-z]{6})/\2\1/' file3
    11. abcdef123456

    （3）大小写转换

    sed 's/[a-z]/\u&/g' 文件名  （原字符范围前\b实现首字母转大写）

    sed 's/[A-Z]/\l&/g' 文件名

    1. //原文件
    2. [root@localhost1 ~]#cat file1
    3. one two three
    4. four five six
    5. seven eight nine
    6. ten eleven twelve
    7.  
    8. //1.全部转为大写
    9. [root@localhost1 ~]#sed 's/[a-z]/\u&/g' file1
    10. ONE TWO THREE
    11. FOUR FIVE SIX
    12. SEVEN EIGHT NINE
    13. TEN ELEVEN TWELVE
    14.  
    15. [root@localhost1 ~]#sed -i 's/[a-z]/\u&/g' file1
    16.  
    17. //2.全部转为小写
    18. [root@localhost1 ~]#sed 's/[A-Z]/\l&/g' file1
    19. one two three
    20. four five six
    21. seven eight nine
    22. ten eleven twelve
    23.  
    24. //3.锚定首字母，实现首字母大小写转换
    25. [root@localhost1 ~]#sed 's/\b[a-z]/\u&/g' file1
    26. One Two Three
    27. Four Five Six
    28. Seven Eight Nine
    29. Ten Eleven Twelve

    /U/对应子表达式位置数/E   （结合第2条操作实现部分转大小写）

    1. //部分转大小写，实现修改文件前缀名小写转大写
    2. [root@localhost1 ~]#ls *.txt | sed -r 's/(.+)(\.txt)/\u\1\E\2/'    //u转开头
    3. Abc.txt
    4. A.txt
    5. B.txt
    6. Efg.txt
    7. Number.txt
    8. Script.txt
    9.  
    10. [root@localhost1 ~]#ls *.txt | sed -r 's/(.+)(\.txt)/\U\1\E\2/'    //U转全部
    11. ABC.txt
    12. A.txt
    13. B.txt
    14. EFG.txt
    15. NUMBER.txt
    16. SCRIPT.txt

    （4）将多个文件内容放在一个文件中 

    sed -i '$r 文件1' 文件2

    1. //往fa、fb文件输入内容
    2. [root@localhost1 ~]#echo 12345678 > fa
    3. [root@localhost1 ~]#echo abcdefgh > fb
    4.  
    5. //合并文件内容到fb文件中
    6. [root@localhost1 ~]#sed -i '$r fa' fb
    7. [root@localhost1 ~]#cat fb
    8. abcdefgh
    9. 12345678

    （5）复制、剪切粘贴行内容

    H 复制  ； G 粘贴

    1. //原文件
    2. [root@localhost1 ~]#cat file2
    3. zhang san
    4. li si
    5. wang wu
    6. zhao liu
    7. qian qi
    8. zhu ba
    9.  
    10. //1.复制粘贴到末尾
    11. [root@localhost1 ~]#sed '1,2H;$G' file2
    12. zhang san
    13. li si
    14. wang wu
    15. zhao liu
    16. qian qi
    17. zhu ba
    18.  
    19. zhang san
    20. li si
    21.  
    22. //2.剪切粘贴到末尾
    23. [root@localhost1 ~]#sed '1,2{H;d};$G' file2
    24. wang wu
    25. zhao liu
    26. qian qi
    27. zhu ba
    28.  
    29. zhang san
    30. li si

  • 相关阅读:
    模拟电子技术一|发展史
    零基础制作预约小程序，微信小程序预约服务指南
    openGauss数据库的安装部署
    520. 检测大写字母
    云原生架构实践前言
    Python 常用的内置模块
    harbor私有仓库部署
    卷积神经网络 -多输入多输出通道
    Convai：让虚拟游戏角色更智能的对话AI人工智能平台
    javaweb企业项目管理系统
  • 原文地址：https://blog.csdn.net/weixin_58544496/article/details/126698478