文本处理三贱客之—sed

三贱客之sed 1，grep：文本搜索工具 grep家族有三款工具：egrep,fgrep sed：全程stream editor，sed是流编辑器 sed和其他一样，只是把文本提取到内存中来进行编辑 awk（gawk）：文本格式化工具，也可以称作文本报告生成器 以上三者在功能有重叠的地方，但是他们还是有各自的特色 sed命令： 在sed命令介绍之前，先看看正则表达式元字符： 字符匹配：., 任意单个字符，[]指定范围内单个字符，[^]指定范围外单个字符 次数指定：*前面字符任意次，\？零次或多次，\+一 次或多次 ，\{m,n}匹配指定次数，\{n\}精确匹配n此 位置锚定：^行首,$行尾,\<单词首部,\>单词尾部 分组和引用：\（）分组，\1,\2,...引用 或者，多选一：a|b|c 再来扯一扯vim编辑器中的查找替换用法： s：用法格式，首先要地址定界s/查找范围，要查找的内容/替换为的内容 要查找的内容:可使用正则表达式 替换为的内容：不支持正则表达式，但支持使用引用前面正则表达式分组中的内容 地址定界：%全文查找，startline，endline，起始结束 也可以这样写/pat1/,/pat2/ 先看下sed语法格式 sed [OPTION]... {script-only-if-no-other-script} [input-file].. 选项 -r:支持扩展正则表达式元字符，不加-r就是基本表达式 -n：静默模式 -e：script -e script2 -e 。。。:指定多脚本运行 -f：/path/to/script_file：从指定文件中读取脚本并运行 -i:直接编辑源文件 地址定界： #: 指定行； $: 最后一行； /regexp/：任何能够被regexp所匹配到的行； \%regexp%：同上，只不过换作%为regexp边界符； /regexp/| ： \%regexp%| ：匹配时忽略字符大小写； startline,endline： #,/regexp/：从#行开始，到第一次被/regexp/所匹配到的行结束，中间的所有行； #,# /regexp1/,/regexp2/：从第一次被/regexp1/匹配到的行开始，到第一次被/regexp2/匹配到的行结束，中间的所有行； #,+n：从#行开始，一直到向下的n行； first~step：指定起始行，以及步长； sed概念： 当启动sed命令后，它会在内容中找一段空间，这段空间是处理sed“输入输出”的的空间，我们可以称他为“工作空间”，它会从源文件中逐行读取到sed的工作空间，（如果没有定界）读取一行内容，而后将结果打印至屏幕，而这个时候sed的这段内存空间叫做sed模式空间 sed基本工作机制： 每次读取一行文件至“模式空间（pattern space）”中，在模式空间中完成处理，不修改源文件，将处理结果输出至标准输出设备 sed编辑命令： d:删除模式空间中的行 示例：删除/etc/fstab第一行和第二行 [root@node1 clean-simple-white]# sed '1,2d' /etc/fstab # /etc/fstab # Created by anaconda on Sat Apr 4 08:45:23 2015 # # Accessible filesystems, by reference, are maintained under '/dev/disk' # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info # UUID=4fb479dc-0364-41ac-a12d-841210d879a4 / ext4 defaults 1 1 UUID=30d2724b-a9be-4e32-8b9a-cf731a92173a /boot ext4 defaults 1 2 UUID=7568de25-a229-43cb-952a-ca5fd83bbdcc swap swap defaults 0 0 tmpfs /dev/shm tmpfs defaults 0 0 devpts /dev/pts devpts gid=5,mode=620 0 0 sysfs /sys sysfs defaults 0 0 proc /proc proc defaults 0 0 如果加上-n 那就静默模式你是看不到结果的，并且cat也是看不到结果的 sed -n '1,2d' /etc/fstab -i -i如果和-n是不能一起使用的 复制一个fstab [root@node1 clean-simple-white]# cp /etc/fstab /tmp/ 修改源文件 [root@node1 clean-simple-white]# sed -i '1,3d' /tmp/fstab 在查看 [root@node1 clean-simple-white]# cat /tmp/fstab # Created by anaconda on Sat Apr 4 08:45:23 2015 # # Accessible filesystems, by reference, are maintained under '/dev/disk' # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) 地址定界： #：指定行 $:最后一行‘ /regexp/：任何能够被regexp所匹配到的行 \%regexp%:同上,只不过换做%为regexp边界符； /regexp/|:匹配时忽略字符大小写：\ startlone,endline： #,/regexp/：这表示从#行开始，到第一次被/regexp/所匹配到的行结束，中间的所有行 #，#：某行开始某行结束 /regexp1/,/regexp2/：从第一次被/regexp1/匹配到的行开始，到第一次被/regexp2/匹配到的行结束, #,+n:从#行开始，一直到向下的n行： first~step:指定起始行，以及步长: # 示例: 删除所有以#开头的行 [root@node1 clean-simple-white]# sed '/#/d' /tmp/fstab UUID=4fb479dc-0364-41ac-a12d-841210d879a4 / ext4 defaults 1 1 UUID=30d2724b-a9be-4e32-8b9a-cf731a92173a /boot ext4 defaults 1 2 UUID=7568de25-a229-43cb-952a-ca5fd83bbdcc swap swap defaults 0 0 tmpfs /dev/shm tmpfs defaults 0 0 devpts /dev/pts devpts gid=5,mode=620 0 0 sysfs /sys sysfs defaults 0 0 proc /proc proc defaults 0 0 [root@node1 clean-simple-white]# =：打印行号 [root@node1 clean-simple-white]# sed '=' /tmp/fstab 1 # Created by anaconda on Sat Apr 4 08:45:23 2015 2 # 3 # Accessible filesystems, by reference, are maintained under '/dev/disk' 4 # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info 5 # 6 UUID=4fb479dc-0364-41ac-a12d-841210d879a4 / ext4 defaults 1 1 7 UUID=30d2724b-a9be-4e32-8b9a-cf731a92173a /boot ext4 default '/^#/=' 只打印#开头的行 [root@node1 clean-simple-white]# sed '=' /tmp/fstab 1 # Created by anaconda on Sat Apr 4 08:45:23 2015 2 # 3 # Accessible filesystems, by reference, are maintained under '/dev/disk' 4 # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info 5 # 6 UUID=4fb479dc-0364-41ac-a12d-841210d879a4 / ext4 defaults 1 1 7 UUID=30d2724b-a9be-4e32-8b9a-cf731a92173a /boot ext4 default a:在第三行添加\new mark 1， sed '1a \new mark' /tmp/fstab [root@localhost rsyslog-mysql-5.8.10]# sed '3a \new mark' /tmp/fstab # # /etc/fstab new mark # Created by anaconda on Mon Apr 13 14:19:18 2015 # # Accessible filesystems, by reference, are maintained under '/dev/disk' # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info # /dev/mapper/vg0-root / ext4 defaults 1 1 UUID=90679dfa-480a-47fd-be39-e243d7a73a78 /boot ext4 defaul 2， 只要是#前都加\new mark [root@localhost rsyslog-mysql-5.8.10]# sed '/^#/a \new mark' /tmp/fstab # new mark # /etc/fstab new mark # Created by anaconda on Mon Apr 13 14:19:18 2015 new mark # new mark # Accessible filesystems, by reference, are maintained under '/dev/disk' new mark # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info new mark # new mark /dev/mapper/vg0-root / ext4 defaults 1 1 UUID=90679dfa-480a-47fd-be39-e243d7a73a78 /boot ext4 defaults n：追加 在指定行附加多行：\new mark\nsedond line\nthird [root@localhost rsyslog-mysql-5.8.10]# sed '1a \new mark\nsedond line\nthird line' /tmp/fstab new mark sedond line third line # # /etc/fstab # Created by anaconda on Mon Apr 13 14:19:18 2015 # # Accessible filesystems, by reference, are maintained under '/dev/disk' # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info # /dev/mapper/vg0-root / ext4 defaults 1 1 UUID=90679dfa-480a-47fd-be39-e243d7a73a78 /boot ext4 defaults 1 2 i：插入 同上 -n于p 1,示例：将5和7行打印一份 sed '5,7p' /tmp/fstab [root@localhost rsyslog-mysql-5.8.10]# sed '5,7p' /tmp/fstab # # /etc/fstab # Created by anaconda on Mon Apr 13 14:19:18 2015 # # # Accessible filesystems, by reference, are maintained under '/dev/disk' # Accessible filesystems, by reference, are maintained under '/dev/disk' # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info 2,示例-n ：将5和7行打印一份，其他静默 [root@localhost rsyslog-mysql-5.8.10]# sed -n '5,7p' /tmp/fstab # # Accessible filesystems, by reference, are maintained under '/dev/disk' # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info [root@localhost rsyslog-mysql-5.8.10]# c：替换指定的行 用指定文本替换 sed -n '5,7c' \new test' \tmp\fstab 示例： (1) 删除/boot/grub/grub.conf文件中所有行的行首的空白字符； sed 's/^[[:space:]]\+//' /boot/grub/grub.conf (2) 删除/etc/fstab文件中所有以#开头，后跟至少一个空白字符的行的行首的#和空白字符； sed 's/^#[[:space:]]\+//' /etc/fstab (3) 把/etc/fstab文件的奇数行另存为/tmp/fstab.3； sed '1~2w /tmp/fstab.3' /etc/fstab (4) echo一个文件路径给sed命令，取出其基名；进一步地，取出其路径名； 取基名：echo "/etc/sysconfig/network-scripts/" | sed 's@^.*/\([^/]\+\)/\?$@\1@' 取路径名：echo "/etc/sysconfig/network-scripts/" | sed 's@[^/]\+/\?$@@' sed命令另一个称作"hold space"的内存空间： 这种模式一般不会被使用 高级命令： h：用模式空间中的内容覆盖保持空间的内容； H：把模式空间中的内容追加至保持空间中内容的后面； g：从保持空间中取到其内容，并将其覆盖模式空间中的内容； G：从保持空间中取到其内容，并将其追加在模式空间中的内容的后面； x：把保持空间和模式空间中的进行交换； n：读取匹配到的行的下一行至模式空间；（会覆盖模式空间中的原有内容）； N：读取匹配到的行的下一行至模式空间，追加在模式空间中原有内容的后面； d：删除模式空间中的内容； D：删除多行模式空间中的首行； 注意：命令功能可使用!取反；分号可用于分隔脚本 示例： sed 'G' /etc/issue： 在文件中的每行后方添加空白行； [root@www ~]# sed 'G' /etc/issue CentOS release 6.6 (Final) Kernel \r on an \m LinuxEA Education Learning Services http://www.linuxea.com [root@www ~]# cat /etc/issue CentOS release 6.6 (Final) Kernel \r on an \m LinuxEA Education Learning Services http://www.linuxea.com [root@www ~]# sed '$!d' /etc/fstab：保留最后一行； [root@www ~]# cat /etc/fstab # # /etc/fstab # Created by anaconda on Mon Apr 13 14:19:18 2015 # # Accessible filesystems, by reference, are maintained under '/dev/disk' # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info # /dev/mapper/vg0-root / ext4 defaults 1 1 UUID=90679dfa-480a-47fd-be39-e243d7a73a78 /boot ext4 defaults 1 2 /dev/mapper/vg0-usr /usr ext4 defaults 1 2 /dev/mapper/vg0-var /var ext4 defaults 1 2 /dev/mapper/vg0-swap swap swap defaults 0 0 tmpfs /dev/shm tmpfs defaults 0 0 devpts /dev/pts devpts gid=5,mode=620 0 0 sysfs /sys sysfs defaults 0 0 proc /proc proc defaults 0 0 172.16.249.249:/shared/nfs/ /mnt ext4 defaults 0 0 [root@www ~]# sed '/^$/d;G' /etc/issue: 保证指定的文件每一行后方有且只有一个空白行； [root@www ~]# sed '/^$/d;G' /etc/issue CentOS release 6.6 (Final) Kernel \r on an \m LinuxEA Education Learning Services http://www.linuxea.com [root@www ~]# tail /etc/issue CentOS release 6.6 (Final) Kernel \r on an \m LinuxEA Education Learning Services http://www.linuxea.com [root@www ~]# sed 'n;d' /etc/issue：保留奇数行； [root@www ~]# sed 'n;d' /etc/issue CentOS release 6.6 (Final) http://www.linuxea.com [root@www ~]# [root@www ~]# tail /etc/issue CentOS release 6.6 (Final) Kernel \r on an \m LinuxEA Education Learning Services http://www.linuxea.com sed -n '1!G;h;$p' /etc/issue；反转整个文件 [root@www ~]# sed -n '1!G;h;$p' /etc/issue http://www.linuxea.com LinuxEA Education Learning Services Kernel \r on an \m CentOS release 6.6 (Final) sed '$!N;$!D' /etc/issue：显示最后两行 [root@www ~]# sed '$!N;$!D' /etc/issue http://www.linuxea.com [root@www ~]# 也可以直接：tail -2 [root@www ~]# tail -2 /etc/issue http://www.linuxea.com [root@www ~]# 哈哈，这篇文字不要太水啊。