sed使用小结-创新互联

对于行处理的工具，sed绝对是选的。
sed处理文本过程如下：

创新互联服务紧随时代发展步伐，进行技术革新和技术进步，经过10年的发展和积累，已经汇集了一批资深网站策划师、设计师、专业的网站实施团队以及高素质售后服务人员，并且完全形成了一套成熟的业务流程，能够完全依照客户要求对网站进行网站设计、成都网站制作、建设、维护、更新和改版，实现客户网站对外宣传展示的首要目的，并为客户企业品牌互联网化提供全面的解决方案。

sed一次处理一行内容,处理时,先读入一行,去掉尾部换行符,存入pattern space,执行编辑命令. 
处理完毕,除非加了-n参数,把现在的pattern space打印出来,在后边打印曾去掉的换行符. 
把pattern space内容给hold space,把pattern space置空,接着读下一行,处理下一行.

这让人感觉很抽象，sedsed的工具就是为了展现sed处理过程的。sedsed安装和使用都很简单，为了更好理解sed，装上sedsed工具是很有必要的。

wget http://aurelio.net/sedsed/sedsed-1.0
touch /usr/local/bin/sedsed
cat sedsed-1.0 >> /usr/local/bin/sedsed
chmod 755 /usr/local/bin/sedsed

用法如下

usage: sedsed OPTION [-e sedscript] [-f sedscriptfile] [inputfile] 
OPTIONS: 
     -f, --file          add file contents to the commands to be parsed 
     -e, --expression    add the script to the commands to be parsed 
     -n, --quiet         suppress automatic printing of pattern space 
         --silent        alias to --quiet 
     -d, --debug         debug the sed script 
         --hide          hide some debug info (options: PATT,HOLD,COMM) 
         --color         shows debug output in colors (default: ON) 
         --nocolor       no colors on debug output 
         --dump-debug    dumps to screen the debugged sed script 
         --emu           emulates GNU sed (INCOMPLETE) 
         --emudebug      emulates GNU sed debugging the sed script (INCOMPLETE) 
     -i, --indent        script beautifier, prints indented and 
                         one-command-per-line output do STDOUT 
         --prefix        indent prefix string (default: 4 spaces) 
     -t, --tokenize      script tokenizer, prints extensive 
                         command by command information 
     -H, --htmlize       converts sed script to a colorful HTML page 
-f选项和sed的-f选项一样 
-d打开debug，其中--hide表示隐藏指定的内容;如--hide=hold表示隐藏的保留空间缓冲区的内容 
-i 的--indent 格式化复杂的sed脚本变成更加人性化的脚本

先看个简单的例子：
[root@localhost ~]# cat 1.txt
linux
centos
redhat
linux
ubuntu
fedora
把linux换成debian，下面给出三种处理方式：sed处理；sedsed -d 和sedsed -d --hide

[root@localhost ~]# sed 's/linux/debian/g' 1.txt
debian 
centos 
redhat 
debian 
ubuntu 
fedora 
[root@localhost ~]# sedsed -d  's/linux/debian/g' 1.txt
PATT:linux$ 
HOLD:$ 
COMM:s/linux/debian/g 
PATT:debian$ 
HOLD:$ 
debian 
PATT:centos$ 
HOLD:$ 
COMM:s/linux/debian/g 
PATT:centos$ 
HOLD:$ 
centos 
PATT:redhat$ 
HOLD:$ 
COMM:s/linux/debian/g 
PATT:redhat$ 
HOLD:$ 
redhat 
PATT:linux$ 
HOLD:$ 
COMM:s/linux/debian/g 
PATT:debian$ 
HOLD:$ 
debian 
PATT:ubuntu$ 
HOLD:$ 
COMM:s/linux/debian/g 
PATT:ubuntu$ 
HOLD:$ 
ubuntu 
PATT:fedora$ 
HOLD:$ 
COMM:s/linux/debian/g 
PATT:fedora$ 
HOLD:$ 
fedora 
[root@localhost ~]# sedsed -d  --hide=hold 's/linux/debian/g' 1.txt
PATT:linux$ 
COMM:s/linux/debian/g 
PATT:debian$ 
debian 
PATT:centos$ 
COMM:s/linux/debian/g 
PATT:centos$ 
centos 
PATT:redhat$ 
COMM:s/linux/debian/g 
PATT:redhat$ 
redhat 
PATT:linux$ 
COMM:s/linux/debian/g 
PATT:debian$ 
debian 
PATT:ubuntu$ 
COMM:s/linux/debian/g 
PATT:ubuntu$ 
ubuntu 
PATT:fedora$ 
COMM:s/linux/debian/g 
PATT:fedora$ 
fedora

其中：
PATT：sedsed输出显示模式空间缓冲区的内容
COMM：显示正在执行的命令
HOLD：显示hold sapce缓冲区的内容

sed的增删改查
sed用于删除操作的是：d和D
命令"d"作用是删除模式空间的内容,然后读入新的行,sed脚本从头再次开始执行.
命令"D"的不同之处在于它删除的是直到第一个内嵌换行符为止的模式空间的一部分,但是不会读入新的行,脚本将回到开始对剩下内容进行处理.
看个例子

[root@localhost ~]# cat 2.txt
This line is followed by 1 blank line. 
This line is followed by 2 blank line. 
This line is followed by 3 blank line. 
This line is followed by 4 blank line. 
This is the end.

[root@localhost ~]# sed '/^$/{N;/^\n$/D}' 2.txt
This line is followed by 1 blank line. 
This line is followed by 2 blank line. 
This line is followed by 3 blank line. 
This line is followed by 4 blank line. 
This is the end. 
[root@localhost ~]# sed '/^$/{N;/^\n$/d}' 2.txt
This line is followed by 1 blank line. 
This line is followed by 2 blank line. 
This line is followed by 3 blank line. 
This line is followed by 4 blank line. 
This is the end.

用sedsed 打开debug看看执行过程 //后面的内容是我注释的

[root@localhost ~]# sedsed -d  '/^$/{N;/^\n$/D}' 2.txt
PATT:This line is followed by 1 blank line.$  //pattern空间读入第一行内容 
HOLD:$                                        //hold空间开始为空 
COMM:/^$/ {            //正在执行的命令,判断是否为空行，很明显不是，所有不执行后面的命令，执行的结果送往屏幕并把结果给hold space. 
PATT:This line is followed by 1 blank line.$ 
HOLD:$ 
This line is followed by 1 blank line. 
PATT:$                //pattern空间读入第二行 
HOLD:$                //hold空间开始还是为空 
COMM:/^$/ {           //正在执行的命令,判断是否为空行，很明显是，所有执行后面的命令 
COMM:N                //执行N读取下一行进入pattern空间 
PATT:\nThis line is followed by 2 blank line.$ 
HOLD:$               //此时hold空间还是为空 
COMM:/^\n$/ D        //对pattern空间继续执行后面的命令：如果是空行，执行D命令，很明显不是，所有不执行。 
PATT:\nThis line is followed by 2 blank line.$  //pattern空间内容 
HOLD:$              //hold空间内容，任然为空。 
COMM:} 
PATT:\nThis line is followed by 2 blank line.$ 
HOLD:$ 
This line is followed by 2 blank line.  //由于没有满足执行条件，继续读取下一行。 
PATT:$           //空行,满足执行条件，执行命令 
HOLD:$ 
COMM:/^$/ {
COMM:N 
PATT:\n$ 
HOLD:$ 
COMM:/^\n$/ D    //满足执行D命令条件，删除一空行（现在有两空行） 
PATT:$ 
HOLD:$ 
COMM:/^$/ { 
COMM:N 
PATT:\nThis line is followed by 3 blank line.$ 
HOLD:$ 
COMM:/^\n$/ D 
PATT:\nThis line is followed by 3 blank line.$ 
HOLD:$ 
COMM:} 
PATT:\nThis line is followed by 3 blank line.$ 
HOLD:$ 
This line is followed by 3 blank line. 
PATT:$         \\空行，满足命令执行条件，执行命令，读取下一行. 
HOLD:$ 
COMM:/^$/ { 
COMM:N 
PATT:\n$ 
HOLD:$ 
COMM:/^\n$/ D  \\满足执行D命令，删除一空行. 
PATT:$         \\空行，满足命令执行条件，执行命令，读取下一行. 
HOLD:$ 
COMM:/^$/ { 
COMM:N 
PATT:\n$ 
HOLD:$ 
COMM:/^\n$/ D  \\ \\满足执行D命令，删除一空行. 
PATT:$ 
HOLD:$ 
COMM:/^$/ { 
COMM:N 
PATT:\nThis line is followed by 4 blank line.$ 
HOLD:$ 
COMM:/^\n$/ D 
PATT:\nThis line is followed by 4 blank line.$ 
HOLD:$ 
COMM:} 
PATT:\nThis line is followed by 4 blank line.$ 
HOLD:$ 
This line is followed by 4 blank line. 
PATT:$ 
HOLD:$ 
COMM:/^$/ { 
COMM:N 
PATT:\n$ 
HOLD:$ 
COMM:/^\n$/ D 
PATT:$ 
HOLD:$ 
COMM:/^$/ { 
COMM:N 
PATT:\n$ 
HOLD:$ 
COMM:/^\n$/ D 
PATT:$ 
HOLD:$ 
COMM:/^$/ { 
COMM:N 
PATT:\n$ 
HOLD:$ 
COMM:/^\n$/ D 
PATT:$ 
HOLD:$ 
COMM:/^$/ { 
COMM:N 
PATT:\nThis is the end.$ 
HOLD:$ 
COMM:/^\n$/ D 
PATT:\nThis is the end.$ 
HOLD:$ 
COMM:} 
PATT:\nThis is the end.$ 
HOLD:$ 
This is the end. 
[root@localhost ~]# sedsed -d  '/^$/{N;/^\n$/d}' 2.txt
PATT:This line is followed by 1 blank line.$ 
HOLD:$ 
COMM:/^$/ { 
PATT:This line is followed by 1 blank line.$ 
HOLD:$ 
This line is followed by 1 blank line. 
PATT:$ 
HOLD:$ 
COMM:/^$/ { 
COMM:N 
PATT:\nThis line is followed by 2 blank line.$ 
HOLD:$ 
COMM:/^\n$/ d 
PATT:\nThis line is followed by 2 blank line.$ 
HOLD:$ 
COMM:} 
PATT:\nThis line is followed by 2 blank line.$ 
HOLD:$ 
This line is followed by 2 blank line. 
PATT:$          \\空行，满足命令执行条件，执行命令，读取下一行. 
HOLD:$ 
COMM:/^$/ { 
COMM:N 
PATT:\n$ 
HOLD:$ 
COMM:/^\n$/ d   \\满足执行d命令条件，此时模式空间的两个空行都被删除. 
PATT:This line is followed by 3 blank line.$ 
HOLD:$ 
COMM:/^$/ { 
PATT:This line is followed by 3 blank line.$ 
HOLD:$ 
This line is followed by 3 blank line. 
PATT:$ 
HOLD:$ 
COMM:/^$/ { 
COMM:N 
PATT:\n$ 
HOLD:$ 
COMM:/^\n$/ d 
PATT:$ 
HOLD:$ 
COMM:/^$/ { 
COMM:N 
PATT:\nThis line is followed by 4 blank line.$ 
HOLD:$ 
COMM:/^\n$/ d 
PATT:\nThis line is followed by 4 blank line.$ 
HOLD:$ 
COMM:} 
PATT:\nThis line is followed by 4 blank line.$ 
HOLD:$ 
This line is followed by 4 blank line. 
PATT:$ 
HOLD:$ 
COMM:/^$/ { 
COMM:N 
PATT:\n$ 
HOLD:$ 
COMM:/^\n$/ d 
PATT:$ 
HOLD:$ 
COMM:/^$/ { 
COMM:N 
PATT:\n$ 
HOLD:$ 
COMM:/^\n$/ d 
PATT:This is the end.$ 
HOLD:$ 
COMM:/^$/ { 
PATT:This is the end.$ 
HOLD:$ 
This is the end.

一般情况下，都用d来删除，如：

删除空行： 
sed '/^\s*$/d' filename 
sed '/^[[:space:]]*$/d' filename
用行标示号来删除 
sed  'n1d'  filename   删除第n1行 
sed 'n1,n2d' filename  删除第n1行到n2行间内容（n1<=n2） 
sed  '5,$d' filename   删除第5行以后内容内容 
用特殊匹配来删除，格式如下 
sed '/regular_pattern/d' filename

sed基于行的插入和替换操作是由：a\,i\,c\来完成

a\命令是追加命令,追加将添加新文本到文件中当前行（即读入模式缓冲区中的行）的后面.所追加的文本行位于sed命令的下方另起一行.如果要追加的内容超过一行,则每一行都必须以反斜线结束,最后一行除外.最后一行将以引号和文件名结束. 
i\ 命令是在当前行的前面插入新的文本. 
c\ 用新的文本改变本行的文本

a\和i\用法比较简单，看一个c\的例子

[root@localhost ~]# cat 1.txt
linux 
centos 
redhat 
linux 
ubuntu linux 
fedora 
[root@localhost ~]# sedsed -d '/linux/c\unix' 1.txt
PATT:linux$ 
HOLD:$ 
COMM:/linux/ c\\N\unix 
unix 
PATT:centos$ 
HOLD:$ 
COMM:/linux/ c\\N\unix 
PATT:centos$ 
HOLD:$ 
centos 
PATT:redhat$ 
HOLD:$ 
COMM:/linux/ c\\N\unix 
PATT:redhat$ 
HOLD:$ 
redhat 
PATT:linux$ 
HOLD:$ 
COMM:/linux/ c\\N\unix 
unix 
PATT:ubuntu linux$ 
HOLD:$ 
COMM:/linux/ c\\N\unix 
unix 
PATT:fedora$ 
HOLD:$ 
COMM:/linux/ c\\N\unix 
PATT:fedora$ 
HOLD:$ 
fedora

sed的替换操作是用的最多的,用sed处理内容,最重要的就是要找特征数据（字符）,并以此为基础处理内容而不会处理的内容过多或者处理不完全.
如最开始的举的把linux换成debian的例子.

sed 的高级运用
打印匹配行号

[root@localhost ~]# cat 1.txt
linux 
centos 
redhat 
linux 
ubuntu linux 
fedora 
[root@localhost ~]# sed -n '/^linux/=' 1.txt 
1 
4 
[root@localhost ~]# sed -n '/^linux/{=;p}' 1.txt 
1 
linux 
4 
linux 
[root@localhost ~]# sedsed -d  -n  '/^linux/{=;p}' 1.txt 
PATT:linux$ 
HOLD:$ 
COMM:/^linux/ { 
COMM:= 
1
PATT:linux$ 
HOLD:$ 
COMM:p 
linux 
PATT:linux$ 
HOLD:$ 
COMM:} 
PATT:linux$ 
HOLD:$ 
PATT:centos$ 
HOLD:$ 
COMM:/^linux/ { 
PATT:centos$ 
HOLD:$ 
PATT:redhat$ 
HOLD:$ 
COMM:/^linux/ { 
PATT:redhat$ 
HOLD:$ 
PATT:linux$ 
HOLD:$ 
COMM:/^linux/ { 
COMM:= 
4
PATT:linux$ 
HOLD:$ 
COMM:p 
linux 
PATT:linux$ 
HOLD:$ 
COMM:} 
PATT:linux$ 
HOLD:$ 
PATT:ubuntu linux$ 
HOLD:$ 
COMM:/^linux/ { 
PATT:ubuntu linux$ 
HOLD:$ 
PATT:fedora$ 
HOLD:$ 
COMM:/^linux/ { 
PATT:fedora$ 
HOLD:$ 
[root@localhost ~]# sedsed -d   '/^linux/{=;p}' 1.txt 
PATT:linux$ 
HOLD:$ 
COMM:/^linux/ { 
COMM:= 
1
PATT:linux$ 
HOLD:$ 
COMM:p 
linux 
PATT:linux$ 
HOLD:$ 
COMM:} 
PATT:linux$ 
HOLD:$ 
linux 
PATT:centos$ 
HOLD:$ 
COMM:/^linux/ { 
PATT:centos$ 
HOLD:$ 
centos 
PATT:redhat$ 
HOLD:$ 
COMM:/^linux/ { 
PATT:redhat$ 
HOLD:$ 
redhat 
PATT:linux$ 
HOLD:$ 
COMM:/^linux/ { 
COMM:= 
4
PATT:linux$ 
HOLD:$ 
COMM:p 
linux 
PATT:linux$ 
HOLD:$ 
COMM:} 
PATT:linux$ 
HOLD:$ 
linux 
PATT:ubuntu linux$ 
HOLD:$ 
COMM:/^linux/ { 
PATT:ubuntu linux$ 
HOLD:$ 
ubuntu linux 
PATT:fedora$ 
HOLD:$ 
COMM:/^linux/ { 
PATT:fedora$ 
HOLD:$ 
fedora

上面sedsed的调试显示了sed -n的参数的实际实现：禁止自动打印模式空间内容.

sed 多行处理

sed多行处理是通过n和N来实现 
多行Next(N)命令是相对next(n)命令的,后者将模式空间中的内容输出,然后把下一行读入模式空间,但是脚本并不会转移到开始而是从当前的n命令之后开始执行; 而前者则保存原来模式空间中的内容，再把新的一行读入，两者之间依靠一个换行符"\n"来分隔。在N命令执行后，控制流将继续用N命令以后的命令对模式空间进行处理. 
值得注意的是,在多行模式中,特殊字符"^"和"$"匹配的是模式空间的最开始与最末尾,而不是内嵌"\n"的开始与末尾.

如下现在要将"Owner and Operator Guide"替换为"Installation Guide"：

[root@localhost ~]# cat 3.txt
Consult Section 3.1 in the Owner and Operator 
Guide for a description of the tape drives 
available on your system. 
[root@localhost ~]# sedsed -d --hide=hold '/Operator$/{n;s/Owner and Operator\nGuide /Installation Guide\n/}' 3.txt 
PATT:Consult Section 3.1 in the Owner and Operator$ 
COMM:/Operator$/ { 
COMM:n 
Consult Section 3.1 in the Owner and Operator 
PATT:Guide for a description of the tape drives$ 
COMM:s/Owner and Operator\nGuide /nstallation Guide\n/ 
PATT:Guide for a description of the tape drives$ 
COMM:} 
PATT:Guide for a description of the tape drives$ 
Guide for a description of the tape drives 
PATT:available on your system.$ 
COMM:/Operator$/ { 
PATT:available on your system.$ 
available on your system. 
[root@localhost ~]# sedsed -d --hide=hold '/Operator$/{N;s/Owner and Operator\nGuide /Installation Guide\n/}' 3.txt 
PATT:Consult Section 3.1 in the Owner and Operator$ 
COMM:/Operator$/ { 
COMM:N 
PATT:Consult Section 3.1 in the Owner and Operator\nGuide for a descr\ 
iption of the tape drives$ 
COMM:s/Owner and Operator\nGuide /nstallation Guide\n/ 
PATT:Consult Section 3.1 in the nstallation Guide\nfor a description \ 
of the tape drives$ 
COMM:} 
PATT:Consult Section 3.1 in the nstallation Guide\nfor a description \ 
of the tape drives$ 
Consult Section 3.1 in the nstallation Guide 
for a description of the tape drives 
PATT:available on your system.$ 
COMM:/Operator$/ { 
PATT:available on your system.$ 
available on your system.

sed用于把文本读入模式空间或者模式空间的内容写入到指定文本中.
sed把模式空间的内容写入到指定文本中：由w和W实现
w filename：Write the current pattern space to filename.
W filename：Write the first line of the current pattern space to filename.
如下:

[root@localhost ~]# cat 1.txt
linux server 
centos 
redhat 
linux web 
ubuntu linux 
fedora 
[root@localhost ~]# sed  -n '/^linux/,/^linux/w a.txt' 1.txt
[root@localhost ~]# cat a.txt 
linux server 
centos 
redhat 
linux web

sed把文本读入模式空间由r实现

[root@localhost ~]# cat 1.txt
linux server 
centos 
redhat 
linux web 
ubuntu linux 
fedora 
[root@localhost ~]# sed  '/centos/r /root/1.txt' 1.txt
linux server 
centos 
linux server 
centos 
redhat 
linux web 
ubuntu linux 
fedora 
redhat 
linux web 
ubuntu linux 
fedora

sed高级流控制

b 分支：无条件转移 ,分支到脚本中带有标记的地方,如果分支不存在则分支到脚本的末尾. 
t 有条件的转移,if分支,从最后一行开始,条件一旦满足或者T，t命令,将导致分支到带有标号的命令处,或者到脚本的末尾. 
T 有条件的转移,错误分支,从最后一行开始,一旦发生错误或者T,t命令,将导致分支到带有标号的命令处,或者到脚本的末尾.

[root@localhost ~]# cat 4.txt
a b c a d a a a
s d d d x s a
h j s a s h j h
j d f j a s j k j
要求：删除行内与第一列字符重复的字符，shell、sed、awk各写一个。达到这个结果：
a b c d
s d d d x a
h j s a s j
j d f a s k
这个例子来自http://blog.chinaunix.net/uid-10540984-id-3086644.html

[root@localhost ~]# sed ':a;s/^\(.\)\(.*\) \1/\1\2/;ta' 4.txt
a b c d 
s d d d x a 
h j s a s j 
j d f a s k 
[root@localhost ~]# sedsed -d --hide=hold ':a;s/^\(.\)\(.*\) \1/\1\2/;ta' 4.txt
PATT:a b c a d a a a$ 
COMM::a 
COMM:s/^\(.\)\(.*\) \1/\1\2/ 
PATT:a b c a d a a$ 
COMM:t a 
COMM:s/^\(.\)\(.*\) \1/\1\2/ 
PATT:a b c a d a$ 
COMM:t a 
COMM:s/^\(.\)\(.*\) \1/\1\2/ 
PATT:a b c a d$ 
COMM:t a 
COMM:s/^\(.\)\(.*\) \1/\1\2/ 
PATT:a b c d$ 
COMM:t a 
COMM:s/^\(.\)\(.*\) \1/\1\2/ 
PATT:a b c d$ 
COMM:t a 
PATT:a b c d$ 
a b c d 
PATT:s d d d x s a$ 
COMM::a 
COMM:s/^\(.\)\(.*\) \1/\1\2/ 
PATT:s d d d x a$ 
COMM:t a 
COMM:s/^\(.\)\(.*\) \1/\1\2/ 
PATT:s d d d x a$ 
COMM:t a 
PATT:s d d d x a$ 
s d d d x a 
PATT:h j s a s h j h$ 
COMM::a 
COMM:s/^\(.\)\(.*\) \1/\1\2/ 
PATT:h j s a s h j$ 
COMM:t a 
COMM:s/^\(.\)\(.*\) \1/\1\2/ 
PATT:h j s a s j$ 
COMM:t a 
COMM:s/^\(.\)\(.*\) \1/\1\2/ 
PATT:h j s a s j$ 
COMM:t a 
PATT:h j s a s j$ 
h j s a s j 
PATT:j d f j a s j k j$ 
COMM::a 
COMM:s/^\(.\)\(.*\) \1/\1\2/ 
PATT:j d f j a s j k$ 
COMM:t a 
COMM:s/^\(.\)\(.*\) \1/\1\2/ 
PATT:j d f j a s k$ 
COMM:t a 
COMM:s/^\(.\)\(.*\) \1/\1\2/ 
PATT:j d f a s k$ 
COMM:t a 
COMM:s/^\(.\)\(.*\) \1/\1\2/ 
PATT:j d f a s k$ 
COMM:t a 
PATT:j d f a s k$ 
j d f a s k 
附加两种其他的解法 
while read a b;do echo "$a ${b// $a}";done <4.txt
awk '{a=$1;gsub(" ?"a,"");print a""$0}' 4.txt

另外有需要云服务器可以了解下创新互联cdcxhl.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。

标题名称：sed使用小结-创新互联
转载来源：http://bjjierui.cn/article/djphes.html