Linux下常用文本处理命令大全
专注于为中小企业提供成都网站建设、做网站服务,电脑端+手机端+微信端的三站合一,更高效的管理,为中小企业新林免费做网站提供优质的服务。我们立足成都，凝聚了一批互联网行业人才，有力地推动了超过千家企业的稳健成长，帮助中小企业通过网站建设实现规模扩充和转变。
Linux下面有很多经典的非常有用的命令，其中处理文本的命令就有很多。下面就让我们一起看看这些经典的Linux文本处理命令有哪些吧。
一. sort
文件排序, 通常用在管道中当过滤器来使用. 这个命令可以依据指定的关键字或指定的字符位置, 对文件行进行排序. 使用-m选项, 它将会合并预排序的输入文件. 想了解这个命令的全部参数请参考这个命令的info页.
二. tsort
拓扑排序, 读取以空格分隔的有序对, 并且依靠输入模式进行排序.
三. uniq
这个过滤器将会删除一个已排序文件中的重复行. 这个命令经常出现在sort命令的管道后边.
四. expand, unexpand
expand命令将会把每个tab转化为一个空格. 这个命令经常用在管道中.
unexpand命令将会把每个空格转化为一个tab. 效果与expand命令相反.
五. cut
一个从文件中提取特定域的工具. 这个命令与awk中使用的print $N命令很相似, 但是更受限. 在脚本中使用cut命令会比使用awk命令来得容易一些. 最重要的选项就是-d(字段定界符)和-f(域分隔符)选项.
六. paste
将多个文件, 以每个文件一列的形式合并到一个文件中, 合并后文件中的每一列就是原来的一个文件. 与cut结合使用, 经常用于创建系统log文件.
七. join
这个命令与paste命令属于同类命令. 但是它能够完成某些特殊的目地. 这个强力工具能够以一种特殊的形式来合并两个文件, 这种特殊的形式本质上就是一个关联数据库的简单版本.
join命令只能够操作两个文件. 它可以将那些具有特定标记域(通常是一个数字标签)的行合并起来, 并且将结果输出到stdout. 被加入的文件应该事先根据标记域进行排序以便于能够正确的匹配.
八. head
把文件的头部内容打印到stdout上(默认为10行, 可以自己修改). 这个命令有一些比较有趣的选项.
九. tail
将一个文件结尾部分的内容输出到stdout中(默认为10行). 通常用来跟踪一个系统logfile的.修改情况, 如果使用-f选项的话, 这个命令将会继续显示添加到文件中的行.
十. wc
wc可以统计文件或I/O流中的”单词数量”:
十一. fold
将输入按照指定宽度进行折行. 这里有一个非常有用的选项-s, 这个选项可以使用空格进行断行(译者: 事实上只有外文才需要使用空格断行, 中文是不需要的)(请参考例子 12-23和例子 A-1).
十二. fmt
一个简单的文件格式器, 通常用在管道中, 将一个比较长的文本行输出进行”折行”.
十三. col
这个命令用来滤除标准输入的反向换行符号. 这个工具还可以将空白用等价的tab来替换. col工具最主要的应用还是从特定的文本处理工具中过滤输出, 比如groff和tbl. (译者: 主要用来将man页转化为文本.)
十四. column
列格式化工具. 通过在合适的位置插入tab, 这个过滤工具会将列类型的文本转化为”易于打印”的表格式进行输出.
十五. colrm
列删除过滤器. 这个工具将会从文件中删除指定的列(列中的字符串)并且写到文件中, 如果指定的列不存在, 那么就回到stdout. colrm 2 4 filename将会删除filename文件中每行的第2到第4列之间的所有字符. p="" /filename将会删除filename文件中每行的第2到第4列之间的所有字符.
Caution: 如果这个文件包含tab和不可打印字符, 那将会引起不可预期的行为. 在这种情况下, 应该通过管道的手段使用expand和unexpand来预处理colrm.
十六. nl
计算行号过滤器. nl filename将会把filename文件的所有内容都输出到stdout上, 但是会在每个非空行的前面加上连续的行号. 如果没有filename参数, 那么就操作stdin.
nl命令的输出与cat -n非常相似, 然而, 默认情况下nl不会列出空行.
十七. pr
格式化打印过滤器. 这个命令会将文件(或stdout)分页, 将它们分成合适的小块以便于硬拷贝打印或者在屏幕上浏览. 使用这个命令的不同的参数可以完成好多任务, 比如对行和列的操作, 加入行, 设置页边, 计算行号, 添加页眉, 合并文件等等. pr命令集合了许多命令的功能, 比如nl, paste, fold, column, 和expand.
pr -o 5 –width=65 fileZZZ | more 这个命令对fileZZZ进行了比较好的分页, 并且打印到屏幕上. 文件的缩进被设置为5, 总宽度设置为65.
一个非常有用的选项-d, 强制隔行打印(与sed -G效果相同).
十八. gettext
GNU gettext包是专门用来将程序的输出翻译或者本地化为不同国家语言的工具集. 在最开始的时候仅仅支持C语言, 现在已经支持了相当数量的其它程序语言和脚本语言.
想要查看gettext程序如何在shell脚本中使用. 请参考info页.
十九. msgfmt
一个产生二进制消息目录的程序. 这个命令主要用来本地化.
二十. iconv
一个可以将文件转化为不同编码格式(字符集)的工具. 这个命令主要用来本地化.
二十一. recode
可以认为这个命令是上边iconv命令的专业版本. 这个非常灵活的并可以把整个文件都转换为不同编码格式的工具并不是Linux标准安装的一部分.
二十二. TeX, gs
TeX和Postscript都是文本标记语言, 用来对打印和格式化的视频显示进行预拷贝.
TeX是Donald Knuth精心制作的排版系统. 通常情况下, 通过编写脚本的手段来把所有的选项和参数封装起来一起传到标记语言中是一件很方便的事情.
cat命令用于查看纯文本文件(较短的)：
$ cat [选项] 文件
以下是cat命令常用的3个选项：
(1) $ cat -n 文件
-n 表示显示行号。
(2) $ cat -b 文件
-b 表示显示行号，但是不包括空行。
(3) $ cat -A 文件
-A 表示显示出不可见的符号，如空格、tab键等。
more命令用于查看纯文本文件(较长的)：
$ more [选项] 文件
more命令常用的一个参数是"- 数字"，表示预先显示的行数，默认是一页：
$ more -10 文件
head命令用于查看纯文本文档的前N行：
$ head [选项] 文件
(1) $ head -n 10 文件
这个命令表示显示文件的前10行。
(2) $ head -n -10 文件
这个命令表示正常输出，但是不显示最后的10行。
tail命令用于查看纯文本文档的后N行：
$ tail [选项] [文件]
例如，显示文件/etc/passwd的后10行：
$ tail -n 10 /etc/passwd
wc命令用于统计指定文本的行数、字数、字节数：
$ wc [参数] 文本
(1) $ wc -l 文本
-l 参数表示只显示行数。
(2) $ wc -w 文本
-w 参数表示只显示单词数。
(3) $ wc -c 文本
-c 参数表示只显示字节数。
一、vi编辑器有3种基本工作模式
分别是：命令模式、文本输入模式、和末行模式。
第一：命令行模式：
该模式是进入vi编辑器后的默认模式。任何时候，不管用户处于何种模式，按下ESC键即可进入命令模式。在该模式下，用户可以输入vi命令，用户管理自己的文档。此时从键盘上输入的任何字符都被当作编辑命令来解释。若输入的字符是合法的vi命令，则vi在接受用户命令之后完成相应的动作。但需要注意的是，所输入的命令并不回显在屏幕上。若输入的字符不是vi命令，vi会响铃报警。
第二：文本输入模式：
在命令模式下输入命令i、附加命令a、打开命令o、修改命令c、取代命令r或替换命令s都可以进入文本输入模式。在该模式下，用户输入的任何字符都被vi当作文件内容保护起来，并将其显示在屏幕上。在文本输入过程中，若想回到命令模式下，按ESC键即可。
第三：末行模式：
末行模式也称ex转义模式。在命令模式下，用户按“：”键即可进入末行模式下，此时vi会在显示窗口的最后一行（通常也是屏幕的最后一行）显示一个“：”作为末行模式的说明符，等待用户输入命令。多数文件管理命令都是在此模式下执行的（如把编辑缓冲区的内容写到文件中等）。末行命令在执行完后，vi自动回到命令模式。如果要从命令模式转换到编辑模式，可以键入a或者i。如果需要从文本模式返回，则按ESC即可。在命令模式下输入“:”即可切换到末行模式，然后输入命令。
实例演示
首先我们使用命令 vi filename 打开一个文件，这个时候进入到的是命令模式
接下来我们按i，然后键盘随便输入写内容。
然后按ESC重新进入到命令模式。
在命令模式的情况下，我们按：，进入到了末行模式。
我们输入wq!，然后回车，强行保存退出。
下次我们再打开对应文件（可用less filename命令打开），即可看到内容已经更改。
补充：
（1）末行模式下：q! 【强制退出不保存】 q【退出不保存】 wq【退出并保存后面也可以加个！】
（2）如果你不想保存直接退出有可以在命令模式下使用“ctrl+z”快捷键或者按住“shift”键，输入两个z即可退出。
更多命令
进入vi的命令：
vi filename :打开或新建文件，并将光标置于第一行首
vi +n filename ：打开文件，并将光标置于第n行首
vi + filename ：打开文件，并将光标置于最后一行首
vi +/pattern filename：打开文件，并将光标置于第一个与pattern匹配的串处
vi -r filename ：在上次正用vi编辑时发生系统崩溃，恢复filename
vi filename….filename ：打开多个文件，依次进行编辑
屏幕翻滚类命令：
Ctrl+u：向文件首翻半屏
Ctrl+d：向文件尾翻半屏
Ctrl+f：向文件尾翻一屏
Ctrl＋b；向文件首翻一屏
nz：将第n行滚至屏幕顶部，不指定n时将当前行滚至屏幕顶部。
插入文本类命令：
i ：在光标前
I ：在当前行首
a：光标后
A：在当前行尾
o：在当前行之下新开一行
O：在当前行之上新开一行
r：替换当前字符
R：替换当前字符及其后的字符，直至按ESC键
s：从当前光标位置处开始，以输入的文本替代指定数目的字符
S：删除指定数目的行，并以所输入文本代替之
ncw或nCW：修改指定数目的字
nCC：修改指定数目的行
删除命令：
ndw或ndW：删除光标处开始及其后的n-1个字
do：删至行首
d$：删至行尾
ndd：删除当前行及其后n-1行
x或X：删除一个字符，x删除光标后的，而X删除光标前的
Ctrl+u：删除输入方式下所输入的文本
搜索及替换命令：
/pattern：从光标开始处向文件尾搜索pattern
?pattern：从光标开始处向文件首搜索pattern
n：在同一方向重复上一次搜索命令
N：在反方向上重复上一次搜索命令
：s/p1/p2/g：将当前行中所有p1均用p2替代
：n1,n2s/p1/p2/g：将第n1至n2行中所有p1均用p2替代
：g/p1/s//p2/g：将文件中所有p1均用p2替换
撤销回退命令：
u 撤销上一步的操作
Ctrl+r 恢复上一步被撤销的操作
选项设置：
all：列出所有选项设置情况
term：设置终端类型
ignorance：在搜索中忽略大小写
list：显示制表位(Ctrl+I)和行尾标志（$)
number：显示行号
report：显示由面向行的命令修改过的数目
terse：显示简短的警告信息
warn：在转到别的文件时若没保存当前文件则显示NO write信息
nomagic：允许在搜索模式中，使用前面不带“\”的特殊字符
nowrapscan：禁止vi在搜索到达文件两端时，又从另一端开始
mesg：允许vi显示其他用户用write写到自己终端上的信息
末行模式命令：
：n1,n2 co n3：将n1行到n2行之间的内容拷贝到第n3行下
：n1,n2 m n3：将n1行到n2行之间的内容移至到第n3行下
：n1,n2 d ：将n1行到n2行之间的内容删除
：w ：保存当前文件
：e filename：打开文件filename进行编辑
：x：保存当前文件并退出
：q：退出vi
：q!：不保存文件并退出vi
：wq：保存并退出
：!command：执行shell命令command
：n1,n2 w!command：将文件中n1行至n2行的内容作为command的输入并执行之，若不指定n1，n2，则表示将整个文件内容作为command的输入
：r!command：将命令command的输出结果放到当前行
寄存器操作：
“?nyy：将当前行及其下n行的内容保存到寄存器？中，其中?为一个字母，n为一个数字
“?nyw：将当前行及其下n个字保存到寄存器？中，其中?为一个字母，n为一个数字
“?nyl：将当前行及其下n个字符保存到寄存器？中，其中?为一个字母，n为一个数字
“?p：取出寄存器？中的内容并将其放到光标位置处。这里？可以是一个字母，也可以是一个数字
ndd：将当前行及其下共n行文本删除，并将所删内容放到1号删除寄存器中。
常用的7个Linux文件内容查看命令：
1.cat由第一行开始显示文件内容
用法：
cat-A 相当于-vET的整合选项，可列出一些特殊字符而不是空白;
cat-b 列出行号，仅针对非空白行做行号显示，空白行不标行号;
cat-E 将结尾的断行字节$显示出来;
cat-n 列印出行号，连同空白行也会有行号，与-b的选项不同;
cat-T 将[tab]按键以^I显示出来;
cat-v 列出一些看不出来的特殊字符;
2.tac 由最后一行开始显示文件内容
tac-b 在行前而非行尾添加分隔标志;
tac-r 将分隔标志视作正则表达式来解析;
tac-s 使用指定字符串代替换行作为分隔标志;
3.nl 显示行号
nl-b a 无论是否为空行，均列出行号;
nl-b t 空行不列出行号;
nl-n ln 行号在荧幕的最左方显示;
nl-n rn 行号在自己栏位的最右方显示，且不加0;
nl-n rz 行号在自己栏位的最右方显示，且加0;
nl-w 行号栏位的占用的位数;
4.more 一页一页的显示文件内容
在more程序运行过程中，可以按以下键：
空白键(space)：代表向下翻一页;
Enter：代表向下翻『一行』;
/字串：代表在这个显示的内容当中，向下搜寻『字串』这个关键字;
:f：立刻显示出档名以及目前显示的行数;
q：代表立刻离开more，不再显示该文件内容。
b或[ctrl]-b：代表往回翻页，不过这动作只对文件有用，对管线无用。
5.less与more类似，但是比more更好的是，他可以往前翻页
less运行时可以输入的命令有：
空白键：向下翻动一页;
[pagedown]：向下翻动一页;
[pageup]：向上翻动一页;
/字串：向下搜寻『字串』的功能;
?字串：向上搜寻『字串』的功能;
n：重复前一个搜寻(与/或?有关!);
N：反向的重复前一个搜寻(与/或?有关!);
q：离开less这个程序;
6.head 显示前几行
语法：
head-n 后面接数字，代表显示行数;
7.tail 显示后几行
tail-n 后面接数字，代表显示行数;
tail-f 表示持续侦测后面所接的档名，要等到按下[ctrl]-c才会结束tail的侦测;
在Linux系统里常用于文本查看、操作、统计的命令：
通过多敲键盘，形成手感 肌肉记忆 ，熟练掌握这些命令，在以后生信分析中游刃有余。以下是每个命令的详细的介绍（主要是跟着 生信技能树小郭老师 学习做的笔记）
接下来通过示例把10个命令的常用参数和用法展示出来：
参数的用法介绍：
注意事项：
用 cat 命令可以 查看文本 ，也可以 编辑文本 ，编辑文本要加 符号，退出时，另起一行，按 control C 退出
zcat可以查看压缩的文本文件，tac逆向查看
结合 管道符| 使用
head / tail -n :查看文件的前 / 后 n 行，默认 10 行 （在R语言里head和tail默认是前6行）。
less命令用得最多 ，more命令用得比较少
3.1 less命令
less [参数] 文件名
less命令重要的补充用法1 ：
需要注意 退出 ：只要使用less命令， 按q键
less命令重要的补充用法2 ：
参数用法：
less命令 不加参数 查看文件：
less命令加 -N参数 查看文件：显示行号
less命令加 -S参数 查看文件：单行显示，非常规整
对比：less和cat命令显示文本行号的用法：less -N，cat -n
3.2 more命令
**more ** 逐页查看，按空格翻页，按回车换行 ，more命令一般很少用，熟练掌握less命令就好
查看压缩文件
wc 统计字符是也把换行符统计进去，但是别的命令不一定会把换行符算进去，。
常见参数:
切记：用less命令，按q退出
cut命令是按关键词来切的
常见参数:
排列前：
排列后：
解释：1和0比，1大；7和0比，7大…在sort字典排序里，100816比1737小，所以100816排在前面。
命令行查看一个表格结构时，因为制表符对齐的原因，出现一个错位的现象。还有 字典排序 可能和我们平时的认知不一样，所以 加上-n参数 ， 让数值有数学意义上的大小来排序 。
uniq命令去重，只有两行出现重复，而且是相邻的两行，如果不相邻，即使出现两行一模一样，不会去重。
uniq命令通常和sort命令搭配使用
换其它文件试试
总之，uniq命令使用时经常和sort一起
常见参数:
常见用法1：
paste file1 file2
-s :按行合并 演示
常见用法2 : paste - -
常见参数:
要养成一个好习惯，原始数据不要轻易修改，修改的东西另外保存，文本保存用 (重定向)或是 (追加)
1. 用 less 查看 example.gtf ，然后管道符传递给 wc
2. 截取 example.gtf 第 9 列的内容
3. 在第2步的基础上截取分号分割的第1列
4. 在第3步的基础上排序、去重复并统计
5. 在第4步的基础上，将空格替换成制表符
补充小知识 ：
清屏 ：control L
查看历史（输入过的）命令 ：history
