原文连接：http://www.cnblogs.com/alwayswyy/p/5191137.html
本节中正则表达式的工具程序 grep,sed和awk是重点，也是难点！！！
先补充一下 一. 管道| / 重定向> / xargs 如： 1. 管道和重定向的区别：具体可以见 http://www.cnblogs.com/chengmo/archive/2010/10/21/1856577.html 以此为例： cat test.sh test1.sh 2>/dev/null | grep -n 'echo' 此时若test.sh 不存在，报错信息不会输出到屏幕中，而是转入 /dev/null中，如果不存在标准错误重定向 2>，则错误信息会显示到屏幕中，重定向主要用于对标准输入输出的处理，控制输出的路径是屏幕还是写入到标准文件中， 管道主要是用于接收输入的内容并进行操作处理。而且作用接收标准输入的命令才可以用作管道右边。否则传递过程中数据会抛弃。 常用来作为接收数据管道命令有：sed,awk,cut,head,top,less,more,wc,join,sort,split 等等，都是些文本处理命令
2. xargs是产生某个命令的参数，即把 | 读入的stdin的内容作为参数，传递给后面的命令 为什么要有xargs? xargs了： 正常情况下，linux中的很多命令和工具，比如grep和awk，是可以通过管道，获得内容，当做输入参数的 但是对于cp，echo等命令，不识别从（终端中的）标准输入所获得的内容,而识别，命令后面的内容的，当做参数。 且Linux 2.6.23之前，任意长（足够长，太长）的参数命令，是无法输入到命令中的 所以，才有了xargs：将（足够长的，太长的）输入，分割成一个参数子列表,子列表中的参数，长度就很短，就可以被接受了。 常用格式： | xargs -参数 （ 文件） 命令 （1）-0 ：当sdtin含有特殊字元时候，将其当成一般字符，像/'空格等 $ echo "/ / "|xargs -0 echo / / （2）-a file 从文件中读入作为sdtin $ xargs -a 1.txt echo yuanyuan （3）-e flag ，注意有的时候可能会是-E，flag必须是一个以空格分隔的标志，当xargs分析到含有flag这个标志的时候就停止。 $ cat 1.txt |xargs -E 'ddd' echo aaa bbb ccc （4）-n num 后面加次数，表示命令在执行的时候一次用的argument的个数，默认是用所有的。 $ cat 1.txt |xargs -n 2 echo aaa bbb ccc ddd a b （5）-p 操作具有可交互性，每次执行comand都交互式提示用户选择，当每次执行一个argument的时候询问一次用户 $ cat 1.txt |xargs -p echo echo aaa bbb ccc ddd a b ?...y aaa bbb ccc ddd a b $ cat 1.txt |xargs -p echo echo aaa bbb ccc ddd a b ?...n （6）-t 表示先打印命令，然后再执行。 $ cat 1.txt |xargs -t echo echo aaa bbb ccc ddd a b aaa bbb ccc ddd a b （7）-i 或者是-I，这得看linux支持了，将xargs的每项名称，一般是一行一行赋值给{}，可以用{}代替，注意，-I 必须指定替换字符 －i 是否指定替换字符-可选 [yuanyuan@localhost Desktop]$ ls *.txt |xargs -t -i mv {} {}.bak mv c.txt c.txt.bak mv don.txt don.txt.bak （8）-r no-run-if-empty 如果没有要处理的参数传递给xargsxargs 默认是带 空参数运行一次，如果你希望无参数时，停止 xargs，直接退出，使用 -r 选项即可，其可以防止xargs 后面命令带空参数运行报错。 $ echo ""|xargs -t mv mv mv: missing file operand Try `mv --help' for more information. （9）-d delim 分隔符，默认的xargs分隔符是回车，argument的分隔符是空格，这里修改的是xargs的分隔符 $ cat 1.txt.bak aaa@ bbb ccc@ ddd a b $ cat 1.txt.bak |xargs -d '@' echo aaa bbb ccc ddd a b
find与xrags $find . -name "install.log" -print | cat ./install.log #显示从管道传来的内容，仅仅作为字符串来处理 $find . -name "install.log" -print | xargs cat aaaaaa #将管道传来的内容作为文件，交给cat执行。也就是说，该命令执行的是如果存在install.log，那么就打印出这个文件的内容。 1、在当前目录下查找所有用户具有读、写和执行权限的文件，并收回相应的写权限： # find . -perm -7 -print | xargs chmod o-w 2、查找系统中的每一个普通文件，然后使用xargs命令来测试它们分别属于哪类文件 # find . -type f -print | xargs file ./liyao: empty 3、尝试用rm 删除太多的文件，你可能得到一个错误信息：/bin/rm Argument list too long. 用xargs 去避免这个问题 $find ~ -name ‘*.log’ -print0 | xargs -i -0 rm -f {} 4、查找所有的jpg 文件，并且压缩它 # find / -name *.jpg -type f -print | xargs tar -cvzf images.tar.gz 5、拷贝所有的图片文件到一个外部的硬盘驱动 # ls *.jpg | xargs -n1 -i cp {} /external-hard-drive/directory
二. 正则表达式 用特殊字符的排列用来搜索/删除/替换一行或多行字符，支持正则表达式的工具程序，vi,grep,sed，awk 正则表达式常用在邮件服务器中用于删除垃圾邮件。
1.grep（查找有相关字符串的，显示该行） grep全称是Global Regular Expression Print，表示全局正则表达式版本，它的使用权限是所有用户 grep [cinvs] '搜索的字符串 ' filename （1）主要参数 -a ：二进制文本中，以文本文件的方式搜索结果 －c：只输出匹配行的计数。 －i：不区分大小写(只适用于单字符)。 －n：显示匹配行及行号。 －s：不显示不存在或无匹配文本的错误信息。 －v：反向选择，显示不包含匹配文本的所有行。 （2）搜索的字符串常用的正则表达式： \ ：转义字符，忽略正则表达式中特殊字符的原有含义。 ^ ：匹配以某个字符串开始的行。 $ : 匹配以某个字符串结束的行。 \：到匹配正则表达式的行结束。 [ ]：在[]内个某单个字符，如[A]即A符合要求 。 [ - ] ：属于[ - ]所标记的范围字符，如[A-Z]，即A、B、C一直到Z都符合要求 。 . ：表示一定有1个任意字符。 * ：重复前面0个或多个字符。 例: (1)[yuanyuan@localhost Desktop]$ grep "find" sw //显示有find的行 find: `yxy': No such file or directory [yuanyuan@localhost Desktop]$ grep -v "find" sw //不显示有find的行 ./yy/y [yuanyuan@localhost Desktop]$ grep -in 'find' sw //显示行号不区分大小写 2:find: `yxy': No such file or directory 3:FIND YOU 如何更改文件的语系？ LANG=en export LANG （2）用[ ]代表集合字符（只是其中一个） 如： [yuanyuan@localhost Desktop]$ grep -n [^7]huhu sw //^在[ ]内代表反向选择，在[ ]外代表以..开头，如[^a-z]即不是字母 7:huhuhuhuhu1huhu [yuanyuan@localhost Desktop]$ grep -n [1-6]huhu sw //[ ]代表范围在1-6的某一个数字。[0-9][a-z][A-Z],或[a-zA-Z0-9] 7:huhuhuhuhu1huhu （3）行首与行尾字符（^与$) 如： [yuanyuan@localhost Desktop]$ grep -v '^$' sw | grep -v '^#' //去掉空白行,且不以#开头的 ./yy/y find: `yxy': No such file or directory FIND YOU fww1 f8fj8 huhu7huhu huhuhuhuhu1huhu
[yuanyuan@localhost Desktop]$ grep -n '\.$' sw //以.结尾的，注意！！这里因为.有特殊含义，所以用转义字符\ 5:f8fj8. 7:huhuhuhuhu1huhu. （4）任意一个字符. 与 重复字符* , 如：[yuanyuan@localhost Desktop]$ grep -n 'h.h' sw //一个.代表一个字符 6:huhu7huhu 7:huhuhuhuhu1huhu. *代表重复0个或多个前面的re字符，如g*g,g*代表空字符或一个以上的g （5）连续n个{ }，注意用转义字符 \ [yuanyuan@localhost Desktop]$ grep -n 'w\{2\}' sw 4:fww1
2.sed (和akw一样，都是行编辑器，逐行对数据进行处理） sed 是一种在线编辑器（，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有 改变，除非你使用重定向存储输出。 它的强大之处在于可以以行的方式来脚本化处理文本.它的主要功能就是删,查,换和添加. 命令格式： （1）sed [options] 'command' file(s) （2）sed [options] -f scrīptfile file(s) options： -e command, --expression=command 允许多台编辑。 -h, --help 打印帮助，并显示bug列表的地址。 -n, --quiet, --silent 取消默认输出。 -f, --filer=scrīpt-file 引导sed脚本文件名。 -V, --version 打印版本和版权信息。
command:(常用的） a/ 在当前行后面加入一行文本。 b lable 分支到脚本中带有标记的地方，如果分支不存在则分支到脚本的末尾。 c/ 用新的文本改变本行的文本。 d 从模板块（Pattern space）位置删除行。 D 删除模板块的第一行。 i/ 在当前行上面插入文本。 h 拷贝模板块的内容到内存中的缓冲区。 H 追加模板块的内容到内存中的缓冲区。 g 获得内存缓冲区的内容，并替代当前模板块中的文本。 G 获得内存缓冲区的内容，并追加到当前模板块文本的后面。 元字符集 ^ 锚定行的开始 如：/^sed/匹配所有以sed开头的行。 $ 锚定行的结束 如：/sed$/匹配所有以sed结尾的行。 . 匹配一个非换行符的字符 如：/s.d/匹配s后接一个任意字符，然后是d。 * 匹配零或多个字符 如：/*sed/匹配所有模板是一个或多个空格后紧跟sed的行。 [] 匹配一个指定范围内的字符，如/[Ss]ed/匹配sed和Sed。 [^] 匹配一个不在指定范围内的字符，如：/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一个字母开头，紧跟ed的行。 /(../) 保存匹配的字符，如s//(love/)able//1rs，loveable被替换成lovers。 & 保存搜索字符用来替换其他字符，如s/love/**&**/，love这成**love**。 /< 锚定单词的开始，如:// 锚定单词的结束，如/love/>/匹配包含以love结尾的单词的行。 x/{m/} 重复字符x，m次，如：/0/{5/}/匹配包含5个o的行。 x/{m,/} 重复字符x,至少m次，如：/o/{5,/}/匹配至少有5个o的行。 x/{m,n/} 重复字符x，至少m次，不多于n次，如：/o/{5,10/}/匹配5--10个o的行。
实例 2.1删除：d命令 * $ sed '2d' example-----删除example文件的第二行。 * $ sed '2,$d' example-----删除example文件的第二行到末尾所有行。 * $ sed '$d' example-----删除example文件的最后一行。 * $ sed '/test/'d example-----删除example文件所有包含test的行。 2.2替换：s命令 * $ sed 's/test/mytest/g' example-----在整行范围内把test替换为mytest。如果没有g标记，则只有每行第一个匹配的test被替换成mytest。 * $ sed -n 's/^test/mytest/p' example-----(-n)选项和p标志一起使用表示只打印那些发生替换的行。也就是说，如果某一行开头的test被替换成mytest，就打印它。 * $ sed 's/^192.168.0.1/&localhost/' example-----&符号表示替换换字符串中被找到的部份。所有以192.168.0.1开头的行都会被替换成它自已加 localhost，变成192.168.0.1localhost。 * $ sed -n 's//(love/)able//1rs/p' example-----love被标记为1，所有loveable会被替换成lovers，而且替换的行会被打印出来。 * $ sed 's#10#100#g' example-----不论什么字符，紧跟着s命令的都被认为是新的分隔符，所以，“#”在这里是分隔符，代替了默认的“/”分隔符。表示把所有10替换成100。 2.3选定行的范围：逗号 * $ sed -n '/test/,/check/p' example-----所有在模板test和check所确定的范围内的行都被打印。 * $ sed -n '5,/^test/p' example-----打印从第五行开始到第一个包含以test开始的行之间的所有行。 * $ sed '/test/,/check/s/$/sed test/' example-----对于模板test和west之间的行，每行的末尾用字符串sed test替换。 2.4多点编辑：e命令 * $ sed -e '1,5d' -e 's/test/check/' example-----(-e)选项允许在同一行里执行多条命令。如例子所示，第一条命令删除1至5行，第二条命令用check替换test。命令的执 行顺序对结果有影响。如果两个命令都是替换命令，那么第一个替换命令将影响第二个替换命令的结果。 * $ sed --expression='s/test/check/' --expression='/love/d' example-----一个比-e更好的命令是--expression。它能给sed表达式赋值。 2.5从文件读入：r命令 * $ sed '/test/r file' example-----file里的内容被读进来，显示在与test匹配的行后面，如果匹配多行，则file的内容将显示在所有匹配行的下面。 2.6写入文件：w命令 * $ sed -n '/test/w file' example-----在example中所有包含test的行都被写入file里。 2.7追加命令：a命令 * $ sed '/^test/a//--->this is a example' examplehaha //删除第4行，将前6行复制到haha中， sed有两个以上的参数时需要用-e ,注意，源文件一直不变，变的是haha
3.awk(主要用于域的作用） 命令行方式 awk '{pattern + action}' {filenames} awk [-F field-separator] 'commands' input-file(s) 其中，commands 是真正awk命令，[-F域分隔符]是可选的。 input-file(s) 是待处理的文件。 在awk中，文件的每一行中，由域分隔符分开的每一项称为一个域。通常，在不指名-F域分隔符的情况下，默认的域分隔符是空格。
（1）[yuanyuan@localhost Desktop]$ last -n 5 |awk '{print $1}' yuanyuan yuanyuan yuanyuan reboot yuanyuan (2)[yuanyuan@localhost Desktop]$ last -n 5 |awk '{print $1 "\t" $3}' //第一域和第三域，中间以tab键隔开 yuanyuan :0.0 yuanyuan :0.0 yuanyuan :0 reboot boot yuanyuan :0.0 wtmp Mon （3）[yuanyuan@localhost Desktop]$ last -n 5 |awk '{print $1 "\t lines:" NR $3 "\t colums:" NF }' //NR显示行号，NF显示有多少个字符 yuanyuan lines:1:0.0 colums:10 yuanyuan lines:2:0.0 colums:10 yuanyuan lines:3:0 colums:10 reboot lines:4boot colums:11 yuanyuan lines:5:0.0 colums:10 lines:6 colums:0 wtmp lines:7Mon colums:7 （4）[yuanyuan@localhost Desktop]$ cat /etc/passwd | awk 'BEGIN{":"} $3>10 {print $1 "\t" $3 }' //用BEGIN来显示变量的要求 第三列大于10的所有的第一列与第三列
更详细的可以见：http://www.cnblogs.com/ggjucheng/archive/2013/01/13/2858470.html
4.比较两个文件
（1）diff: 以行为单位比较 diff -s file 1 file 2 结果显示 [yuanyuan@localhost Desktop]$ diff -s don.txt haha 5,6c5 //5,6行被替换成右边的 < yuan < do --- > woxiangya （2）cmp: 以位为单位比较，主要用于二进制文件比较 cmp -s file 1 file 2 (3)patch （补丁文件，用diff比较后生成补丁文件） diff 旧文件/新文件 > diff.patch
