awk编程基础

下载 第9章 AWK 介 绍 如果要格式化报文或从一个大的文本文件中抽取数据包，那么 a w k可以完成这些任务。它 在文本浏览和数据的熟练使用上性能优异。 整体来说，a w k是所有s h e l l过滤工具中最难掌握的，不知道为什么，也许是其复杂的语法 或含义不明确的错误提示信息。在学习 a w k语言过程中，就会慢慢掌握诸如 Bailing out 和 a w k : c m d . L i n e :等错误信息。可以说a w k是一种自解释的编程语言，之所以要在 s h e l l中使用a w k 是因为a w k本身是学习的好例子，但结合 a w k与其他工具诸如g r e p和s e d，将会使s h e l l编程更加 容易。 本章没有讲述a w k的全部特性，也不涉及a w k的深层次编程，（这些可以在专门讲述a w k的 书 关于书的成语关于读书的排比句社区图书漂流公约怎么写关于读书的小报汉书pdf 籍中找到）。本章仅注重于讲述使用a w k执行行操作及怎样从文本文件和字符串中抽取信息。 本章内容有： • 抽取域。 • 匹配正则 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 达式。 • 比较域。 • 向a w k传递参数。 • 基本的a w k行操作和脚本。 本书几乎所有包含 a w k命令的脚本都结合了 s e d和g r e p，以从文本文件和字符串中抽取信 息。为获得所需信息，文本必须格式化，意即用域分隔符划分抽取域，分隔符可能是任意字 符，在以后讲述a w k时再详细讨论。 a w k以发展这种语言的人 A h o . We n i n b e rg e r和K e r n i g h a m命名。还有n a w k和g a w k，它们扩 展了文本特性，但本章不予讨论。 a w k语言的最基本功能是在文件或字符串中基于指定规则浏览和抽取信息。 a w k抽取信息 后，才能进行其他文本操作。完整的 a w k脚本通常用来格式化文本文件中的信息。 9.1 调用awk 有三种方式调用a w k，第一种是命令行方式，如： 这里，c o m m a n d s是真正的a w k命令。本章将经常使用这种方法。 上面例子中， [ - F域分隔符]是可选的，因为 a w k使用空格作为缺省的域分隔符，因此如果 要浏览域间有空格的文本，不必指定这个选项，但如果要浏览诸如 p a s s w d文件，此文件各域 以冒号作为分隔符，则必须指明 - F选项，如： 第二种方法是将所有 a w k命令插入一个文件，并使 a w k程序可执行，然后用 a w k命令解释 器作为脚本的首行，以便通过键入脚本名称来调用它。 第三种方式是将所有的a w k命令插入一个单独文件，然后调用： gxq Pencil gxq Pencil gxq Pencil gxq Pencil gxq Pencil gxq Pencil gxq Pencil gxq Pencil gxq Pencil - f选项指明在文件 a w k _ s c r i p t _ f i l e中的a w k脚本， i n p u t _ f i l e ( s )是使用a w k进行浏览的文件 名。 9.2 awk脚本 在命令中调用a w k时，a w k脚本由各种操作和模式组成。 如果设置了 - F选项，则a w k每次读一条记录或一行，并使用指定的分隔符分隔指定域，但 如果未设置- F选项，a w k假定空格为域分隔符，并保持这个设置直到发现一新行。当新行出现 时，a w k命令获悉已读完整条记录，然后在下一个记录启动读命令，这个读进程将持续到文件 尾或文件不再存在。 参照表9 - 1，a w k每次在文件中读一行，找到域分隔符（这里是符号 #），设置其为域n，直 至一新行（这里是缺省记录分隔符），然后，划分这一行作为一条记录，接着 a w k再次启动下 一行读进程。 表9-1 awk读文件记录的方式 域1 分 隔 符 域2 分 隔 符 域 3 分 隔 符 域4及换行 P. B u n n y (记录1 ) # 0 2 / 9 9 # 4 8 # Yellow \n J . Tr o l l (记录2 ) # 0 7 / 9 9 # 4 8 4 2 # Brown-3 \n 9.2.1 模式和动作 任何a w k语句都由模式和动作组成。在一个 a w k脚本中可能有许多语句。模式部分决定动 作语句何时触发及触发事件。处理即对数据进行的操作。如果省略模式部分，动作将时刻保 持执行状态。 模式可以是任何条件语句或复合语句或正则表达式。模式包括两个特殊字段 B E G I N和 E N D。使用B E G I N语句设置计数和打印头。 B E G I N语句使用在任何文本浏览动作之前，之后 文本浏览动作依据输入文件开始执行。 E N D语句用来在a w k完成文本浏览动作后打印输出文 本总数和结尾状态标志。如果不特别指明模式， a w k总是匹配或打印行数。 实际动作在大括号{ }内指明。动作大多数用来打印，但是还有些更长的代码诸如 i f和循环 （l o o p i n g）语句及循环退出结构。如果不指明采取动作， a w k将打印出所有浏览出来的记录。 下面将深入讲解这些模式和动作。 9.2.2 域和记录 a w k执行时，其浏览域标记为 $ 1，$ 2 . . . $ n。这种方法称为域标识。使用这些域标识将更容 易对域进行进一步处理。 使用$ 1 , $ 3表示参照第1和第3域，注意这里用逗号做域分隔。如果希望打印一个有 5个域 的记录的所有域，不必指明 $ 1 , $ 2 , $ 3 , $ 4 , $ 5，可使用$ 0，意即所有域。 Aw k浏览时，到达一新 行，即假定到达包含域的记录末尾，然后执行新记录下一行的读动作，并重新设置域分隔。 注意执行时不要混淆符号$和s h e l l提示符$，它们是不同的。 为打印一个域或所有域，使用 p r i n t命令。这是一个a w k动作（动作语法用圆括号括起来）。 第9章 AWK 介 绍 67 下载 gxq Pencil gxq Pencil gxq Pencil gxq Pencil gxq Pencil gxq Pencil gxq Pencil gxq Pencil gxq Pencil 1. 抽取域 真正执行前看几个例子，现有一文本文件 g r a d e . t x t，记录了一个称为柔道数据库的行信 息。 此文本文件有7个域，即（1）名字、（2）升段日期、（3）学生序号、（4）腰带级别、（5） 年龄、（6）目前比赛积分、（7）比赛最高分。 因为域间使用空格作为域分隔符，故不必用 - F选项划分域，现浏览文件并导出一些数据。 在例子中为了利于显示，将空格加宽使各域看得更清晰。 2. 保存a w k输出 有两种方式保存 s h e l l提示符下a w k脚本的输出。最简单的方式是使用输出重定向符号 >文 件名，下面的例子重定向输出到文件 w o w。 使用这种方法要注意，显示屏上不会显示输出结果。因为它直接输出到文件。只有在保 证输出结果正确时才会使用这种方法。它也会重写硬盘上同名数据。 第二种方法是使用 t e e命令，在输出到文件的同时输出到屏幕。在测试输出结果正确与否 时多使用这种方法。例如输出重定向到文件 d e l e t e _ m e _ a n d _ d i e，同时输出到屏幕。使用这种 方法，在a w k命令结尾写入 | tee delete_me_and_die。 3. 使用 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 输入 在深入讲解这一章之前，先对 a w k脚本的输入方法简要介绍一下。实际上任何脚本都是从 标准输入中接受输入的。为运行本章脚本，使用 a w k脚本输入文件格式，例如： 也可替代使用下述格式： 使用重定向方法： 或管道方法： 4. 打印所有记录 a w k读每一条记录。因为没有模式部分，只有动作部分 {print $0}(打印所有记录)，这个动 作必须用花括号括起来。上述命令打印整个文件。 68 第二部分 文 本 过 滤 下载 gxq Pencil gxq Pencil gxq Pencil gxq Pencil gxq Pencil gxq Pencil gxq Pencil 5. 打印单独记录 假定只打印学生名字和腰带级别，通过查看域所在列，可知为 f i e l d - 1和f i e l d - 4，因此可以 使用$ 1和$ 4，但不要忘了加逗号以分隔域。 6. 打印 报告 软件系统测试报告下载sgs报告如何下载关于路面塌陷情况报告535n,sgs报告怎么下载竣工报告下载 头 上述命令输出在名字和腰带级别之间用一些空格使之更容易划分，也可以在域间使用 t a b 键加以划分。为加入 t a b键，使用 t a b键速记引用符 \ t，后面将对速记引用加以详细讨论。也可 以为输出文本加入信息头。本例中加入 n a m e和b e l t及下划线。下划线使用 \ n，强迫启动新行， 并在\ n下一行启动打印文本操作。打印信息头放置在 B E G I N模式部分，因为打印信息头被界 定为一个动作，必须用大括号括起来。在 a w k查看第一条记录前，信息头被打印。 7. 打印信息尾 如果在末行加入end of report信息，可使用E N D语句。E N D语句在所有文本处理动作执行 完之后才被执行。 E N D语句在脚本中的位置放置在主要动作之后。下面简单打印头信息并告 之查询动作完成。 8. awk错误信息提示 几乎可以肯定，在使用 a w k时，将会在命令中碰到一些错误。 a w k将试图打印错误行，但 由于大部分命令都只在一行，因此帮助不大。 系统给出的显示错误信息提示可读性不好。使用上述例子，如果丢了一个双引号， a w k将 返回： 第9章 AWK 介 绍 69 下载 gxq Pencil gxq Pencil gxq Pencil gxq Pencil gxq Pencil gxq Pencil gxq Pencil gxq Pencil gxq Pencil gxq Pencil gxq Pencil gxq Pencil gxq Pencil 当第一次使用a w k时，可能被错误信息搅得不知所措，但通过长时间和不断的学习，可总 结出以下规则。在碰到a w k错误时，可相应查找： • 确保整个a w k命令用单引号括起来。 • 确保命令内所有引号成对出现。 • 确保用花括号括起动作语句，用圆括号括起条件语句。 • 可能忘记使用花括号，也许你认为没有必要，但 a w k不这样认为，将按之解释语法。 如果查询文件不存在，将得到下述错误信息： 9. awk键盘输入 如果在命令行并没有输入文件 g r a d e . t x t，将会怎样？ B E G I N部分打印了文件头，但a w k最终停止操作并等待，并没有返回 s h e l l提示符。这是因 为a w k期望获得键盘输入。因为没有给出输入文件， a w k假定下面将会给出。如果愿意，顺序 输入相关文本，并在输入完成后敲 键。如果敲入了正确的域分隔符， a w k会像第一个 例子一样正常处理文本。这种处理并不常用，因为它大多应用于大量的打印稿。 9.2.3 awk中正则表达式及其操作 在g r e p一章中，有许多例子用到正则表达式，这里将不使用同样的例子，但可以使用条 件操作讲述a w k中正则表达式的用法。 这里正则表达式用斜线括起来。例如，在文本文件中查询字符串 G r e e n，使用/ G r e e n /可以 查出单词G r e e n的出现情况。 9.2.4 元字符 这里是a w k中正则表达式匹配操作中经常用到的字符，详细情况请参阅本书第 7章正则表 达式概述。 \ ^ $ . [ ] | ( ) * + ? 这里有两个字符第7章没有讲到，因为它们只适用于 a w k而不适用于g r e p或s e d。它们是： + 使用+匹配一个或多个字符。 ？ 匹配模式出现频率。例如使用 /X Y?Z/匹配X Y Z或Y Z。 9.2.5 条件操作符 表9 - 2给出a w k条件操作符，后面将给出其用法。 70 第二部分 文 本 过 滤 下载 gxq Pencil gxq Pencil gxq Pencil gxq Pencil gxq Pencil 表9-2 awk条件操作符 操 作 符 描 述 操 作 符 描 述 < 小于 > = 大于等于 < = 小于等于 ~ 匹配正则表达式 = = 等于 !~ 不匹配正则表达式 != 不等于 1. 匹配 为使一域号匹配正则表达式，使用符号‘～’后紧跟正则表达式，也可以用 i f语句。a w k 中i f后面的条件用（）括起来。 观察文件g r a d e . t x t，如果只要打印 b r o w n腰带级别可知其所在域为 f i e l d - 4，这样可以写出 表达式{if($4~/brown/) print }意即如果 f i e l d - 4包含b r o w n，打印它。如果条件满足，则打印匹 配记录行。可以编写下面脚本，因为这是一个动作，必须用花括号 { }括起来。 匹配记录找到时，如果不特别声明， a w k缺省打印整条记录。使用 i f语句开始有点难，但 不要着急，因为有许多方法可以跳过它，并仍保持同样结果。下面例子意即如果记录包含模 式b r o w n，就打印它： 2. 精确匹配 假定要使字符串精确匹配，比如说查看学生序号 4 8，文件中有许多学生序号包含 4 8，如 果在f i e l d - 3中查询序号4 8，a w k将返回所有序号带4 8的记录： 为精确匹配4 8，使用等号= =，并用单引号括起条件。例如 $ 3 = =“4 8”，这样确保只有 4 8 序号得以匹配，其余则不行。 3. 不匹配 有时要浏览信息并抽取不匹配操作的记录，与 ~相反的符号是 !~，意即不匹配。像原来使 用查询b r o w n腰带级别的匹配操作一样，现在看看不匹配情况。表达式 $0 !~/brown/，意即查 询不包含模式b r o w n腰带级别的记录并打印它。 注意，缺省情况下，a w k将打印所有匹配记录，因此这里不必加入动作部分。 第9章 AWK 介 绍 71 下载 可以只对f i e l d - 4进行不匹配操作，方法如下： 如果只使用命令awk$4 !="brown"{print $0} grade.txt，将返回错误结果，因为用引号括起 了b r o w n，将只匹配‘b r o w n而不匹配b r o w n - 2和b r o w n - 3，当然，如果想要查询非b r o w n - 2的腰 带级别，可做如下操作： 4. 小于 看看哪些学生可以获得升段机会。测试这一点即判断目前级别分 f i e l d - 6是否小于最高分 f i e l d - 7，在输出结果中，加入这一改动很容易。 5. 小于等于 对比小于，小于等于只在操作符上做些小改动，满足此条件的记录也包括上面例子中的 输出情况。 6. 大于 大于符号大家都熟知，请看例子： 希望读者已经掌握了操作符的基本用法。 7. 设置大小写 为查询大小写信息，可使用 [ ]符号。在测试正则表达式时提到可匹配 [ ]内任意字符或单词， 因此若查询文件中级别为g r e e n的所有记录，不论其大小写，表达式应为‘ / [ G g ] r e e n /：’ 8. 任意字符 抽取名字，其记录第一域的第四个字符是 a，使用句点 .。表达式 / ^ . . . a /意为行首前三个字 符任意，第四个是a，尖角符号代表行首。 9. 或关系匹配 为抽取级别为y e l l o w或b r o w n的记录，使用竖线符 |。意为匹配 | 两边模式之一。注意，使 用竖线符时，语句必须用圆括号括起来。 72 第二部分 文 本 过 滤 下载 gxq Pencil 上面例子输出所有级别为Ye l l o w或B r o w n的记录。 使用这种方法在查询级别为G r e e n或g r e e n时，可以得到与使用 [ ]表达式相同的结果。 10. 行首 不必总是使用域号。如果查询文本文件行首包含 4 8的代码，可简单使用下面 符^号： 这里讲述了在a w k中怎样使用第7章中涉及的表达式。像第7章的开头提到的，所有表达式 （除字符重复出现外）在a w k中都是合法的。 复合模式或复合操作符用于形成复杂的逻辑操作，复杂程度取决于编程者本人。有必要 了解的是，复合表达式即为模式间通过使用下述各表达式互相结合起来的表达式： && AND : 语句两边必须同时匹配为真。 || O R：语句两边同时或其中一边匹配为真。 ! 非 求逆 11. AND 打印记录，使其名字为‘ P. B u n n y且级别为 Ye l l o w，使用表达式 ( $ 1 = = " P. B u n n y " & & $ 4 = = " Ye l l o w " )，意为& &两边匹配均为真。完整命令如下： 12. Or 如果查询级别为 Ye l l o w或B r o w n，使用或命令。意为“ | |”符号两边的匹配模式之一或全 部为真。 9.2.6 awk内置变量 a w k有许多内置变量用来设置环境信息。这些变量可以被改变。表 9 - 3显示了最常使用的 一些变量，并给出其基本含义。 表9-3 awk内置变量 A R G C 命令行参数个数 A R G V 命令行参数排列 E N V I R O N 支持队列中系统环境变量的使用 FILENAME a w k浏览的文件名 F N R 浏览文件的记录数 F S 设置输入域分隔符，等价于命令行 - F选项 第9章 AWK 介 绍 73 下载 (续) N F 浏览记录的域个数 N R 已读的记录数 O F S 输出域分隔符 O R S 输出记录分隔符 R S 控制记录分隔符 A R G C支持命令行中传入 a w k脚本的参数个数。 A R G V是A R G C的参数排列数组，其中每 一元素表示为A R G V [ n ]，n为期望访问的命令行参数。 E N V I R O N支持系统设置的环境变量，要访问单独变量，使用实际变量名，例如 E N V I R O N [“E D I TO R”] =“Vi”。 F I L E N A M E支持a w k脚本实际操作的输入文件。因为 a w k可以同时处理许多文件，因此如 果访问了这个变量，将告之系统目前正在浏览的实际文件。 F N R支持a w k目前操作的记录数。其变量值小于等于 N R。如果脚本正在访问许多文件， 每一新输入文件都将重新设置此变量。 F S用来在a w k中设置域分隔符，与命令行中 - F选项功能相同。缺省情况下为空格。如果用 逗号来作域分隔符，设置F S = "，"。 N F支持记录域个数，在记录被读之后再设置。 O F S允许指定输出域分隔符，缺省为空格。如果想设置为 #，写入O F S = " # "。 O R S为输出记录分隔符，缺省为新行（ \ n）。 R S是记录分隔符，缺省为新行 ( \ n )。 9.2.7 NF、NR和FILENAME 下面看一看a w k内置变量的例子。 要快速查看记录个数，应使用 N R。比如说导出一个数据库文件后，如果想快速浏览记录 个数，以便对比于其初始状态，查出导出过程中出现的错误。使用 N R将打印输入文件的记录 个数。print NR放在E N D语法中。 以下例子中，所有学生记录被打印，并带有其记录号。使用 N F变量显示每一条读记录中 有多少个域，并在E N D部分打印输入文件名。 在从文件中抽取信息时，最好首先检查文件中是否有记录。下面的例子只有在文件中至 少有一个记录时才查询 B r o w n级别记录。使用 A N D复合语句实现这一功能。意即至少存在一 个记录后，查询字符串B r o w n，最后打印结果。 74 第二部分 文 本 过 滤 下载 N F的一个强大功能是将变量$ P W D的返回值传入a w k并显示其目录。这里需要指定域分隔 符/。 另一个例子是显示文件名。 9.2.8 awk操作符 在a w k中使用操作符，基本表达式可以划分为数字型、字符串型、变量型、域及数组元素， 前面已经讲过一些。下面列出其完整列表。 在表达式中可以使用下述任何一种操作符。 = += *= / = %= ^ = 赋值操作符 ？ 条件表达操作符 || && ! 并、与、非（上一节已讲到） ~!~ 匹配操作符，包括匹配和不匹配 < <= == != >> 关系操作符 + - * / % ^ 算术操作符 + + -- 前缀和后缀 前面已经讲到了其中几种操作，下面继续讲述未涉及的部分。 1. 设置输入域到域变量名 在a w k中，设置有意义的域名是一种好习惯，在进行模式匹配或关系操作时更容易理解。 一般的变量名设置方式为 n a m e = $ n，这里n a m e为调用的域变量名，n为实际域号。例如设置学 生域名为n a m e，级别域名为b e l t，操作为n a m e = $ 1 ; b e l t s = $ 4。注意分号的使用，它分隔 a w k命 令。下面例子中，重新赋值学生名域为 n a m e，级别域为b e l t s。查询级别为Ye l l o w的记录，并 最终打印名称和级别。 2. 域值比较操作 有两种方式测试一数值域是否小于另一数值域。 1) 在B E G I N中给变量名赋值。 2) 在关系操作中使用实际数值。 通常在B E G I N部分赋值是很有益的，可以在 a w k表达式进行改动时减少很多麻烦。 使用关系操作必须用圆括号括起来。 下面的例子查询所有比赛中得分在 2 7点以下的学生。 用引号将数字引用起来是可选的，“2 7”、2 7产生同样的结果。 第9章 AWK 介 绍 75 下载 第二个例子中给数字赋以变量名 B A S E L I N E和在B E G I N部分给变量赋值，两者意义相同。 3. 修改数值域取值 当在a w k中修改任何域时，重要的一点是要记住实际输入文件是不可修改的，修改的只是 保存在缓存里的a w k复本。a w k会在变量N R或N F变量中反映出修改痕迹。 为修改数值域，简单的给域标识重赋新值，如： $ 1 = $ 1 + 5，会将域1数值加5，但要确保赋 值域其子集为数值型。 修改M . Ta n s l e y的目前级别分域，使其数值从 4 0减为3 9，使用赋值语句 $ 6 = $ 6 - 1，当然在 实施修改前首先要匹配域名。 4. 修改文本域 修改文本域即对其重新赋值。需要做的就是赋给一个新的字符串。在 J . Tr o l l中加入字母， 使其成为 J . L . Tr o l l，表达式为$ 1 = " J . L . Tr o l l "，记住字符串要使用双秒号（ " "），并用圆括号括 起整个语法。 5. 只显示修改记录 上述例子均是对一个小文件的域进行修改，因此打印出所有记录查看修改部分不成问题， 但如果文件很大，记录甚至超过 1 0 0，打印所有记录只为查看修改部分显然不合情理。在模式 后面使用花括号将只打印修改部分。取得模式，再根据模式结果实施操作，可能有些抽象， 现举一例，只打印修改部分。注意花括号的位置。 6. 创建新的输出域 在a w k中处理数据时，基于各域进行计算时创建新域是一种好习惯。创建新域要通过其他 域赋予新域标识符。如创建一个基于其他域的加法新域 { $ 4 = $ 2 + $ 3 }，这里假定记录包含3个域， 则域4为新建域，保存域2和域3相加结果。 在文件 g r a d e . t x t中创建新域 8保存域目前级别分与域最高级别分的减法值。表达式为 ‘{ $ 8 = $ 7 - $ 6 }’，语法首先测试域目前级别分小于域最高级别分。新域因此只打印其值大于零 的学生名称及其新域值。在B E G I N部分加入t a b键以对齐报告头。 76 第二部分 文 本 过 滤 下载 当然可以创建新域，并赋给其更有意义的变量名。例如： 7. 增加列值 为增加列数或进行运行结果统计，使用符号 + =。增加的结果赋给符号左边变量值，增加 到变量的域在符号右边。例如将 $ 1加入变量 t o t a l，表达式为 t o t a l + = $ 1。列值增加很有用。许 多文件都要求统计总数，但输出其统计结果十分繁琐。在 a w k中这很简单，请看下面的例子。 将所有学生的‘目前级别分’加在一起，方法是 t o t + = $ 6，t o t即为a w k浏览的整个文件的 域6结果总和。所有记录读完后，在 E N D部分加入一些提示信息及域 6总和。不必在 a w k中显 示说明打印所有记录，每一个操作匹配时，这是缺省动作。 如果文件很大，你只想打印结果部分而不是所有记录，在语句的外面加上圆括号（）即 可。 8. 文件长度相加 在目录中查看文件时，如果想快速查看所有文件的长度及其总和，但要排除子目录，使 用ls -l命令，然后管道输出到a w k，a w k首先剔除首字符为d（使用正则表达式）的记录，然后 将文件长度列相加，并输出每一文件长度及在 E N D部分输出所有文件的长度。 本例中，首先用 ls -l命令查看一下文件属性。注意第二个文件属性首字符为 d，说明它是 一个目录，文件长度是第 5列，文件名是第 9列。如果系统不是这样排列文件名及其长度，应 适时加以改变。 下面的正则表达式表明必须匹配行首，并排除字符 d，表达式为^ [ ^ d ]。 使用此模式打印文件名及其长度，然后将各长度相加放入变量 t o t中。 第9章 AWK 介 绍 77 下载 9.2.9 内置的字符串函数 a w k有许多强大的字符串函数，见表 9 - 4。 表9-4 awk内置字符串函数 g s u b ( r, s ) 在整个$ 0中用s替代r g s u b ( r, s , t ) 在整个t中用s替代r i n d e x ( s , t ) 返回s中字符串t的第一位置 l e n g t h ( s ) 返回s长度 m a t c h ( s , r ) 测试s是否包含匹配 r的字符串 s p l i t ( s , a , f s ) 在f s上将s分成序列a s p r i n t ( f m t , e x p ) 返回经f m t格式化后的e x p s u b ( r, s ) 用$ 0中最左边最长的子串代替 s s u b s t r ( s , p ) 返回字符串s中从p开始的后缀部分 s u b s t r ( s , p , n ) 返回字符串s中从p开始长度为n的后缀部分 g s u b函数有点类似于 s e d查找和替换。它允许替换一个字符串或字符为另一个字符串或字 符，并以正则表达式的形式执行。第一个函数作用于记录 $ 0，第二个g s u b函数允许指定目标， 然而，如果未指定目标，缺省为 $ 0。 i n d e x（s，t）函数返回目标字符串 s中查询字符串t的首位置。 l e n g t h函数返回字符串s字符 长度。m a t c h函数测试字符串 s是否包含一个正则表达式 r定义的匹配。 s p l i t使用域分隔符 f s将 字符串s划分为指定序列a。s p r i n t函数类似于p r i n t f函数（以后涉及），返回基本输出格式 f m t的 结果字符串 e x p。s u b（r，s）函数将用 s替代$ 0中最左边最长的子串，该子串被（ r）匹配。 s u b（s，p）返回字符串s在位置p后的后缀。s u b s t r（s，p，n）同上，并指定子串长度为n。 现在看一看a w k中这些字符串函数的功能。 1. gsub 要在整个记录中替换一个字符串为另一个，使用正则表达式格式， /目标模式 /，替换模式 /。例如改变学生序号4 8 4 2到4 8 9 9： 2. index 查询字符串 s中t出现的第一位置。必须用双引号将字符串括起来。例如返回目标字符串 B u n n y中n y出现的第一位置，即字符个数。 3. length 返回所需字符串长度，例如检验字符串 J . Tr o l l返回名字及其长度，即人名构成的字符个 数。 还有一种方法，这里字符串加双引号。 78 第二部分 文 本 过 滤 下载 4. match m a t c h测试目标字符串是否包含查找字符的一部分。可以对查找部分使用正则表达式，返 回值为成功出现的字符排列数。如果未找到，返回 0，第一个例子在 A N C D中查找d。因其不 存在，所以返回0。第二个例子在A N C D中查找D。因其存在，所以返回A N C D中D出现的首位 置字符数。第三个例子在学生 J . L u l u中查找u。 5. split 使用s p l i t返回字符串数组元素个数。工作方式如下：如果有一字符串，包含一指定分隔 符 - ，例如A D2 - K P 9 - J U 2 - L P - 1，将之划分成一个数组。使用 s p l i t，指定分隔符及数组名。此 例中，命令格式为 ( " A D 2 - K P 9 - J U 2 - L P - 1 "，p a r t s _ a r r a y，" - "），s p l i t然后返回数组下标数，这 里结果为4。 还有一个例子使用不同的分隔符。 这个例子中，s p l i t返回数组m y a r r a y的下标数。数组m y a r r a y取值如下： 本章结尾部分讲述数组概念。 6. sub 使用s u b发现并替换模式的第一次出现位置。字符串 S T R包含‘poped popo pill’，执行下 列s u b命令s u b（/ o p /，" o p "，S T R）。模式o p第一次出现时，进行替换操作，返回结果如下： ‘pO Ped pope pill’。 本章文本文件中，学生 J . Tr o l l的记录有两个值一样，“目前级别分”与“最高级别分”。只 改变第一个为2 9，第二个仍为2 4不动，操作命令为 s u b（/ 2 6 /，" 2 9 "，$ 0），只替换第一个出现 2 4的位置。注意 J . Tr o l l记录需存在。 7. substr s u b s t r是一个很有用的函数。它按照起始位置及长度返回字符串的一部分。例子如下： 上面例子中，指定在域1的第一个字符开始，返回其前面 5个字符。 第9章 AWK 介 绍 79 下载 如果给定长度值远大于字符串长度， a w k将从起始位置返回所有字符，要抽取 L Ta n s l - e y 的姓，只需从第3个字符开始返回长度为7。可以输入长度9 9，a w k返回结果相同。 s u b s t r的另一种形式是返回字符串后缀或指定位置后面字符。这里需要给出指定字符串及 其返回字串的起始位置。例如，从文本文件中抽取姓氏，需操作域 1，并从第三个字符开始： 还有一个例子，在 B E G I N部分定义字符串，在 E N D部分返回从第 t个字符开始抽取的子 串。 8. 从s h e l l中向a w k传入字符串 本章开始已经提到过，a w k脚本大多只有一行，其中很少是字符串表示的。本书大多要求 在一行内完成a w k脚本，这一点通过将变量传入 a w k命令行会变得很容易。现就其基本原理讲 述一些例子。 使用管道将字符串s t a n d - b y传入a w k，返回其长度。 设置文件名为一变量，管道输出到 a w k，返回不带扩展名的文件名。 设置文件名为一变量，管道输出到 a w k，只返回其扩展名。 9.2.10 字符串屏蔽序列 使用字符串或正则表达式时，有时需要在输出中加入一新行或查询一元字符。 打印一新行时，（新行为字符 \ n），给出其屏蔽序列，以不失其特殊含义，用法为在字符 串前加入反斜线。例如使用 \ n强迫打印一新行。 如果使用正则表达式，查询花括号（ { }），在字符前加反斜线，如 / \ { /，将在a w k中失掉其 特殊含义。 表9 - 5列出a w k识别的另外一些屏蔽序列 表9-5 awk中使用的屏蔽序列 \ b 退格键 \ t t a b键 \ f 走纸换页 \ d d d 八进制值 \ n 新行 \ c 任意其他特殊字符，例如 \ \为反斜线符号 \ r 回车键 80 第二部分 文 本 过 滤 下载 使用上述符号，打印 May Day，中间夹 t a b键，后跟两个新行，再打印 May Day，但这次 使用八进制数1 0 4、1 4 1、1 7 1、分别代表D、a、y。 注意，\ 1 0 4为D的八进制A S C I I码，\ 1 4 1为a的八进制A S C I I码，等等。 9.2.11 awk输出函数printf 目前为止，所有例子的输出都是直接到屏幕，除了 t a b键以外没有任何格式。 a w k提供函 数p r i n t f，拥有几种不同的格式化输出功能。例如按列输出、左对齐或右对齐方式。 每一种p r i n t f函数（格式控制字符）都以一个 %符号开始，以一个决定转换的字符结束。 转换包含三种修饰符。 p r i n t f函数基本语法是p r i n t f（[格式控制符 ]，参数），格式控制字符通常在引号里。 9.2.12 printf修饰符 表9-6 awk printf修饰符 - 左对齐 Wi d t h 域的步长，用0表示0步长 . p r e c 最大字符串长度，或小数点右边的位数 表9-7 awk printf格式 % c A S C I I字符 % d 整数 % e 浮点数，科学记数法 % f 浮点数，例如（1 2 3 . 4 4） % g a w k决定使用哪种浮点数转换e或者f % o 八进制数 % s 字符串 % x 十六进制数 1. 字符转换 观察A S C I I码中6 5的等价值。管道输出 6 5到a w k。p r i n t f进行A S C I I码字符转换。这里也加 入换行，因为缺省情况下p r i n t f不做换行动作。 当然也可以按同样方式使用a w k得到同样结果。 所有的字符转换都是一样的，下面的例子表示进行浮点数转换后‘ 9 9 9’的输出结果。整 数传入后被加了六个小数点。 2. 格式化输出 第9章 AWK 介 绍 81 下载 打印所有的学生名字和序列号，要求名字左对齐， 1 5个字符长度，后跟序列号。注意 \ n 换行符放在最后一个指示符后面。输出将自动分成两列。 最好加入一些文本注释帮助理解报文含义。可在正文前嵌入头信息。注意这里使用 p r i n t 加入头信息。如果愿意，也可使用 p r i n t f。 3. 向一行a w k命令传值 在查看a w k脚本前，先来查看怎样在a w k命令行中传递变量。 在a w k执行前将值传入a w k变量，需要将变量放在命令行中，格式如下： awk 命令变量=输入文件值 （后面会讲到怎样传递变量到 a w k脚本中）。 下面的例子在命令行中设置变量 A G E等于1 0，然后传入a w k中，查询年龄在 1 0岁以下的 所有学生。 要快速查看文件系统空间容量，观察其是否达到一定水平，可使用下面 a w k一行脚本。因 为要监视的已使用空间容量不断在变化，可以在命令行指定一个触发值。首先用管道命令将 df -k传入a w k，然后抽出第 4列，即剩余可利用空间容量。使用 $ 4 ~ / ^ [ 0 - 9 ] /取得容量数值 （1 0 2 4块）而不是d f的文件头，然后对命令行与‘ i f ( $ 4 < T R I G G E R )’上变量T R I G G E R中指定 的值进行查询测试。 在系统中使用df -k命令，产生下列信息： 如果系统中d f输出格式不同，必须相应改变列号以适应工作系统。 当然可以使用管道将值传入 a w k。本例使用 w h o命令，w h o命令第一列包含注册用户名， 这里打印注册用户，并加入一定信息。 a w k也允许传入环境变量。下面的例子使用环境变量 L O G N A M E支持当前用户名。可从 w h o命令管道输出到a w k中获得相应信息。 82 第二部分 文 本 过 滤 下载 如果r o o t为当前登录用户，输出如下： root you are connected to t typ1 4. awk脚本文件 可以将a w k脚本写入一个文件再执行它。命令不必很长（尽管这是写入一个脚本文件的主 要原因），甚至可以接受一行命令。这样可以保存 a w k命令，以使不必每次使用时都需要重新 输入。使用文件的另一个好处是可以增加注释，以便于理解脚本的真正用途和功能。 使用前面的几个例子，将之转换成 a w k可执行文件。像原来做的一样，将学生目前级别分 相加awk ‘（t o t + = $ 6） END{print "club student total points：" t o t }’ g r a d e . t x t。 创建新文件s t u d e n t _ t o t . a w k，给所有a w k程序加入a w k扩展名是一种好习惯，这样通过查 看文件名就知道这是一个a w k程序。文本如下： 第一行是！ /bin/awk -f。这很重要，没有它自包含脚本将不能执行。这一行告之脚本系统 中a w k的位置。通过将命令分开，脚本可读性提高，还可以在命令之间加入注释。这里加入头 信息和结尾的平均值。基本上这是一个一行脚本文件。 执行时，在脚本文件后键入输入文件名，但是首先要对脚本文件加入可执行权限。 系统中运用的帐号核实程序检验数据操作人的数据输入，不幸的是这个程序有一点错误， 或者应该说是“非文本特征”。如果一个记录被发现包含一个错误，它应该一次只打印一行 第9章 AWK 介 绍 83 下载 “E R R O R *”，但实际上打印了许多这样的错误行。这会给帐号管理员造成误解，因此需要用 a w k脚本过滤出错误行的出现频率，使得每一个失败记录只对应一个错误行。 在a w k实施过滤前先看看部分文件： a w k脚本如下： a w k过滤结果如下： 5. 在a w k中使用F S变量 如果使用非空格符做域分隔符（F S）浏览文件，例如# 或 ：，编写这样的一行命令很容易， 因为使用F S选项可以在命令行中指定域分隔符。 84 第二部分 文 本 过 滤 下载 使用a w k脚本时，记住设置 F S变量是在B E G I N部分。如果不这样做， a w k将会发生混淆， 不知道域分隔符是什么。 下述脚本指定 F S变量。脚本从 / e t c / p a s s w d文件中抽取第 1和第5域，通过分号“;”分隔 p a s s w d文件域。第1域是帐号名，第5域是帐号所有者。 6. 向a w k脚本传值 向a w k脚本传值与向a w k一行命令传值方式大体相同，格式为： awk scr ipt_f i le var=value input_f i le 下述脚本对比检查文件中域号和指定数字。这里使用了 N F变量M A X，表示指定检查的域 号，使用双引号将域分隔符括起来，即使它是一个空格。 如果以/ e t c / p a s s w d作输入文件（p a s s w d文件有7个域），运行上述脚本。参数格式如下： 使用前面一行脚本的例子，将之转换成 a w k脚本如下： 文本包括了比实际命令更多的信息，没关系，仔细研读文本后，就可以精确知道其功能 及如何调用它。 不要忘了增加脚本的可执行权限，然后将变量和赋值放在命令行脚本名字后、输入文件 前执行。 第9章 AWK 介 绍 85 下载 同样可以使用前面提到的管道命令传值，下述 a w k脚本从d u命令获得输入，并输出块和字 节数。 为运行这段脚本，使用d u命令，并管道输出至a w k脚本。 9.2.13 awk数组 前面讲述s p l i t函数时，提到怎样使用它将元素划分进一个数组。这里还有一个例子： 在上面的例子中，s p l i t返回数组m y a r r a y下标数。实际上m y a r r a y数组为： 数组使用前，不必定义，也不必指定数组元素个数。经常使用循环来访问数组。下面是 一种循环类型的基本结构： For (e lement in array ) pr int array[e lement] 对于记录“1 2 3 # 4 5 6 # 6 7 8”，先使用s p l i t函数划分它，再使用循环打印各数组元素。操作 脚本如下： 数组和记录 86 第二部分 文 本 过 滤 下载 要运行脚本，使用 / d e v / n u l l作为输入文件。 上面的例子讲述怎样通过 s p l i t函数使用数组。也可以预先定义数组，并使用它与域进行比 较测试，下面的例子中将使用更多的数组。 下面是从空手道数据库卸载的一部分数据，包含了学生级别及是否是成人或未成年人的 信息，有两个域，分隔符为（ #），文件如下： 脚本功能是读文件并输出下列信息。 1) 俱乐部中Ye l l o w、O r a n g e和R e d级别的人各是多少。 2 )俱乐部中有多少成年人和未成年人。 查看文件，也许 2 0秒内就会猜出答案，但是如果记录超过 6 0个又怎么办呢？这不会很容 易就看出来，必须使用a w k脚本。 首先看看a w k脚本，然后做进一步讲解。 第9章 AWK 介 绍 87 下载 B E G I N部分设置F S为符号#，即域分隔符，因为要查找 Ye l l o w、O r a n g e和R e d三个级别。 然后在脚本中手工建立数组下标对学生做同样的操作。注意，脚本到此只有下标或元素，并 没有给数组名本身加任何注释。初始化完成后， B E G I N部分结束。记住 B E G I N部分并没有文 件处理操作。 现在可以处理文件了。首先给数组命名为 c o l o r，使用循环语句测试域1级别列是否等于数 组元素之一（Ye l l o w、O r a n g e或R e d），如果匹配，依照匹配元素将运行总数保存进数组。 同样处理数组‘ S e n i o r _ o r _ j u n i o r’，浏览域 2时匹配操作满足，运行总数存入 j u n i o r或 s e n i o r的匹配数组元素。 E N D部分打印浏览结果，对每一个数组使用循环语句并打印它。 注意在打印语句末尾有一个 \符号，用来通知 a w k（或相关脚本）命令持续到下一行，当 输入一个很长的命令，并且想分行输入时可使用这种方法。运行脚本前记住要加入可执行权 限。 9.3 小结 学校三防设施建设情况幼儿园教研工作小结高血压知识讲座小结防范电信网络诈骗宣传幼儿园师德小结 a w k语言学起来可能有些复杂，但使用它来编写一行命令或小脚本并不太难。本章讲述了 a w k的最基本功能，相信 大家已经掌握了a w k的基本用法。a w k是s h e l l编程的一个重要工具。 在s h e l l命令或编程中，虽然可以使用 a w k强大的文本处理能力，但是并不要求你成为这方面的 专家。 88 第二部分 文 本 过 滤 下载 第9 章AWK 介绍 9.1 调用awk 9.2 awk 脚本 9.2.1 模式和动作 9.2.2 域和记录 9.2.3 awk 中正则表达式及其操作 9.2.4 元字符 9.2.5 条件操作符 9.2.6 awk 内置变量 9.2.7 NF 、NR 和FILENAME 9.2.8 awk 操作符 9.2.9 内置的字符串函数 9.2.10 字符串屏蔽序列 9.2.11 awk 输出函数printf 9.2.12 printf 修饰符 9.2.13 awk 数组 9.3 小结