文本处理是Unix的核心。从管道到/proc子系统，“一切都是文件”的理念贯穿于操作系统和所有基于它构造的工具。正因为如此，轻松地处理文本是一个期望成为Linux系统管理员甚至是资深用户的最重要的技能之一，而 awk是通用编程语言之外最强大的文本处理工具之一。 最简单的awk的任务是从标准输入中选择字段；如果你对awk除了这个用途之外，从来没了解过它的其他用途，你会发现它还是会是你身边一个非常有用

图片来源: Shutterstock 我们不要让下一代 Linux 和 Unix 的管理员忘记初始化脚本和基本工具的好处 我曾经有一次在 Reddit 看到一个帖子，“请问如何操作文本文件”。这是一个很简单的需求，就像我们常用 Unix 的人每天遇到的一样。他的问题是，如何删除文件中的重复行，只保留不重复的。 这听起来似乎很简单，但是当文件足够大时，就会有些复杂。 这个问题有很多种不同的答案。你可

在 awk 系列的前几节，我们看到大多数操作都是从一个文件或多个文件读取输入，或者你想要把标准输入作为 awk 的输入。 在 awk 系列的第七节中，我们将会看到几个例子，你可以筛选其他命令的输出代替从一个文件读取输入作为 awk 的输入。 我们首先从使用 dir 命令开始，它类似于 ls 命令，在第一个例子下面，我们使用 dir -l 命令的输出作为 awk 命令的输入，这样就可以打印出文件拥有

在 awk 系列的第六节，我们来看一下next命令 ，它告诉 awk 跳过你所提供的所有剩下的模式和表达式，直接处理下一个输入行。 next 命令帮助你阻止运行命令执行过程中多余的步骤。 要明白它是如何工作的, 让我们来分析一下 food_list.txt 它看起来像这样： Food List Items No Item_Name Price Quantity 1 Mangoes $3.45 5

一直以来在查对条件是否匹配时，我们使用的都是简单的表达式。那如果你想用超过一个表达式来查对特定的条件呢？ 本文中，我们将看看如何在过滤文本和字符串时，结合多个表达式，即复合表达式，用以查对条件。 awk 的复合表达式可由表示“与”的组合操作符 && 和表示“或”的 || 构成。 复合表达式的常规写法如下： ( 第一个表达式 ) && ( 第二个表达式 ) 这里只有当

对于 使用 awk 命令的用户来说，处理一行文本中的数字或者字符串时，使用比较运算符来过滤文本和字符串是十分方便的。 在 awk 系列的此部分中，我们将探讨一下如何使用比较运算符来过滤文本或者字符串。如果你是程序员，那么你应该已经熟悉了比较运算符；对于其它人，下面的部分将介绍比较运算符。 awk 中的比较运算符是什么？ awk 中的比较运算符用于比较字符串和或者数值，包括以下类型： > –

作为 awk 命令系列的第三部分，这次我们将看一看如何基于用户定义的特定模式来筛选文本或字符串。 在筛选文本时，有时你可能想根据某个给定的条件或使用一个可被匹配的特定模式，去标记某个文件或数行字符串中的某几行。使用 awk 来完成这个任务是非常容易的，这也正是 awk 中可能对你有所帮助的几个功能之一。 让我们看一看下面这个例子，比方说你有一个写有你想要购买的食物的购物清单，其名称为 food_p

在 Awk 系列的这一节中，我们将看到 awk 最重要的特性之一，字段编辑。 首先我们要知道，Awk 能够自动将输入的行，分隔为若干字段。每一个字段就是一组字符，它们和其他的字段由一个内部字段分隔符分隔开来。 Awk 输出字段和列 如果你熟悉 Unix/Linux 或者懂得 bash shell 编程，那么你应该知道什么是内部字段分隔符（IFS）变量。awk 中默认的 IFS 是制表符和空格。 a

当我们编写 shell 脚本时，我们通常会在脚本中包含其它小程序或命令，例如 awk 操作。对于 awk 而言，我们需要找一些将某些值从 shell 传递到 awk 操作中的方法。 我们可以通过在 awk 命令中使用 shell 变量达到目的，在 awk 系列的这一节中，我们将学习如何让 awk 使用 shell 变量，这些变量可能包含我们希望传递给 awk 命令的值。 有两种可能的方法可以让 a

我们将逐渐揭开 awk 功能的神秘面纱，在本节中，我们将介绍 awk 内置 （ built-in ） 变量的概念。你可以在 awk 中使用两种类型的变量，它们是： 用户自定义 （ user-defined ） 变量（我们在第八节中已经介绍了）和内置变量。 awk 内置变量示例 awk 内置变量已经有预先定义的值了，但我们也可以谨慎地修改这些值，awk 内置变量包括： FILENAME : 当前输入

在 awk 系列的第八节，我们介绍了一些强大的 awk 命令功能，它们是变量、数字表达式和赋值运算符。 本节我们将学习更多的 awk 功能，即 awk 的特殊模式：BEGIN 和 END。 学习 awk 的模式 BEGIN 和 END 随着我们逐渐展开，并探索出更多构建复杂 awk 操作的方法，将会证明 awk 的这些特殊功能的是多么强大。 开始前，先让我们回顾一下 awk 系列的介绍，记得当我们

我觉得 awk 系列 将会越来越好，在本系列的前七节我们讨论了在 Linux 中处理文件和筛选字符串所需要的一些 awk 命令基础。 在这一部分，我们将会进入 awk 更高级的部分，使用 awk 处理更复杂的文本和进行字符串过滤操作。因此，我们将会讲到 Awk 的一些特性，诸如变量、数值表达式和赋值运算符。 学习 Awk 变量，数值表达式和赋值运算符 你可能已经在很多编程语言中接触过它们，比如 s

当你回顾所有到目前为止我们已经覆盖的 awk 实例，从 awk 系列的开始，你会注意到各种实例的所有指令是顺序执行的，即一个接一个地执行。但在某些情况下，我们可能希望基于一些条件进行文本过滤操作，即流程控制语句允许的那些语句。 在 awk 编程中有各种各样的流程控制语句，其中包括： if-else 语句 for 语句 while 语句 do-while 语句 break 语句 continue 语

从 awk 系列开始直到第 12 部分，我们都是在命令行或者脚本文件里写一些简短的 awk 命令和程序。 然而 awk 和 shell 一样也是一个解释型语言。通过从开始到现在的一系列的学习，你现在能写可以执行的 awk 脚本了。 和写 shell 脚本差不多，awk 脚本以下面这一行开头： #! /path/to/awk/utility -f 例如在我的系统上，awk 工具安装在 /user/b

在这篇文章中，我们将会看一些 Linux 中的过滤器命令行工具。过滤器是一个程序，它从标准输入读取数据，在数据上执行操作，然后把结果写到标准输出。 因此，它可以用来以强大的方式处理信息，例如重新结构化输出以生成有用的报告，修改文件里面的文本，以及其他很多系统管理任务。 下面是 Linux 上的一些有用的文件或者文本过滤器。 1、 awk 命令 awk 是一个卓越的模式扫描和处理语言，它可被用于在

Q：我想在 Linux / 类Unix 系统上使用 awk 打印文件名。 如何使用 awk 的 BEGIN 特殊模式打印文件名？ 我可以使用 gawk/awk 打印当前输入文件的名称吗？（LCTT 译注：读者最好能有一些 awk 的背景知识，否则阅读本文的时候会有一些困惑） 在 FILENAME 变量中存放着当前输入文件的名称。 您可以使用 FILENAME 显示或打印当前输入文件名，如果在命令行

对于许多数据科学家来说，数据操作从始至终就是 Pandas 或 Tidyverse。从理论上讲，这样做没有任何问题。毕竟，这就是这些工具存在的原因。然而，对于像分隔符转换这样的简单任务，这些工具是大材小用了。 立志掌握命令行应该在每个开发人员的学习清单上，特别是数据科学家。学习 shell 的来龙去脉将无可否认地提高你的生产力。除此之外，命令行还是计算领域的一个重要历史课程。例如，awk —— 一

用一个简单的 AWK 程序跟踪你的同事喝咖啡的欠款。 以下基于一个真实的故事，虽然一些名字和细节有所改变。 很久以前，在一个遥远的地方，有一间庙（划掉）办公室。由于各种原因，这个办公室没有购买速溶咖啡。所以那个办公室的一些人聚在一起决定建立“咖啡角”。 咖啡角的一名成员会购买一些速溶咖啡，而其他成员会付给他钱。有人喝咖啡比其他人多，所以增加了“半成员”的级别：半成员每周允许喝的咖啡限量，并可以支付

有时你可能需要在 Linux 中删除某个文件中的空行。如果是的，你可以使用下面方法中的其中一个。有很多方法可以做到，但我在这里只是列举一些简单的方法。 你可能已经知道 grep、awk 和 sed 命令是专门用来处理文本数据的工具。 如果你想了解更多关于这些命令的文章，请访问这几个 URL：在 Linux 中创建指定大小的文件的几种方法，在 Linux 中创建一个文件的几种方法 以及 在 Linu

让我们开始使用它。 awk 是用于 Unix 和类 Unix 系统的强大文本解析工具，但是由于它有可编程函数，因此你可以用它来执行常规解析任务，因此它也被视为一种编程语言。你可能不会使用 awk 开发下一个 GUI 应用，并且它可能不会代替你的默认脚本语言，但是它是用于特定任务的强大程序。 这些任务或许是惊人的多样化。了解 awk 可以解决你的哪些问题的最好方法是学习 awk。你会惊讶于 awk