14 grep, sort, uniq

在上一篇中，我们详细讨论了文件查找命令，如 find 和 locate。这篇文章将聚焦于文本处理命令，了解 grep、sort 和 uniq 如何处理和分析查找到的文本文件内容。文本处理在Linux日常操作中十分重要，尤其是在处理日志文件和数据分析时。

1. grep：文本搜索

grep 是用于文本搜索的强大工具，可以在文件中查找与给定模式匹配的行。其基本语法如下：

grep [options] pattern [file...]

基本用法

假设我们有一个名为 example.txt 的文件，文件内容如下：

Hello World
This is a test file.
Let's learn Linux commands.
Linux is powerful.

如果我们要查找文件中包含 “Linux” 的行，可以使用如下命令：

grep "Linux" example.txt

输出将为：

Let's learn Linux commands.
Linux is powerful.

常用选项

• -i：忽略大小写。例如：

  grep -i "linux" example.txt

• -n：显示匹配行的行号。例如：

  grep -n "Linux" example.txt

• -r：递归搜索目录中的文件。例如：

  grep -r "Linux" /path/to/directory

2. sort：排序文件内容

sort 命令用于对文本文件进行排序。其基本语法为：

sort [options] [file...]

基本用法

假设我们有一个名为 names.txt 的文件，文件内容如下：

John
Alice
Bob
Charlie

要对这些名字进行排序，只需简单地运行命令：

sort names.txt

输出将为：

Alice
Bob
Charlie
John

常用选项

• -r：按降序排序。例如：

  sort -r names.txt

• -n：根据数字排序。例如，若我们有一个名为 numbers.txt 的文件，内容为：

  10
  2
  30
  1

  使用命令：

  sort -n numbers.txt

  输出将为：

  1
  2
  10
  30

3. uniq：去重命令

uniq 命令用于去除文本文件中的重复行，通常与 sort 一起使用以确保输入是有序的。其基本语法为：

uniq [options] [input [output]]

基本用法

假设我们有一个名为 duplicates.txt 的文件，内容如下：

Apple
Banana
Apple
Cherry
Banana
Apple

我们可以使用 sort 和 uniq 组合去除重复项：

sort duplicates.txt | uniq

输出将为：

Apple
Banana
Cherry

常用选项

• -c：计数每个唯一行出现的次数。例如：

  sort duplicates.txt | uniq -c

  输出将为：

  3 Apple
  2 Banana
  1 Cherry

• -d：仅显示重复行。例如：

  sort duplicates.txt | uniq -d

  输出将为：

  Apple
  Banana

案例结合：从查找文件到文本处理

现在，我们将结合前面提到的 find 命令以及 grep、sort 和 uniq 命令进行一个实际案例。假设我们想查找当前目录下所有的 .log 文件，并提取出所有包含 “ERROR” 的行，并统计出现的频率。

首先，我们可以使用 find 命令查找 .log 文件：

find . -name "*.log" -exec grep "ERROR" {} \; > error_lines.txt

接下来，我们对 error_lines.txt 中的错误行进行排序并统计出现次数：

sort error_lines.txt | uniq -c > error_counts.txt

最后，通过查看 error_counts.txt，我们能够快速了解不同错误信息的出现频率。

总结

在这篇文章中，我们学习了 grep、sort 和 uniq 三个重要的文本处理命令。通过实际案例，我们不仅掌握了这些命令的基本用法，还了解到如何将它们与文件查找命令结合使用，为后续的数据处理和分析打下了基础。接下来，我们将在下一篇文章中探讨管道和重定向的使用，让我们更高效地处理Linux中的数据流。