学而时习之
本文描述 Shell编程中关于文本处理的命令，如grep、sed、awk
grep：
grep 是一个文本搜索工具，用于搜索文件中的行，这些行匹配一个或多个正则表达式。它快速、灵活，是文本搜索的标准工具。grep 支持多种选项，如忽略大小写、递归搜索目录、使用正则表达式等。常用于快速查找文件中包含特定文本的行。
sed：
sed（Stream Editor）是一个流编辑器，用于对文本数据进行过滤和转换。它按照指定的模式执行编辑命令，如插入、删除、替换和转换。
sed脚本可以非常简洁，适合进行简单的文本替换和模式匹配。常用于自动化文本编辑任务。
awk：
awk是一个强大的文本处理工具，特别适合用来处理结构化数据，如表格数据。它能够读取文件，并对数据进行模式扫描和处理。
awk支持复杂的条件语句、循环、数组等编程结构。常用于数据的提取、排序、计算等。
grep 命令简介
语法结构
grep [OPTIONS] PATTERN [FILE...]
OPTIONS：可选的命令行选项。
PATTERN：要搜索的模式，可以是简单的字符串或复杂的正则表达式。
FILE：要搜索的文件或目录，如果不指定文件，默认为标准输入。
常用选项
-i：忽略大小写差异，使得搜索不区分大小写。-v：显示不包含匹配文本的行。-n：显示匹配行的行号。-c：仅显示匹配行的数量，不显示行内容。-r或-R：递归地在指定目录下的所有文件中搜索。-e：允许同时搜索多个模式。-l：仅显示包含匹配文本的文件名。--color=auto：将匹配的文本以彩色显示，便于区分。
示例
搜索单个文件中的字符串：
grep"hello" file.txt搜索多个文件中的字符串：
grep"hello" file1.txt file2.txt同时搜索多个模式：
grep -e "hello" -e "world" file.txt显示匹配行号：
grep -n "hello" file.txt显示不匹配的行：
grep -v "hello" file.txt递归搜索目录中的字符串：
grep -r "hello" directory/只显示包含匹配文本的文件名：
grep -l "hello" directory/统计匹配的行数：
grep -c "hello" file.txt使用正则表达式搜索（假设
PATTERN是一个正则表达式）：grep -E "regexp" file.txt高亮显示匹配的文本：
grep --color=auto "hello" file.txt
sed 命令简介
语法结构
sed [OPTIONS] 'COMMANDS' [FILE...]
OPTIONS：可选的命令行选项。
COMMANDS：要执行的
sed命令序列，通常用单引号括起来。FILE：要处理的文件或文件列表，如果不指定，
sed会从标准输入读取。
常用命令
s：替换指定模式。d：删除指定行。i：在指定行前插入文本。c：替换指定行。y：字符转换。p：打印行。a：在指定行后追加文本。q：退出sed。
选项
-i：直接修改文件，而不是输出到标准输出。-n：仅打印经过sed命令处理的行。-e：执行一个sed命令脚本。
示例
替换文件中的指定字符串：
sed's/hello/world/' file.txt删除文件中的指定行：
sed'3d' file.txt在文件中指定行后插入指定字符串：
sed'2i\hello world' file.txt替换文件中指定行的内容：
sed'3c\hello world' file.txt在文件中指定行后追加文本：
sed'2a\
This is a new line added after line 2\
' file.txt打印文件中匹配的行：
sed -n '/world/p' file.txt字符转换：
sed'y/abcdefghijklmnopqrstuvwxyz/ABCDEFGHIJKLMNOPQRSTUVWXYZ/' file.txt使用正则表达式进行替换：
sed's/[0-9]/& /g' file.txt # 将数字后添加空格使用模式匹配进行删除：
sed'/^$/d' file.txt # 删除空行直接修改文件：
sed -i 's/old/new/' file.txt多命令执行：
sed -e 's/old/new/' -e 's/yes/no/' file.txt打印不匹配的行：
sed -n '/old/!p' file.txt
awk 命令简介
语法结构
awk [OPTIONS] 'PROGRAM' [FILE...]
OPTIONS：可选的命令行选项。
PROGRAM：
awk程序，包含模式和要执行的动作，通常用单引号括起来。FILE：要处理的文件或文件列表，如果不指定，
awk会从标准输入读取。
常用选项
-F：设置输入字段分隔符。-v：向awk程序传递外部变量。--field-separators：设置字段分隔符。--record-separators：设置记录分隔符。
基本元素
PATTERN：可以是特定的文本、正则表达式或空（表示所有记录）。
ACTION：当模式匹配时执行的命令或代码块。
示例
打印文件中的所有行：
awk'{print}' file.txt打印文件中第二列的内容：
awk'{print $2}' file.txt计算文件中所有数字的总和：
awk'{sum += $1} END {print sum}' file.txt打印文件中包含指定字符串的行：
awk'/hello/ {print}' file.txt在文件中指定列后面添加指定字符串：
awk'{$3 = $3 "hello"} {print}' file.txt使用字段分隔符：
awk -F":"'{print $1}' /etc/passwd条件判断：
awk'{if ($1 > 100) print $0}' file.txt循环结构：
awk'{for (i = 1; i <= NF; i++) print $i}' file.txt格式化输出：
awk'{printf "%-15s %-10s\n", $1, $2}' file.txt使用外部变量：
awk -v var="value"'{print var}' file.txt多模式匹配：
awk'/pattern1/,/pattern2/' file.txt自定义函数：
awk'{func()} {print} function func() {print "This is a custom function"}'处理多个文件：
awk'{...}' file1.txt file2.txt
其他的文本处理命令：uniq、sort 、tr 、cut、tee等
前文回顾：
后续计划更新的内容
正则表达式：了解正则表达式的基本概念，因为它们在文本处理中非常有用。
调试技巧：学习如何使用
set -x进行调试，以及如何通过查看错误消息来解决问题。脚本优化：了解如何编写高效、可读性强的脚本。
安全最佳实践：学习如何编写安全的脚本，避免常见的安全漏洞。
Shell 脚本的调试和测试：学习如何测试和调试你的脚本，确保它们按预期工作。
Shell 脚本的维护：了解如何维护和更新你的脚本，使其能够适应环境的变化。
