AWK 文本分析工具核心总结

阅读 13

05-01 09:00

大家好,欢迎来到程序视点!我是你们的老朋友.小二!

AWK 文本分析工具核心总结

1. AWK 简介

  • 定义:AWK 是一种强大的文本分析工具,擅长数据扫描、处理及生成报告。
  • 版本:awk(原始版)、nawk(增强版)、gawk(GNU 版,最常用)。
  • 核心功能:逐行读取文本,默认以空格分隔字段(域),支持自定义分隔符,对切片后的数据进行处理。

2. 基本语法与调用方式

  • 语法结构

awk '{pattern + action}' filename

  • pattern:匹配模式(如正则表达式)。
  • action:匹配后执行的操作(如打印、计算)。
  • 调用方法
  1. 命令行直接调用

awk -F '分隔符' '命令' 输入文件

  1. 脚本调用:将 AWK 命令写入可执行文件,首行指定解释器(如 #!/bin/awk)。
  2. 加载脚本文件

awk -f 脚本文件 输入文件

3. 核心功能示例

  • 提取字段

# 显示文件每行的第1列(默认空格分隔)
awk '{print $1}' file  

# 指定冒号分隔符(如处理 /etc/passwd)
awk -F: '{print $1}' /etc/passwd

  • 添加表头与表尾

awk -F: 'BEGIN {print "Name,Shell"} {print $1","$7} END {print "End"}' /etc/passwd

  • 条件过滤

# 匹配含 "root" 的行
awk -F: '/root/' /etc/passwd  

# 正则匹配(root 开头)
awk -F: '/^root/' /etc/passwd

4. 内置变量

变量

用途

$0

当前整行记录

$1, $2…

第1、2…个字段

NF

当前行的字段数

NR

当前行号

FS

输入字段分隔符(默认空格)

OFS

输出字段分隔符(默认空格)

FILENAME

当前文件名

5. 进阶功能

  • 自定义变量与统计

# 统计行数
awk '{count++; print $0} END {print "Total:", count}' file  

# 初始化变量
awk 'BEGIN {count=0} {count++} END {print count}' file

  • 条件与循环

# 条件判断(过滤非4096字节的文件)
ls -l | awk '{if ($5 != 4096) size+=$5} END {print size/1024 "KB"}'  

# 循环遍历数组
awk -F: '{name[NR]=$1} END {for (i=1; i<=NR; i++) print i, name[i]}' /etc/passwd

6. 输出格式化

  • **printf 替代 print**:支持类似 C 语言的格式化输出。

awk '{printf("Line %d: %s\n", NR, $0)}' file

7. 典型应用场景

  • 日志分析(提取特定字段)。
  • 数据统计(如文件大小总和、行数统计)。
  • 格式化报告生成(添加表头、表尾、分隔符)。

总结

AWK 的核心价值在于其 字段处理能力灵活的脚本编程,适用于结构化文本的快速分析。通过内置变量、条件判断、循环和数组,可实现复杂的数据处理任务,是 Linux 系统管理及数据分析的利器。

更详细文档参考:GNU AWK 手册

最后

【程序视点】助力打工人减负,从来不是说说而已!后续小二哥会继续详细分享更多实用的工具和功能。

如果这篇文章对你有帮助的话,别忘了【在看】【点赞】支持下哦~

精彩评论(0)

0 0 举报