DevOps知识中心
DevOps知识中心

使用 JQ 精通 AWS CLI 输出过滤：高级技巧

通过掌握 JQ 集成，释放 AWS CLI 的全部潜力。本指南提供了高级的实用技巧，用于解析、过滤和重塑来自 AWS 命令的复杂 JSON 输出。学习如何迭代数组、使用条件选择以及将数据格式化为 CSV，以实现强大的自动化和卓越的数据分析。

35 浏览量

使用 JQ 精通 AWS CLI 输出过滤：高级技巧

使用 Amazon Web Services (AWS) 命令行界面 (CLI) 是云自动化和基础设施管理的基础。虽然 AWS CLI 提供了强大的命令，但其默认的 JSON 输出——通常冗长且嵌套——对于直接脚本编写或人类可读性来说可能很麻烦。这时，外部 JSON 处理器 JQ 就成了不可或缺的伙伴。

本指南深入探讨了将 JQ 与 AWS CLI 集成，以将原始 JSON 响应转换为精确过滤、格式化且可操作的数据。通过掌握这些高级过滤技术，您可以大大提高在 AWS 生态系统中自动化脚本和实时数据分析任务的效率和健壮性。

有效过滤的前提条件

在深入研究高级过滤之前，请确保您已正确安装并配置了必要的工具。JQ 是一个命令行 JSON 处理器，必须单独安装于 AWS CLI 之外。

1. 安装 JQ

JQ 通常可以通过标准的包管理器获得。请确保为您使用的操作系统安装正确的版本：

  • Linux (Debian/Ubuntu):
    bash sudo apt update && sudo apt install jq
  • Linux (RHEL/Fedora):
    bash sudo yum install jq # 或 dnf install jq
  • macOS (使用 Homebrew):
    bash brew install jq

2. AWS CLI 输出配置

为了让 JQ 正确工作，您必须指示 AWS CLI 以 JSON 格式输出结果。这可以通过将 --output 或 -o 标志设置为 json 来实现。

aws ec2 describe-instances --output json

默认情况下，AWS CLI 通常使用 --query（使用 JMESPath）进行简单过滤。然而，JQ 在复杂操作、结构转换和数据提取方面提供了卓越的灵活性，当达到 JMESPath 的限制时，它就成为理想的选择。

JQ 基本语法和管道操作

JQ 通过接收 JSON 输入并应用过滤器表达式来工作。输出直接从 AWS CLI 命令通过管道传输。

标识过滤器 (.) 和美化打印

最简单的过滤器是标识运算符 (.)，它返回整个输入结构，并进行美化打印（pretty-printed）。

示例：美化打印 EC2 实例

aws ec2 describe-instances --output json | jq '.'

选择顶层键

要访问 JSON 响应中的特定顶层对象，请使用点表示法。

如果输出结构是 {"Reservations": [...], "OwnerId": "..."}，您可以只选择 reservations 数组：

aws ec2 describe-instances --output json | jq '.Reservations'

高级过滤和迭代

当处理 AWS 响应中常见的资源数组时，JQ 的真正威力得以展现。

迭代数组 (.[])

当 AWS 命令返回一个列表（数组）时，使用 .[] 迭代数组中的每个项，允许您单独处理它们。

考虑 describe-instances 的结构。主数组是 Reservations。每个 Reservation 包含一个 Instances 数组。

示例：提取所有实例的 ID

要获取跨所有 Reservation 的所有实例 ID 的列表：

aws ec2 describe-instances --output json | jq '.Reservations[].Instances[].InstanceId'

选择特定属性

迭代完成后，您可以从每个对象中选择特定字段。上述命令的输出将返回一个字符串列表，每个字符串都用引号括起来。

示例：实例 ID 和状态

查看实例 ID 及其当前状态码：

aws ec2 describe-instances --output json | jq '.Reservations[].Instances[] | {ID: .InstanceId, State: .State.Name}'

这使用了管道 (|) 运算符将迭代结果传递给一个新的对象构造 {...}。

基于条件过滤 (select())

select(condition) 函数对于条件数据检索至关重要，类似于 SQL 中的 WHERE 子句。

示例：仅查找正在运行的实例

我们过滤实例数组，其中 State.Name 等于 running。

aws ec2 describe-instances --output json | jq '.Reservations[].Instances[] | select(.State.Name == "running") | .InstanceId'

复杂过滤技巧： 过滤字符串时，请记住 JQ 要求在条件中使用的字符串字面量周围使用双引号（"running"）。

数据格式化和转换

除了简单的提取，JQ 还允许重塑数据，以便更好地集成到后续脚本或报告中。

创建结果数组

如果您希望最终输出是干净的 JSON 数组而不是单个项目的流，请将整个表达式包装在方括号 [...] 中。

示例：所有实例 ID 的干净列表

aws ec2 describe-instances --output json | jq '[.Reservations[].Instances[].InstanceId]'

创建自定义对象 (Map)

要创建结构化的配置文件或映射数据，请使用键值对构造新对象。这对于将内部 AWS ID 映射到更简洁的名称非常有用。

示例：将实例 ID 映射到其标记的名称

这假设您的实例有一个键为 Name 的标签。

aws ec2 describe-instances --output json | jq '.Reservations[].Instances[] | {ID: .InstanceId, Name: (.Tags[]? | select(.Key == "Name") | .Value)}'

关于可选字段的注意事项： 注意 (.Tags[]? | ...) 和可选运算符 ? 的使用。如果实例没有标签，这将防止过滤器失败；它只会为 Name 字段返回 null。

格式化为 CSV/TSV 输出

要生成适合电子表格导入的纯文本报告，您可以使用 @csv 或 @tsv 格式化器。这要求您按所需顺序构建包含确切字段的数组。

示例：生成实例 ID 和类型的 CSV 输出

aws ec2 describe-instances --output json | jq -r '.Reservations[].Instances[] | [.InstanceId, .InstanceType] | @csv'
  • 这里的 -r (原始输出) 标志至关重要；它会删除最终 CSV 字符串周围的引号，使输出真正成为纯文本。

实际自动化示例：检查未附加的弹性 IP

此示例演示了如何组合迭代、过滤和选择来解决常见的资源清理任务。

目标： 列出所有当前未附加到实例的弹性 IP 地址（即未附加的）。

# 1. 获取所有分配
# 2. 遍历每个分配
# 3. 选择 AssociationId 为 null 的项
# 4. 提取 PublicIp

aws ec2 describe-addresses --output json | \ 
  jq -r '.Addresses[] | select(.AssociationId == null) | .PublicIp'

如果此命令返回任何 IP 地址，您就知道这些资源是可释放的候选者，从而节省成本。

结论

AWS CLI 和 JQ 的结合提供了一个无与伦比的云数据管理工具集。虽然 AWS CLI 内置的 --query 功能对于简单查找非常强大，但 JQ 为迭代、复杂的条件逻辑 (select) 以及复杂自动化管道所需的深度数据转换提供了强大的表达能力。通过结合这些 JQ 技术——特别是迭代 ([])、条件过滤 (select) 和原始输出格式化 (-r)——您可以将臃肿的 JSON 响应转化为精确、可操作的数据，完全满足您的脚本需求。