DevOps知识中心
DevOps知识中心

提升Bash脚本性能的10个必备技巧

借助这10个必备的性能技巧，释放您Bash自动化脚本的最大速度。学习如何用高效的Bash内置命令替代缓慢的外部命令，利用优化的循环结构，发掘强大的参数扩展能力，并采用智能策略（例如使用 `find -exec {} +` 进行批量处理），以大幅减少执行开销，加快日常任务处理速度。

31 浏览量

10 个提高 Bash 脚本性能的必备技巧

Bash 脚本是无数类 Unix 系统中自动化任务的支柱。虽然它在组合命令方面功能强大，但编写不佳的脚本可能会遭受严重的性能瓶颈，尤其是在处理大型数据集或频繁执行时。优化脚本不仅仅是编写干净的代码；它关乎最大程度地减少 shell 开销、减少外部进程调用，以及利用 Bash 的内建功能。

本指南概述了十个基本且可操作的技巧，可以显著提高 Bash 脚本的执行速度和效率。掌握这些技术将把运行缓慢的自动化例程转变为闪电般快速的操作。

1. 尽量减少外部命令调用

每当 Bash 执行外部命令（例如 grep、awk、sed）时，它都会派生（fork）一个新的进程，这会带来大量的开销。加速脚本的最有效方法是尽可能利用 Bash 的内建命令。

优先使用内建命令而非外部工具

示例： 在条件检查时，避免使用外部的 test 或 [：

慢（外部） 快（内建）
if [ -f "$FILE" ]; then if [[ -f "$FILE" ]]; then（算术运算使用 if (( ... ))）

提示： 对于算术运算，始终使用 (( ... )) 而非 expr 或 let，因为算术扩展是在 shell 内部处理的。

# 慢
COUNT=$(expr $COUNT + 1)

# 快（内建算术扩展）
(( COUNT++ ))

2. 使用高效的循环结构

迭代命令输出的传统 for 循环由于进程派生或单词拆分问题而可能变慢。请正确使用原生的花括号扩展或 while read 循环。

避免使用 for i in $(cat file)

使用 $(cat file) 会先将整个文件读入内存，然后进行单词拆分，如果文件名包含空格，这不仅效率低下，而且容易出错。请改用 while read 循环进行逐行处理：

# 逐行处理文件的首选方法
while IFS= read -r line;
do
    echo "Processing: $line"
done < "data.txt"

关于 IFS= read -r 的说明： 设置 IFS= 可以防止修剪前导/尾随空格，而 -r 则可以防止反斜杠解释，从而确保数据完整性。

3. 使用参数扩展在内部处理数据

Bash 提供了强大的参数扩展功能（如子串删除、替换和大小写转换），这些功能在字符串上内部操作，从而避免了在简单任务中使用 sed 或 awk 等外部工具。

示例：删除前缀

如果您需要从变量 filename 中删除前缀 log_：

filename="log_report_2023.txt"

# 慢（外部 sed）
# new_name=$(echo "$filename" | sed 's/^log_//')

# 快（内建扩展）
new_name=${filename#log_}
echo "$new_name" # 输出: report_2023.txt

4. 缓存高开销的命令输出

如果脚本中多次执行相同的耗时命令（例如，调用 API、复杂的文件发现），请将结果缓存到变量或临时文件中，而不是重复运行它。

# 在开始时只运行一次
GLOBAL_CONFIG=$(get_system_config_from_db)

# 后续使用直接读取变量
if [[ "$GLOBAL_CONFIG" == *"DEBUG_MODE"* ]]; then
    echo "Debug mode active."
fi

5. 对列表使用数组变量

处理项目列表时，请使用 Bash 数组而不是以空格分隔的字符串。数组可以正确处理包含空格的项目，并且通常在迭代和操作方面更高效。

# 慢/易出错的字符串列表
# FILES="file A fileB.txt"

# 快速且稳健的数组
FILES_ARRAY=( "file A" "fileB.txt" "another file" )

# 有效迭代
for f in "${FILES_ARRAY[@]}"; do
    process_file "$f"
done

6. 避免过度引用和取消引用

虽然适当的引用对于正确性至关重要（尤其是在处理带有空格的文件名时），但过度的引用和取消引用有时会增加轻微的开销。更重要的是，要理解何时引用是强制性的，何时是可选的。

对于算术扩展 ((...))，通常不需要在表达式周围使用引号，这与命令替换 $() 不同。

7. 尽可能在管道中使用进程替换

进程替换 (<(cmd)) 有时可以创建比命名管道 (mkfifo) 更简洁、更快速的管道，特别是当您需要同时将一个命令的输出馈送到另一个命令的两个不同部分时。

# 有效比较两个已排序文件的内容
if cmp <(sort file1.txt) <(sort file2.txt); then
    echo "Files are identical when sorted."
fi

8. 使用 printf 代替 echo

虽然通常可以忽略不计，但 echo 的行为在不同的 shell 和系统之间可能有所不同，有时需要更复杂的反斜杠解释处理。 printf 提供了一致的格式化和卓越的控制，使其通常更可靠，对于高容量输出操作来说，有时速度会略快。

# 一致的输出
printf "User %s logged in at %s\n" "$USER" "$(date +%T)"

9. 优先使用 find ... -exec ... {} + 而非 -exec ... {} ;

当使用 find 命令对找到的文件执行另一个程序时，以分号 (;) 结尾和以加号 (+) 结尾在性能上的差异是巨大的。

  • {} ; 每个文件执行一次命令。（高开销）
  • {} + 捆绑尽可能多的参数并只执行一次命令（类似于 xargs）。（低开销）
# 慢：执行 'chmod 644' 数千次
find . -name '*.txt' -exec chmod 644 {} ;

# 快：执行 'chmod 644' 一次或几次，并带有许多参数
find . -name '*.txt' -exec chmod 644 {} +

10. 对于繁重的文本处理，使用 awk 或 perl

尽管我们的目标是尽量减少外部调用，但当需要繁重、复杂的文本操作时，像 awk 或 perl 这样的专用工具明显快于链接多个 grep、sed 和 cut 命令。这些工具可以在单次遍历中处理数据。

如果您发现自己在编写 cat file | grep X | sed Y | awk Z，请将其整合到一个经过优化的 awk 脚本中。

性能优化原则总结

提高 Bash 性能依赖于减少上下文切换和利用内建功能：

  • 内化处理： 使用 (( ))、[[ ]] 和参数扩展在 Bash 内部执行计算、字符串操作和测试。
  • 减少派生： 最小化 shell 必须派生新进程的次数。
  • 批量操作： 在 find -exec 中使用 +，并使用像 xargs 这样的工具来批量处理项目。

通过实施这十个技巧，您可以确保自动化脚本高效、可靠、快速地运行，从而更好地利用系统资源。