DevOps知识中心
DevOps知识中心

systemd Cgroups 资源限制与隔离综合指南

掌握使用 systemd 和 cgroups 进行 Linux 资源管理。本指南详细介绍了如何利用 systemd slice、scope 和 service 来应用精确的 CPU、内存和 I/O 限制。通过实用示例和最佳实践，学习隔离关键进程、防止资源耗尽，并确保系统稳定，实现高效的性能优化。

40 浏览量

Systemd Cgroups 资源限制与隔离综合指南

Systemd，作为现代 Linux 初始化系统和系统与服务管理器，提供了强大的工具来管理系统资源。在其最重要的功能中，包括与控制组 (cgroups) 的集成。cgroups 是 Linux 内核的一项特性，允许对一组进程的资源使用（CPU、内存、磁盘 I/O、网络等）进行限制、统计和隔离。本指南将深入探讨 Systemd 如何通过其单元类型——切片 (slices)、作用域 (scopes) 和服务 (services)——利用 cgroups 来实现精确的资源限制与隔离，确保关键进程获得所需的资源，同时防止失控的应用程序影响系统稳定性。

对于系统管理员、开发人员以及任何负责维护 Linux 系统性能和可靠性的人来说，理解和利用 Systemd 的 cgroup 集成至关重要。通过设置适当的资源限制，您可以防止资源耗尽，提高应用程序性能的可预测性，并增强整体系统稳定性。本指南将提供一种配置这些限制的实用方法，使复杂的资源管理变得易于理解和有效。

理解控制组 (cgroups)

在深入了解 Systemd 的实现之前，掌握 cgroups 的基本概念至关重要。Cgroups 是 Linux 内核中的一种分层机制，它允许您将进程分组，然后为这些组分配资源管理策略。这些策略可以包括：

  • CPU：限制 CPU 时间，优先访问 CPU。
  • 内存：设置内存使用限制，防止内存不足 (OOM) 情况。
  • I/O：节流磁盘读/写操作。
  • 网络：限制网络带宽。
  • 设备访问：控制对特定设备的访问。

内核通过虚拟文件系统公开 cgroup 配置，该文件系统通常挂载在 /sys/fs/cgroup。每个控制器（例如 cpu、memory）都有自己的目录，在这些目录中，目录的层次结构代表了组及其相关的资源限制。

Systemd 的 Cgroup 管理架构

Systemd 通过提供结构化的单元管理系统，抽象了直接 cgroup 操作的复杂性。它将进程组织成一个单元层次结构，然后将这些单元映射到 cgroup 层次结构。与资源管理相关的主要单元类型有：

  • 切片 (Slices)：它们是服务单元的抽象容器。切片形成一个层次结构，允许资源委托。例如，用于用户会话的切片可能包含用于单个应用程序的切片。Systemd 会自动为系统服务、用户会话和虚拟机/容器创建切片。
  • 作用域 (Scopes)：这些通常用于临时或动态创建的进程组，通常与用户会话或未作为完整服务单元管理的系统服务相关联。它们是瞬态的，只要其中的进程在运行，它们就存在。
  • 服务 (Services)：这些是管理守护进程和应用程序的基本单元。当服务单元启动时，Systemd 会将其进程放入 cgroup 层次结构中，通常位于一个切片内。资源限制可以直接应用于服务单元。

Systemd 的默认层次结构通常如下所示：

-.slice (根切片)
  |- system.slice
  |  |- <服务名>.service
  |  |- another-service.service
  |  ... 
  |- user.slice
  |  |- user-1000.slice
  |  |  |- session-c1.scope
  |  |  |  |- <应用程序>.service (如果由用户启动)
  |  |  |  ...
  |  |  ...
  |  ... 
  |- machine.slice (用于虚拟机/容器)
  ...

使用 Systemd 单元文件应用资源限制

Systemd 允许您直接在 .service、.slice 或 .scope 单元文件中指定 cgroup 资源限制。这些指令分别放置在 [Service]、[Slice] 或 [Scope] 部分下。

CPU 限制

CPU 资源控制的主要指令有：

  • CPUQuota=: 限制单元可以使用的总 CPU 时间。这可以指定为百分比（例如，50% 表示半个 CPU 核）或 CPU 核的分数（例如，0.5）。也可以指定每个周期以微秒为单位的值。默认周期为 100 毫秒。
  • CPUShares=: 设置 CPU 时间的相对权重。当存在争用时，CPUShares=2048 的单元将获得两倍于 CPUShares=1024 的单元的 CPU 时间。
  • CPUWeight=: CPUShares= 的别名，但范围不同（1-10000，默认 100）。
  • CPUQuotaPeriodSec=: 设置 CPUQuota 的周期。默认值为 100ms。

示例：将 Web 服务器限制为一个 CPU 核的 75%：

创建或编辑一个服务文件，例如 /etc/systemd/system/mywebapp.service：

[Unit]
Description=我的 Web 应用程序

[Service]
ExecStart=/usr/bin/mywebapp
User=webappuser
Group=webappgroup

# 限制为一个 CPU 核的 75%
CPUQuota=75%

[Install]
WantedBy=multi-user.target

创建或修改服务文件后，重新加载 Systemd 守护进程并重启服务：

sudo systemctl daemon-reload
sudo systemctl restart mywebapp.service

内存限制

内存限制由以下指令控制：

  • MemoryLimit=: 设置单元进程可以消耗的 RAM 硬限制。这可以以字节或带有 K、M、G、T 等后缀（例如 512M）指定。
  • MemoryMax=: 类似于 MemoryLimit，但在与内存记账交互方面通常被认为更现代和灵活。通常建议使用 MemoryMax 而不是 MemoryLimit。
  • MemoryHigh=: 设置软限制。当接近此限制时，内存回收（交换）将更积极地触发，但硬限制尚未强制执行。
  • MemorySwapMax=: 限制单元可以使用的交换空间量。

示例：将数据库限制为 2GB RAM：

创建或编辑一个服务文件，例如 /etc/systemd/system/mydb.service：

[Unit]
Description=我的数据库服务

[Service]
ExecStart=/usr/bin/mydb
User=dbuser
Group=dbgroup

# 内存限制为 2 千兆字节
MemoryMax=2G

[Install]
WantedBy=multi-user.target

重新加载并重启：

sudo systemctl daemon-reload
sudo systemctl restart mydb.service

I/O 限制

I/O 节流可以使用以下指令控制：

  • IOWeight=: 设置 I/O 操作的相对权重。值越高，I/O 优先级越高。范围是 1 到 1000（默认 500）。
  • IOReadBandwidthMax=: 限制读取 I/O 带宽。指定为 [<设备>] <每秒字节数>。例如，IOReadBandwidthMax=/dev/sda 100M 将 /dev/sda 上的读取操作限制为 100MB/s。
  • IOWriteBandwidthMax=: 限制写入 I/O 带宽。格式类似于 IOReadBandwidthMax。

示例：将后台处理服务限制在特定磁盘上 50MB/s 的速度：

创建或编辑一个服务文件，例如 /etc/systemd/system/batchproc.service：

[Unit]
Description=批处理服务

[Service]
ExecStart=/usr/bin/batchproc
User=batchuser
Group=batchgroup

# 限制 /dev/sdb 上的写入操作为 50MB/s
IOWriteBandwidthMax=/dev/sdb 50M

# 给予适度的读取优先级
IOWeight=200

[Install]
WantedBy=multi-user.target

重新加载并重启：

sudo systemctl daemon-reload
sudo systemctl restart batchproc.service

管理和监控 Cgroups

Systemd 提供了工具来检查和管理与您的单元关联的 cgroups。

检查 Cgroup 状态

systemctl status 命令提供了有关单元的 cgroup 成员资格和资源使用情况的信息。

systemctl status mywebapp.service

查找指示 cgroup 路径的行。例如：

● mywebapp.service - 我的 Web 应用程序
     Loaded: loaded (/etc/systemd/system/mywebapp.service; enabled; vendor preset: enabled)
     Active: active (running) since Tue 2023-10-27 10:00:00 UTC; 1 day ago
       Docs: man:mywebapp(8)
   Main PID: 12345 (mywebapp)
      Tasks: 5 (limit: 4915)
     Memory: 15.5M
        CPU: 2h 30m 15s
      CGroup: /system.slice/mywebapp.service
              └─12345 /usr/bin/mywebapp

您也可以直接检查 cgroup 文件系统：

systemd-cgls # 显示 Systemd 管理的 cgroup 层次结构
systemd-cgtop # 类似于 top，但用于 cgroups

要查看应用于服务 cgroup 的具体限制：

# 对于内存限制
cat /sys/fs/cgroup/memory/system.slice/mywebapp.service/memory.max

# 对于 CPU 限制
cat /sys/fs/cgroup/cpu/system.slice/mywebapp.service/cpu.max

（注意：确切的路径和文件名可能因 cgroup 版本和系统配置而略有不同。）

动态修改 Cgroup 限制

虽然最佳实践是在单元文件中设置限制，但您可以使用 systemctl set-property 临时调整它们：

sudo systemctl set-property mywebapp.service CPUQuota=50%

这些更改不会在重启后持久化。要使其永久生效，请更新单元文件并重新加载 Systemd 守护进程。

用于资源委托的切片 (Slices)

切片在管理服务或应用程序组方面非常强大。您可以在切片上定义资源限制，该切片内的所有服务或作用域都将继承或受到这些限制。

示例：为资源密集型批处理作业创建专用切片：

创建切片文件，例如 /etc/systemd/system/batch.slice：

[Unit]
Description=批处理切片

[Slice]
# 限制此切片中所有作业的总 CPU 为 1 核
CPUQuota=100%
# 限制总内存为 4GB
MemoryMax=4G

现在，您可以在 .service 文件中使用 Slice= 指令配置服务在此切片中运行：

[Unit]
Description=特定批处理作业

[Service]
ExecStart=/usr/bin/mybatchjob

# 将此服务放入 batch.slice
Slice=batch.slice

[Install]
WantedBy=multi-user.target

重新加载 Systemd，如有必要则启用/启动切片（尽管它通常是隐式激活的），然后启动服务。

sudo systemctl daemon-reload
sudo systemctl start mybatchjob.service

这种方法允许您对相关进程进行分组，并管理它们的集体资源消耗。

最佳实践与注意事项

  • 从增量限制开始：设置限制时，从保守值开始，并根据需要逐步增加。激进的限制可能会使应用程序不稳定。
  • 监控：定期监控系统的资源使用情况以及 cgroup 设置的影响。systemd-cgtop、htop、top 和 iotop 等工具是无价的。
  • 理解 Cgroup v1 与 v2：Systemd 支持 cgroup v1 和 v2。虽然许多指令相似，但 v2 提供了统一的层次结构和一些行为差异。如果遇到复杂问题，请确保您了解系统正在使用哪个版本。
  • 优先级与硬限制：当资源稀缺时，使用 CPUShares/CPUWeight 进行优先级划分，使用 CPUQuota 进行严格的硬限制。同样，MemoryHigh 用于软限制，MemoryMax 用于硬限制。
  • 服务与切片：对单个应用程序使用服务单元，对相关应用程序组或资源池的管理使用切片。
  • 文档：清晰地记录应用于关键服务的资源限制，尤其是在生产环境中。
  • OOM Killer：请注意，如果一个进程超出其 MemoryMax 限制，内核的内存不足 (OOM) 杀手可能会终止它，即使它在一个 cgroup 内。Systemd 可以使用 OOMPolicy= 等指令管理 OOM 杀手对特定 cgroup 的行为。

结论

Systemd 与 cgroups 的集成提供了一种强大且用户友好的机制，用于控制和隔离系统资源。通过掌握服务、作用域和切片单元的使用，管理员可以有效地应用 CPU、内存和 I/O 限制，以确保系统稳定性、可预测的性能并防止资源匮乏。实施这些控制是现代 Linux 系统管理的基本方面，可以更好地控制您的应用程序环境和底层基础设施。