DevOps知识中心
DevOps知识中心

高效分片和扩展 MongoDB 集群的最佳实践

通过学习配置和维护的最佳实践来掌握 MongoDB 分片。本指南涵盖了选择高基数分片键（哈希 vs. 范围）、监控块平衡以实现均匀数据分布以及在大型部署中通过优先定向查询而非散射-收集操作来优化性能的关键策略。

32 浏览量

MongoDB 集群分片与扩展的高效最佳实践

MongoDB 的架构支持通过分片实现大规模扩展，分片是一种将数据分布到多个独立服务器（分片）上的方法。虽然分片能够处理 PB 级别的数据和高事务量，但配置不当可能导致性能瓶颈、数据分布不均和运营复杂性增加。本指南提供了设计、实施和维护高效分片 MongoDB 集群的基本最佳实践。

了解何时以及如何实施分片对于预期有显著增长的应用程序至关重要。当单个副本集无法再处理所需的数据量或读/写吞吐量时，分片是理想的选择。然而，分片会增加查询路由和数据同步的开销，因此仔细规划至关重要。

理解分片集群的核心组件

功能齐全的分片集群依赖于多个相互关联的组件协同工作：

  1. 分片（分片副本集）： 每个分片通常是一个副本集，包含总数据集的一部分。数据在这些分片之间进行分区。
  2. 查询路由器（Mongos 进程）： 这些进程接收客户端请求，根据元数据确定哪个分片包含所需数据，路由查询，聚合结果，然后将结果返回给客户端。它们是无状态的，并且高度可扩展。
  3. 配置服务器（配置服务器副本集）： 这些专用的副本集存储元数据（集群映射），告知 mongos 进程特定数据块的位置。它们对集群运行至关重要，必须保持高可用性。

关键策略 1：选择最佳分片键

分片键是在分片中最关键的决策。它决定了数据如何在你的分片之间进行分区。选择一个好的分片键可以实现数据均匀分布和高效的查询路由；而糟糕的分片键会导致热点和集群不平衡。

有效分片键的特征

理想的分片键应具备三个主要特征：

  1. 高基数性： 键应具有许多唯一值，以便进行细粒度分区。低基数性会导致整体分片数量较少。
  2. 高写入频率/均匀分布： 写入应均匀分布到所有分片键值上，以防止单个分片过载（热点）。
  3. 查询模式： 查询应最好地定位分片键，以便进行定向查询（路由到特定分片）。需要扫描所有分片的查询（散列查询）速度会显著变慢。

分片方法及其影响

MongoDB 支持两种主要的分片方法：

  • 哈希分片： 对分片键值使用哈希函数。通过将写入分散到所有可用分片，这可以确保即使是顺序键也能实现出色的数据分布。适用于高写入吞吐量，但查询局部性不太重要的场景。
  • 范围分片： 根据分片键的范围对数据进行分区（例如，ID 为 1-1000 的所有用户进入分片 A）。适用于查询模式与范围查找（例如，按日期范围或字母 ID 范围查询）匹配的场景。

⚠️ 关于范围分片的警告： 如果你的数据插入模式遵循严格递增的序列（如时间戳或自动递增 ID），范围分片将导致所有写入都落在最新的分片块上，从而在最后一个分片上产生显著的热点。

示例：应用哈希分片

如果你选择 userId 这样的字段，并且你的查询经常按此字段进行过滤，对其进行哈希处理可以均匀地分布写入：

// 选择数据库和集合
use myAppDB

// 对 userId 字段进行哈希分片
sh.shardCollection("myAppDB.users", { "userId": "hashed" })

关键策略 2：管理数据分布和平衡

即使拥有完美的分片键，由于查询模式的演变或初始负载不均，数据块（存储在分片上的数据物理单元）的尺寸或分布也可能不均匀。均衡器（Balancer）进程负责迁移这些数据块。

监控均衡器

监控集群的平衡指标至关重要。不平衡的数据块会导致某些分片资源利用率不足，而其他分片则过载。

使用 shell 中的 sh.status() 命令查看整体状态，包括正在迁移的数据块。

控制均衡器

虽然均衡器会自动运行，但你可以在高维护窗口或大型批量导入期间暂时禁用它，以控制资源消耗：

// 检查当前状态
sh.getBalancerState()

// 暂时禁用平衡
sh.stopBalancer()

// ... 执行维护或大型导入 ...

// 完成后重新启动平衡
sh.startBalancer()

最佳实践： 绝不要永久禁用均衡器。如果你禁用它，请安排定期审查，以确保随着应用程序的增长，数据仍然均匀分布。

数据块大小的考虑

数据块不应太小，因为这会产生过多的元数据开销并减慢均衡器的速度。反之，过大的数据块会导致迁移缓慢和糟糕的负载平衡机会。

  • 默认数据块大小： MongoDB 默认设置为 64MB（从 MongoDB 4.2 开始）。这个大小通常是一个不错的起点。
  • 调整数据块大小： 如果你有大量的文档或非常大的文档，请考虑在初始分片之前使用 sh.setBalancerState(0) 然后 sh.setChunkSize(dbName, collectionName, newSizeInMB) 来调整默认数据块大小。

关键策略 3：优化读写性能

分片改变了读写路由的方式，这需要特定的性能调优。

定向查询与散列查询

  • 定向查询： 包含分片键（或范围分片的前缀字段）的查询允许 mongos 路由器直接将请求发送到一个或几个分片。这些查询速度很快。
  • 散列查询： 不使用分片键的查询必须发送到每个分片，增加网络延迟和处理开销。

可操作技巧： 设计应用程序查询，尽可能利用分片键。对于必须广泛扫描的查询，考虑使用有利于副本集次要成员的读取偏好，以将负载与主要成员隔离。

分片集群中的读取偏好

分片集群在客户端级别处理读取偏好。确保你的应用程序代码根据操作的关键性正确设置读取偏好：

  • primary（默认）： 读取发送到每个分片副本集的主要成员。
  • nearest： 读取发送到地理位置或网络上最接近应用程序的副本集成员。
  • secondaryPreferred： 读取发送到次要成员，除非没有可用的次要成员，这对于将报告或分析查询的负载从主要成员卸载很有用。

避免索引陷阱

确保为查询过滤器或排序操作中经常使用的字段建立索引，尤其是分片键和分片键的任何前缀字段。分片之间不一致的索引也可能导致意外的散列查询，如果某个分片无法使用索引。

运营最佳实践以保证稳定性

维护一个稳定、高性能的分片集群需要持续的运营警惕。

1. 分片键的不可变性

一旦集合被分片，分片键字段就无法更改。此外，通常无法更新分片键字段本身，除非你使用的是支持更新的字段（即，不是哈希化的，并且不是复合键中的第一个元素）。

2. 配置服务器的弹性

配置服务器是集群的大脑。如果它们不可用，客户端将无法确定数据的位置，从而有效地停止操作。

  • 始终将配置服务器部署为副本集（最少三名成员）。
  • 确保配置服务器拥有快速存储，并且不受应用程序工作负载的负担。

3. 容量规划

通过监控单个分片成员的 CPU、内存和 I/O 利用率来规划增长。当一个分片接近 70-80% 的利用率时，就该向集群添加一个新分片，并允许均衡器在性能下降之前重新分配数据块。

结论

MongoDB 中的分片是一种强大的扩展原语，但它将复杂性从硬件限制转移到了数据建模和键选择。通过严格选择与你的访问模式一致的分片键，通过均衡器主动监控数据分布，并通过优化查询以利用定向路由，你可以构建高度弹性且高性能的分布式数据库系统，能够处理海量数据集。