为什么向 GHES 实例引入更多磁盘?
- 改进了资源分布:
- 不同的服务具有独特的磁盘要求。
- MySQL 主要是延迟和 IOPS 敏感。
- 某些资源(如仓库)从昂贵的块存储中获益较少。
- 最大化的 VM 限制:
- 单个磁盘通常无法用尽实例的性能限制。
- 从成本的角度来看,在最昂贵或最快的存储上运行所有内容通常不可行或值得。
- 更清楚地区分资源分配和服务:
- 资源可以按目标方式分配,从而防止关键服务被饿死。
- 伸缩:
- 独立、高可用性和群集拓扑上的客户可以根据需要横向扩展。
限制条件
-
独立、高可用性(HA)和群集拓扑支持多数据磁盘。
-
在群集拓扑上,我们建议仅对 MySQL 使用多数据磁盘。 不建议将存储库 迁移到群集上的其他磁盘。
-
在部署中配置多个数据磁盘后,该部署无法撤消此更改。
-
设置多数据磁盘和迁移数据通常需要一些停机时间。
- 你可以通过配置带有多个数据磁盘的副本、从主副本复制数据,然后故障转移到该副本来最大限度地减少这种情况。
- 如果要将多数据磁盘直接添加到主数据库,则预计停机时间要长得多。
-
不建议将 MySQL 和存储库迁移到同一磁盘。
-
目前,只能将 MySQL 和存储库迁移到其他磁盘。
资源建议
如果您添加的磁盘速度与当前磁盘一样快或更快,应该会看到性能改进。 存储设备通常按 IOPS(每秒输入/输出作)、吞吐量和延迟来度量。 对于 MySQL,我们建议使用延迟较低且 IOPS 高于现有数据磁盘的磁盘。 对于存储库,请选择具有比当前数据磁盘更高的 IOPS 和吞吐量的磁盘。
在高可用性设置中,最好在主副本和所有副本上使用多数据磁盘。 不建议使用混合配置,即主节点具有多个数据磁盘但副本没有。
在群集设置中,建议仅对 MySQL 使用多数据磁盘。 在运行 MySQL 的每个节点上配置其他磁盘。 不建议在相同角色的节点之间混合配置。
设置多个数据磁盘和数据路径
先决条件
- 建议在开始之前先对数据进行最近的备份。
- 创建测试环境以试用该功能。
- 建议先在非生产环境中测试该功能,然后再将其用于生产环境。
说明书
在群集拓扑中,对运行 MySQL 的每个节点上重复这些步骤,并仅迁移 MySQL。
-
可以执行 GHES 的全新安装或使用现有的 GHES 实例。 数据磁盘应配置在以下位置
/data/user。 -
设置
/data/user后,将其他块存储设备添加到实例。目前,
ghe-storage-find选择第一个块存储,以便根据块存储路径的字母顺序进行设置/data/user。 这发生在 GHES 设备的第一次启动上。为了更好地控制
/data/user使用的磁盘,最好先在初始化过程中仅连接一个磁盘。 -
使用新的块存储设备初始化多磁盘设置。 若要初始化多磁盘支持,请运行
ghe-storage-multi-disk init。 每次重新启动时,ghe-multi-disk.service都会自动将现有数据磁盘重新装载到正确的路径。Shell /usr/local/share/enterprise/ghe-storage-multi-disk init /dev/nvme2n1 db
/usr/local/share/enterprise/ghe-storage-multi-disk init /dev/nvme2n1 dbShell /usr/local/share/enterprise/ghe-storage-multi-disk init /dev/nvme3n1 git
/usr/local/share/enterprise/ghe-storage-multi-disk init /dev/nvme3n1 git
请注意, /dev/nvme2n1 并且 /dev/nvme3n1 只是示例路径。 它们可能与系统上的路径不匹配。 同样, db 也是 git 示例。 可以选择不同的名称。
-
切换到维护模式。
Shell ghe-maintenance -s
ghe-maintenance -s -
迁移您想要的数据路径。
迁移 MySQL:
Shell /usr/local/share/enterprise/ghe-storage-migrate-mysql db
/usr/local/share/enterprise/ghe-storage-migrate-mysql db请按照以下步骤操作以迁移存储库:
Shell /usr/local/share/enterprise/ghe-storage-migrate-repositories git
/usr/local/share/enterprise/ghe-storage-migrate-repositories git -
退出维护模式。
Shell ghe-maintenance -u
ghe-maintenance -u -
测试实例一段时间,以确保一切按预期工作。
-
只有在经过足够的测试后,才删除
/data/user/mysql-backup和/data/user/repositories-backup。测试期间保留这些文件夹可让你在紧急情况下回滚。 经过足够的测试,应删除这些备份文件夹以释放空间。
高可用性配置指南
以下指南可帮助减少高可用性 (HA) 拓扑的停机时间。 如果使用独立拓扑,我们目前没有类似的附加指导。 有关群集拓扑,请参阅 群集配置指南。
对于 HA 拓扑,最佳方法是建立配置了多个数据磁盘的新副本,从主副本复制数据,然后将副本提升为主副本。 不建议将数据迁移到当前主副本上的其他磁盘,因为此过程可能会导致重大停机时间。
-
使用更好的磁盘设置新的 HA 副本。
若要规划数据迁移,请在主要数据库上使用
du -sh /data/user/mysql和du -sh /data/user/repositories来计算新副本的磁盘空间要求。 -
在新的 HA 副本上配置多磁盘。
-
允许 HA 主节点复制到副本。
-
请按照 发起到副本设备的故障转移 中记录的步骤执行故障转移顺序。
虽然复制过程可能需要很长时间,但优点是它在后台运行,因此维护模式的实际中断会大幅减少。
群集配置指南
在群集中,建议仅对 MySQL 使用多数据磁盘。 若要最大程度地减少停机时间,请不要将 MySQL 迁移到当前主 MySQL 节点上的其他磁盘。 而是准备已配置其专用磁盘的新节点,并将其作为副本 MySQL 节点添加到群集。 只有提升需要维护时段。 若要最大程度地减少停机时间,请不要直接将 MySQL 迁移到当前主 MySQL 节点上的其他磁盘。 相反,请准备一个新节点,使其作为 MySQL 副本节点加入群集,并首先在该节点上配置多数据磁盘。 然后将新节点提升为主节点。 在开始之前,请确认新节点运行与群集中所有其他节点相同的修补程序版本,并且不要重复使用以前分配给群集中的节点的主机名。
阶段 1:准备新节点
在节点加入群集之前完成这些步骤。 由于节点尚未为流量提供服务,因此此阶段不会影响群集。
-
若要计算磁盘空间要求,请在当前主 MySQL 节点上运行
du -sh /data/user/mysql。 -
预配一个新节点,并确保其
/data/user磁盘有足够的空间用于存放复制的 MySQL 数据。 在阶段 3 中附加的其他磁盘还必须有足够的空间用于此数据。 -
仅配置替换节点的 IP 地址。 不要配置任何其他设置,否则
ghe-cluster-config-apply可能无法到达该节点。
阶段 2:将节点添加到群集
此阶段不需要维护模式,群集将在整个过程中继续为流量提供服务。
-
使用
mysql-server = true键值对将新节点添加到cluster.conf中。 如果群集中启用了 GitHub Actions,则还包括mssql-server = true键值对。如果群集至少有一个 MySQL 副本节点,还可以包含
skip-data-setup = true键值对以延迟数据库种子设定。 延迟数据填充可让配置运行更快完成,并允许你在你选择的时间手动启动数据填充。 有关详细信息,请参阅“延迟数据库初始化”。 -
若要初始化新节点,请从修改
cluster.conf的节点的管理 shell 运行ghe-cluster-config-init。 -
若要应用配置,请运行
ghe-cluster-config-apply。 -
如果你推迟了数据库初始化,请手动填充数据。 在新节点的
screen会话中,运行以下命令,将PRIMARY_IP替换为主 MySQL 节点的 IP 地址。Shell /usr/local/share/enterprise/ghe-mysql-repl-start PRIMARY_IP
/usr/local/share/enterprise/ghe-mysql-repl-start PRIMARY_IP -
等待 MySQL 复制完成。 若要监视群集中任何节点的复制,请运行
ghe-cluster-status -v。
阶段 3:在新节点上配置多磁盘
MySQL 复制完成后,在新副本上启用维护模式。 在配置多磁盘并迁移新节点上的 MySQL 时,群集的其余部分将继续处理流量。 由于 MySQL 在 ghe-storage-migrate-mysql 上启动,请在迁移之前等待节点加入群集。 迁移需要更长的时间,因为节点已有数据副本,但比在主节点上迁移 MySQL 更安全。
-
在新副本上,附加 MySQL 的其他磁盘。 然后按照 设置多个数据磁盘和数据路径中的说明设置多磁盘并迁移 MySQL。
-
在新副本上退出维护模式。
-
运行
ghe-cluster-status以确认群集是否正常。
阶段 4:提升新节点
提升需要维护时段,并且是此过程中唯一导致停机的步骤。 若要将新节点提升到主 MySQL 节点,请遵循 替换集群节点 中的过程,从启用维护模式的步骤开始。
与 HA 拓扑一样,复制在后台运行,因此维护模式中断仅限于升级。
阶段 5:替换剩余的 MySQL 副本节点
升级完成后,并且已禁用维护模式,建议对每个剩余的 MySQL 副本节点重复此过程,以便群集中的每个 MySQL 节点都使用专用磁盘。 替换副本节点不需要维护时段,因为你不需要将新的主节点提升为主节点。
我们还建议每个替换节点运行与它替换的节点相同的数据库集,例如 MSSQL 和 Redis。 这些数据库在新节点上保持其副本状态。
示例:配置其他磁盘
此示例演示了磁盘初始化和数据迁移所需的命令和输出。 具体而言, /data/user/mysql 迁移到 /data/multi-disk/db/mysql,并 /data/user/repositories 迁移到 /data/multi-disk/git/repositories。
admin@ghe-test-primary:~$ /usr/local/share/enterprise/ghe-storage-multi-disk status
Checking system status...
admin@ghe-test-primary:~$ /usr/local/share/enterprise/ghe-storage-multi-disk info
Dumping disk status and information...
admin@ghe-test-primary:~$ /usr/local/share/enterprise/ghe-storage-multi-disk init /dev/nvme2n1 db
Starting initialization sequence for /dev/nvme2n1 at /data/multi-disk/db...
admin@ghe-test-primary:~$ /usr/local/share/enterprise/ghe-storage-multi-disk init /dev/nvme3n1 git
Starting initialization sequence for /dev/nvme3n1 at /data/multi-disk/git...
admin@ghe-test-primary:~$ /usr/local/share/enterprise/ghe-storage-migrate-mysql db
Start MySQL migration to /data/multi-disk/db...
Running checks..
Error: maintenance mode must be enabled before being able to proceed.
ERROR: Last Command: return 1 LINE: 36 ghe-storage-migrate-mysql
Script exited with exit code: 1
admin@ghe-test-primary:~$ ghe-maintenance -s
admin@ghe-test-primary:~$ /usr/local/share/enterprise/ghe-storage-migrate-mysql db
Start MySQL migration to /data/multi-disk/db...
Success: /data/user/mysql moved to /data/multi-disk/db/mysql
Script exited with exit code: 0
admin@ghe-test-primary:~$ /usr/local/share/enterprise/ghe-storage-migrate-repositories git
Start repository migration to /data/multi-disk/git...
Success: /data/user/repositories moved to /data/multi-disk/git
Script exited with exit code: 0
admin@ghe-test-primary:~$ ghe-maintenance -u
admin@ghe-test-primary:~$ /usr/local/share/enterprise/ghe-storage-multi-disk status
Checking system status...
/data/user/mysql -> /data/multi-disk/db/mysql is correctly symlinked.
Repositories migration was detected...
/data/user/repositories -> /data/multi-disk/git/repositories is correctly symlinked.
admin@ghe-test-primary:~$ /usr/local/share/enterprise/ghe-storage-multi-disk info
Dumping disk status and information...
# Multi disk configuration /data/user/multi-disk-config:
DISK_DB="lvm"
DISK_GIT="lvm"
MYSQL_MIGRATION_PATH="/data/multi-disk/db/mysql"
REPOSITORIES_MIGRATION_PATH="/data/multi-disk/git/repositories"
admin@ghe-test-primary:~$ ls /var/log/multi-disk/
ghe-storage-init-db.log ghe-storage-init-git.log ghe-storage-migrate-mysql.log ghe-storage-migrate-repositories.log
卫生检查
/usr/local/share/enterprise/ghe-storage-multi-disk status和/usr/local/share/enterprise/ghe-storage-multi-disk info都能帮助检查你的设置。
若要查看当前的多磁盘配置,请使用:
$ cat /data/user/multi-disk-config
DISK_DB="lvm"
DISK_GIT="lvm"
MYSQL_MIGRATION_PATH="/data/multi-disk/db/mysql"
REPOSITORIES_MIGRATION_PATH="/data/multi-disk/git/repositories"
若要查看多磁盘日志(包括磁盘初始化和迁移事件),请运行:
$ ls -l /var/log/multi-disk/
total 56
-rw-r--r-- 1 root root 2398 Mar 3 13:22 ghe-storage-init-db.log
-rw-r--r-- 1 root root 2497 Mar 3 13:23 ghe-storage-init-git.log
-rw-r--r-- 1 root root 2201 Mar 3 13:28 ghe-storage-migrate-mysql.log
-rw-r--r-- 1 root root 37296 Mar 3 13:30 ghe-storage-migrate-repositories.log
用于管理多个磁盘的命令
通过这些命令,可以添加多个磁盘并将特定服务或文件夹路径迁移到这些磁盘。 原始文件夹路径将被保持不变。 其他服务不知道任何更改。 静态文件夹路径已符号链接到新迁移的路径。
命令包括:
- ghe-storage-multi-disk
statusinitinfomountstart-services(仅建议进行调试)stop-services(仅建议进行调试)
- ghe-storage-migrate-repositories
/data/user/repositories迁移到使用ghe-storage-multi-disk init创建的任何磁盘路径。
- ghe-storage-migrate-mysql
/data/user/mysql迁移到使用ghe-storage-multi-disk init创建的任何磁盘路径。