Por que introduzir mais discos na instância do GHES?
-
Distribuição de recursos aprimorada:
- Serviços diferentes têm requisitos de disco exclusivos.
- MySQL é principalmente sensível à latência e a IOPS.
- Alguns recursos (como repositórios) não se beneficiam tanto do armazenamento de blocos caro.
-
Limites maximizados da VM:
- Um único disco geralmente não é capaz de maximizar as limitações de uma instância.
- Do ponto de vista do custo, geralmente não é viável ou vale a pena executar tudo no armazenamento mais caro ou mais rápido.
-
Separação mais clara entre a alocação de recursos e os serviços:
- Os recursos podem ser alocados de forma direcionada, impedindo que serviços críticos fiquem famintos.
-
Escala:
- Os clientes em topologias autônomas, de alta disponibilidade e de cluster podem escalar horizontalmente conforme necessário.
-
Resiliência:
- Isolar logs do disco raiz aumenta a resiliência, impedindo que o volume de logs inunda o disco raiz.
Constraints
-
Há suporte para discos multi-dados em topologias autônoma, de alta disponibilidade (HA) e de cluster.
-
Em topologias de cluster, recomendamos usar discos multidados somente para MySQL. Não recomendamos migrar repositórios ou logs para discos adicionais em um cluster.
-
Depois que vários discos de dados são configurados em uma implantação, essa alteração não pode ser desfeita para essa implantação.
-
Configurar discos de dados múltiplos e migrar dados normalmente requer algum tempo de inatividade.
- Você pode minimizar isso configurando uma réplica com discos de dados múltiplos, replicando os dados do servidor primário e depois realizando o failover para a réplica.
- Se você estiver adicionando discos de dados múltiplos diretamente no primário, espere uma indisponibilidade muito mais longa.
-
Não é recomendável migrar MySQL, repositórios, logs do sistema ou GitHub logs para o mesmo disco. Cada disco adicional deve conter apenas uma migração.
-
Atualmente, somente MySQL, repositórios, logs do sistema e GitHub logs podem ser migrados para discos adicionais.
-
É necessário reinicializar o nó GitHub Enterprise Server após a migração dos logs do sistema para garantir que ele esteja funcionando a nível de sistema. Esse processo pode levar algum tempo, pois a aplicação das configurações também ocorre durante a inicialização do nó.
Recomendações de recursos
Se você adicionar discos tão rápidos ou mais rápidos que os atuais, verá um desempenho aprimorado. Os dispositivos de armazenamento normalmente são medidos por IOPS (operações de entrada/saída por segundo), taxa de transferência e latência. Para MySQL, é recomendável usar um disco com latência menor e IOPS maior do que o disco de dados existente. Para repositórios, escolha um disco com IOPS e taxa de transferência maiores do que o disco de dados atual. Para registros de log, é recomendável usar um disco com IOPS mais altos e maior taxa de transferência do que o disco de dados existente para lidar com operações de gravação contínuas de atividades de log.
Em configurações de alta disponibilidade, é melhor usar discos multidados no servidor primário e em todas as réplicas. Misturar configurações, onde o servidor primário possui discos de dados múltiplos, mas a réplica não, não é recomendável.
Em configurações de cluster, é recomendável usar múltiplos discos de dados somente para MySQL. Configure o disco adicional em cada nó que executa o MySQL. Não é recomendável misturar configurações entre nós da mesma função.
Configurando vários discos de dados e caminhos de dados
Pré-requisitos
- Recomendamos fazer um backup recente de seus dados antes de começar.
- Crie um ambiente de teste para experimentar o recurso.
- É recomendável testar o recurso em um ambiente de não produção antes de usá-lo em produção.
Instruções
Em topologias de cluster, repita essas etapas em cada nó que executa o MySQL e migre apenas o MySQL.
-
Você pode executar uma nova instalação do GHES ou usar uma instância de GHES existente. Ele deve ter o disco de dados configurado em
/data/user. -
Depois de
/data/userconfigurado, adicione dispositivos de armazenamento de blocos adicionais à instância.Atualmente,
ghe-storage-findescolhe o primeiro armazenamento em bloco para configurar/data/usercom base na ordem alfabética do caminho de armazenamento de blocos. Isso acontece na primeira inicialização do dispositivo GHES.Para ter mais controle sobre para qual disco é usado
/data/user, é melhor concluir o processo de inicialização com apenas um disco anexado inicialmente. -
Inicialize a configuração de vários discos usando os novos dispositivos de armazenamento em bloco. Para inicializar o suporte a vários discos, execute
ghe-storage-multi-disk init. Em cada reinicialização, oghe-multi-disk.serviceremontará automaticamente os discos de dados existentes nos caminhos corretos.Shell /usr/local/share/enterprise/ghe-storage-multi-disk init /dev/nvme2n1 db
/usr/local/share/enterprise/ghe-storage-multi-disk init /dev/nvme2n1 dbShell /usr/local/share/enterprise/ghe-storage-multi-disk init /dev/nvme3n1 git
/usr/local/share/enterprise/ghe-storage-multi-disk init /dev/nvme3n1 gitShell /usr/local/share/enterprise/ghe-storage-multi-disk init /dev/nvme4n1 systemlogs
/usr/local/share/enterprise/ghe-storage-multi-disk init /dev/nvme4n1 systemlogsShell /usr/local/share/enterprise/ghe-storage-multi-disk init /dev/nvme5n1 githublogs
/usr/local/share/enterprise/ghe-storage-multi-disk init /dev/nvme5n1 githublogs
Observe que/dev/nvme2n1, /dev/nvme3n1``/dev/nvme4n1e /dev/nvme5n1 são apenas caminhos de exemplo. Eles podem não corresponder aos caminhos em seu sistema. Da mesma forma, db, gite systemlogs``githublogs são exemplos. Você pode escolher nomes diferentes.
-
Alterne para o modo de manutenção.
Shell ghe-maintenance -s
ghe-maintenance -s -
Migre os caminhos de dados desejados.
Para migrar o MySQL:
Shell /usr/local/share/enterprise/ghe-storage-migrate-mysql db
/usr/local/share/enterprise/ghe-storage-migrate-mysql dbPara migrar repositórios:
Shell /usr/local/share/enterprise/ghe-storage-migrate-repositories git
/usr/local/share/enterprise/ghe-storage-migrate-repositories gitPara migrar logs do sistema:
Shell /usr/local/share/enterprise/ghe-storage-migrate-logs systemlogs
/usr/local/share/enterprise/ghe-storage-migrate-logs systemlogsDepois de migrar logs do sistema, reinicialize a instância:
Shell sudo reboot
sudo rebootPara migrar GitHub registros:
Shell /usr/local/share/enterprise/ghe-storage-migrate-github-logs githublogs
/usr/local/share/enterprise/ghe-storage-migrate-github-logs githublogs -
Sair do modo de manutenção.
Shell ghe-maintenance -u
ghe-maintenance -u -
Teste a instância por um período de tempo para garantir que tudo funcione conforme o esperado.
-
Somente após testes suficientes, remover
/data/user/mysql-backup,/data/user/repositories-backup,/var/log-backup,/data/github/current/log-backupe/data/github/shared/log-backup.Manter essas pastas durante os testes permite reverter as alterações em caso de emergência. Após testes suficientes, você deve remover essas pastas de backup para liberar espaço.
Diretrizes para configurações de alta disponibilidade
As diretrizes a seguir ajudam a reduzir o tempo de inatividade em topologias de alta disponibilidade (HA). Se você estiver usando uma topologia autônoma, não teremos diretrizes adicionais semelhantes no momento. Para topologias de cluster, consulte Diretrizes para configurações de cluster.
Para topologias de alta disponibilidade (HA), a melhor abordagem é criar uma réplica com discos de dados múltiplos configurados, replicar os dados do primário e depois promover a réplica a primário. Não é recomendável migrar dados para discos adicionais no primário atual, pois esse processo pode levar a um tempo de inatividade significativo.
-
Configure uma nova réplica de HA com discos melhores.
Para planejar a migração de dados, use
du -sh /data/user/mysql,du -sh /data/user/repositories,du -sh /var/logedu -sh /data/github/current/log``du -sh /data/github/shared/logno primário para calcular os requisitos de espaço em disco para a nova réplica. -
Configure o suporte a múltiplos discos na nova réplica de alta disponibilidade.
-
Permitir que o primário de alta disponibilidade replique os dados para a réplica.
-
Siga a sequência de failover conforme documentado em Iniciar failover do appliance réplica.
Embora o processo de replicação possa levar muito tempo, a vantagem é que ele é executado em segundo plano, portanto, a interrupção real do modo de manutenção é drasticamente reduzida.
Diretrizes para configurações de cluster
Em um cluster, é recomendável usar discos de múltiplos dados somente para MySQL. Para minimizar o tempo de inatividade, não migre o MySQL para um disco adicional no nó mySQL primário atual. Em vez disso, prepare um novo nó que já tenha seu disco dedicado configurado e adicione-o ao cluster como um nó MySQL de réplica. Somente a promoção requer uma janela de manutenção. Para minimizar o tempo de inatividade, não migre o MySQL para um disco adicional no nó MySQL primário atual diretamente. Em vez disso, prepare um novo nó para ingressar no cluster como um nó MySQL de réplica e configure o disco multi-dados nele primeiro. Em seguida, promova o novo nó para primário. Antes de começar, confirme se o novo nó executa a mesma versão de patch que todos os outros nós do cluster e não reutilize um nome de host que foi atribuído anteriormente a um nó no cluster.
Fase 1: Preparar o novo nó
Conclua estas etapas antes que o nó ingresse no cluster. Como o nó ainda não está servindo o tráfego, essa fase não tem impacto no cluster.
-
Para calcular os requisitos de espaço em disco, execute
du -sh /data/user/mysqlno nó MySQL primário atual. -
Provisione um novo nó com espaço suficiente em seu
/data/userdisco para os dados MySQL replicados. O disco adicional que você anexa na Fase 3 também deve ter espaço suficiente para esses dados. -
Configure apenas o endereço IP do nó de substituição. Não defina nenhuma outra configuração ou
ghe-cluster-config-applytalvez não consiga acessá-la.
Fase 2: Adicionar o nó ao cluster
Essa fase não requer o modo de manutenção, e o cluster continua atendendo ao tráfego durante todo o processo.
-
Adicione o novo nó a
cluster.confcom o par chave-valormysql-server = true. Se GitHub Actions estiver habilitado no cluster, inclua também omssql-server = truepar chave-valor.Se o cluster já tiver pelo menos um nó de réplica MySQL, você também poderá incluir o
skip-data-setup = truepar chave-valor para adiar a propagação do banco de dados. O adiamento da propagação permite que a execução da configuração seja concluída mais cedo e permite que você inicie a semente manualmente no momento em que escolher. Para obter mais informações, consulte Adiar a semeadura do banco de dados. -
Para inicializar o novo nó, do shell administrativo do nó em que você modificou
cluster.conf, executeghe-cluster-config-init. -
Para aplicar a configuração, execute
ghe-cluster-config-apply. -
Se você adiou a semeadura do banco de dados, semeie os dados manualmente. No novo nó, em uma
screensessão, execute o comando a seguir, substituindoPRIMARY_IPpelo endereço IP do nó MySQL primário.Shell /usr/local/share/enterprise/ghe-mysql-repl-start PRIMARY_IP
/usr/local/share/enterprise/ghe-mysql-repl-start PRIMARY_IP -
Aguarde a conclusão da replicação do MySQL. Para monitorar a replicação de qualquer nó no cluster, execute
ghe-cluster-status -v.
Fase 3: Configurar multi-disk no novo nó
Após a conclusão da replicação do MySQL, habilite o modo de manutenção na nova réplica. O restante do cluster continua a atender ao tráfego enquanto você configura o multi-disk e migra o MySQL no novo nó. Como ghe-storage-migrate-mysql inicia o MySQL, aguarde até que o nó tenha ingressado no cluster antes de migrar. A migração leva mais tempo porque o nó já tem uma cópia de seus dados, mas é mais seguro do que migrar o MySQL no primário.
-
Na nova réplica, anexe o disco adicional para MySQL. Em seguida, configure vários discos e migre o MySQL seguindo as instruções em Configurar vários discos de dados e caminhos de dados.
-
Saia do modo de manutenção na nova réplica.
-
Execute
ghe-cluster-statuspara confirmar se o cluster está íntegro.
Fase 4: Promover o novo nó
A promoção requer uma janela de manutenção e é a única etapa neste procedimento que causa tempo de inatividade. Para promover o novo nó para o nó MySQL primário, siga o procedimento em Substituir um nó de cluster, começando na etapa em que você habilita o modo de manutenção.
Assim como acontece com topologias de HA, a replicação é executada em segundo plano, portanto, a interrupção do modo de manutenção é limitada à promoção.
Fase 5: substituir os nós de réplica do MySQL restantes
Depois que a promoção for concluída e você tiver desabilitado o modo de manutenção, recomendamos repetir este procedimento para cada nó de réplica MySQL restante, para que cada nó MySQL no cluster use um disco dedicado. Substituir os nós de réplica não requer uma janela de manutenção, pois você não está promovendo um novo primário.
Também recomendamos que cada nó de substituição execute o mesmo conjunto de bancos de dados que o nó que ele substitui, como MSSQL e Redis. Esses bancos de dados permanecem em seu estado de réplica nos novos nós.
Exemplo: configurando discos adicionais
Este exemplo demonstra os comandos e saídas necessários para inicialização de disco e migração de dados. Especificamente, /data/user/mysql é migrado para /data/multi-disk/db/mysql, e /data/user/repositories é migrado para /data/multi-disk/git/repositories. Além disso, os logs do sistema são migrados para /data/multi-disk/systemlogs/log, e os logs GitHub são migrados para /data/multi-disk/githublogs.
admin@ghe-test-primary:~$ /usr/local/share/enterprise/ghe-storage-multi-disk status
Checking system status...
admin@ghe-test-primary:~$ /usr/local/share/enterprise/ghe-storage-multi-disk info
Dumping disk status and information...
admin@ghe-test-primary:~$ /usr/local/share/enterprise/ghe-storage-multi-disk init /dev/nvme2n1 db
Starting initialization sequence for /dev/nvme2n1 at /data/multi-disk/db...
admin@ghe-test-primary:~$ /usr/local/share/enterprise/ghe-storage-multi-disk init /dev/nvme3n1 git
Starting initialization sequence for /dev/nvme3n1 at /data/multi-disk/git...
admin@ghe-test-primary:~$ /usr/local/share/enterprise/ghe-storage-multi-disk init /dev/nvme4n1 systemlogs
Starting initialization sequence for /dev/nvme4n1 at /data/multi-disk/systemlogs...
admin@ghe-test-primary:~$ /usr/local/share/enterprise/ghe-storage-multi-disk init /dev/nvme5n1 githublogs
Starting initialization sequence for /dev/nvme5n1 at /data/multi-disk/githublogs...
admin@ghe-test-primary:~$ /usr/local/share/enterprise/ghe-storage-migrate-mysql db
Start MySQL migration to /data/multi-disk/db...
Running checks..
Error: maintenance mode must be enabled before being able to proceed.
ERROR: Last Command: return 1 LINE: 36 ghe-storage-migrate-mysql
Script exited with exit code: 1
admin@ghe-test-primary:~$ ghe-maintenance -s
admin@ghe-test-primary:~$ /usr/local/share/enterprise/ghe-storage-migrate-mysql db
Start MySQL migration to /data/multi-disk/db...
Success: /data/user/mysql moved to /data/multi-disk/db/mysql
Script exited with exit code: 0
admin@ghe-test-primary:~$ /usr/local/share/enterprise/ghe-storage-migrate-repositories git
Start repository migration to /data/multi-disk/git...
Success: /data/user/repositories moved to /data/multi-disk/git
Script exited with exit code: 0
admin@ghe-test-primary:~$ /usr/local/share/enterprise/ghe-storage-migrate-logs systemlogs
Start log migration to /data/multi-disk/systemlogs...
Success: /var/log moved to /data/multi-disk/systemlogs/log
Please restart the GitHub Enterprise instance to apply the changes.
Script exited with exit code: 0
admin@ghe-test-primary:~$ sudo reboot
admin@ghe-test-primary:~$ /usr/local/share/enterprise/ghe-storage-migrate-github-logs githublogs
Error: Config apply currently in progress. Please wait for it to finish...
# Wait for config apply to finish
admin@ghe-test-primary:~$ /usr/local/share/enterprise/ghe-storage-migrate-github-logs githublogs
Start github log migration to /data/multi-disk/githublogs...
Success: moved to /data/multi-disk/githublogs
Script exited with exit code: 0
admin@ghe-test-primary:~$ ghe-maintenance -u
admin@ghe-test-primary:~$ /usr/local/share/enterprise/ghe-storage-multi-disk status
Checking system status...
Multi disk setup is enabled...
Potential disks are automatically mounted on startup...
# Disk check
Detected multi disk path at /data/multi-disk/db...
/data/multi-disk/db is set up correctly for multi disk use.
Detected multi disk path at /data/multi-disk/git...
/data/multi-disk/git is set up correctly for multi disk use.
Detected multi disk path at /data/multi-disk/githublogs...
/data/multi-disk/githublogs is set up correctly for multi disk use.
Detected multi disk path at /data/multi-disk/systemlogs...
/data/multi-disk/systemlogs is set up correctly for multi disk use.
# Service migration check
MySQL migration was detected...
/data/user/mysql -> /data/multi-disk/db/mysql is correctly symlinked.
Repositories migration was detected...
/data/user/repositories -> /data/multi-disk/git/repositories is correctly symlinked.
GitHub current log migration was detected...
/data/github/current/log -> /data/multi-disk/githublogs/github-current-log is correctly symlinked.
GitHub shared log migration was detected...
/data/github/shared/log -> /data/multi-disk/githublogs/github-shared-log is correctly symlinked.
Logs migration was detected...
/var/log -> /data/multi-disk/systemlogs/log is correctly symlinked.
admin@ghe-test-primary:~$ /usr/local/share/enterprise/ghe-storage-multi-disk info
Dumping disk status and information...
# Multi disk configuration /data/user/multi-disk-config:
DISK_DB="lvm"
DISK_GIT="lvm"
DISK_SYSTEMLOGS="lvm"
DISK_GITHUBLOGS="lvm"
MYSQL_MIGRATION_PATH="/data/multi-disk/db/mysql"
REPOSITORIES_MIGRATION_PATH="/data/multi-disk/git/repositories"
# Multi-disk logs path is stored in /etc/multi-disk/ghe-multi-disk-logs-mount
GHCURRENT_LOG_MIGRATION_PATH="/data/multi-disk/githublogs/github-current-log"
GHSHARED_LOG_MIGRATION_PATH="/data/multi-disk/githublogs/github-shared-log"
ENABLE_MULTI_DISK_LOGS_MOUNT=true
LOGS_MIGRATION_PATH=/data/multi-disk/systemlogs/log
admin@ghe-test-primary:~$ ls /var/log/multi-disk/
ghe-storage-init-db.log ghe-storage-init-git.log ghe-storage-migrate-github-logs.log ghe-storage-migrate-mysql.log ghe-storage-init-githublogs.log ghe-storage-init-systemlogs.log ghe-storage-migrate-logs.log ghe-storage-migrate-repositories.log
Verificações de higiene
Ambos /usr/local/share/enterprise/ghe-storage-multi-disk status e /usr/local/share/enterprise/ghe-storage-multi-disk info são úteis para verificar sua configuração.
Para exibir a configuração atual de vários discos, use:
$ cat /data/user/multi-disk-config
DISK_DB="lvm"
DISK_GIT="lvm"
DISK_SYSTEMLOGS="lvm"
DISK_GITHUBLOGS="lvm"
MYSQL_MIGRATION_PATH="/data/multi-disk/db/mysql"
REPOSITORIES_MIGRATION_PATH="/data/multi-disk/git/repositories"
# Multi-disk logs path is stored in /etc/multi-disk/ghe-multi-disk-logs-mount
GHCURRENT_LOG_MIGRATION_PATH="/data/multi-disk/githublogs/github-current-log"
GHSHARED_LOG_MIGRATION_PATH="/data/multi-disk/githublogs/github-shared-log"
$ cat /etc/multi-disk/ghe-multi-disk-logs-mount
ENABLE_MULTI_DISK_LOGS_MOUNT=true
LOGS_MIGRATION_PATH=/data/multi-disk/systemlogs/log
Para examinar logs de vários discos, incluindo eventos de inicialização e migração de disco, execute:
$ ls -l /var/log/multi-disk/
total 64
-rw-r--r-- 1 root root 2115 Feb 13 16:32 ghe-storage-init-db.log
-rw-r--r-- 1 root root 2478 Feb 13 16:36 ghe-storage-init-githublogs.log
-rw-r--r-- 1 root root 2114 Feb 13 16:36 ghe-storage-init-git.log
-rw-r--r-- 1 root root 2378 Feb 13 16:36 ghe-storage-init-systemlogs.log
-rw-r--r-- 1 root root 20450 Feb 13 17:27 ghe-storage-migrate-github-logs.log
-rw-r--r-- 1 root root 1053 Feb 13 17:15 ghe-storage-migrate-logs.log
-rw-r--r-- 1 root root 2460 Feb 13 16:38 ghe-storage-migrate-mysql.log
-rw-r--r-- 1 root root 19011 Feb 13 16:42 ghe-storage-migrate-repositories.log
Comandos para gerenciar vários discos
Esses comandos possibilitam adicionar vários discos e migrar serviços ou caminhos de pasta específicos para esses discos. Os caminhos de pasta originais são mantidos e permanecem estáticos. Outros serviços não sabem que algo mudou. Os caminhos das pastas estáticas são links simbólicos para os caminhos recém-migrados.
Os comandos incluem:
-
ghe-storage-multi-disk
statusinitinfomountstart-services(recomendado apenas para debug)stop-services(recomendado apenas para debug)
-
ghe-storage-migrate-repositories
/data/user/repositoriesMigra para qualquer caminho de disco criado usandoghe-storage-multi-disk init.
-
ghe-storage-migrate-mysql
/data/user/mysqlMigra para qualquer caminho de disco criado usandoghe-storage-multi-disk init.
-
ghe-storage-migrate-logs
/var/logMigra para qualquer caminho de disco criado usandoghe-storage-multi-disk init.
-
ghe-storage-migrate-github-logs
- Migra
/data/github/current/loge/data/github/shared/logpara qualquer caminho de disco criado usandoghe-storage-multi-disk init.
- Migra