Skip to main content

Enterprise Server 3.23 está disponível no momento como versão candidata a lançamento.

Skip to content

falhas do GitHub Actions causadas por uma tarefa de notificação paralisada

Se GitHub Actions parar de funcionar para repositórios e organizações que não o tinham usado antes ou as execuções de configuração falharem enquanto atualizam GitHub Actions, uma tarefa em segundo plano em um dos serviços GitHub Actions pode ter ficado travada.

Symptoms

Você pode ver um ou mais dos seguintes problemas. Outros problemas podem resultar nos mesmos problemas, portanto, use as verificações em Confirmar o problema para confirmar que uma tarefa de notificação paralisada é a causa.

  • Em repositórios que ainda não usaram GitHub Actions antes, como novos repositórios, os fluxos de trabalho não são executados. A página de configurações do GitHub Actions repositório e a página para adicionar um executor auto-hospedado retornam um erro de 500. Repositórios que já usam GitHub Actions geralmente continuam funcionando.
  • Em organizações que não usaram GitHub Actions antes, as configurações da organização em GitHub Actions, os executores e as páginas de grupos de executores retornam um erro 500. Se sua empresa não tiver usado GitHub Actions antes, as páginas de grupos de executores e corredores da empresa poderão falhar da mesma maneira.
  • Uma atualização ou hotpatch, ou outra execução de configuração que atualiza GitHub Actions, pausa por 15 minutos ou mais e, em seguida, falha. O log de configuração, /data/user/common/ghe-config.log, contém Failed to update the following host process. Esse erro também pode ter outras causas, especialmente durante uma atualização.
  • O log do sistema recebe uma nova mensagem aproximadamente a cada segundo, dizendo que uma tarefa SqlNotificationBackgroundWork is still running past its interval time. Tarefas paralisadas nos processos do agente de trabalho não registram esta mensagem.

ghe-actions-check pode relatar que todos os serviços estão íntegros enquanto esse problema está acontecendo, portanto, um resultado íntegro não o exclui.

Causas

GitHub Actions configura o armazenamento para cada repositório, usuário, organização e enterprise na primeira vez em que GitHub Actions é usado lá. Esse armazenamento contém registros de executor e as outras configurações de que o GitHub Actions precisa.

Os GitHub Actions serviços são executados como vários processos. Cada processo executa tarefas em segundo plano que verificam filas GitHub Actions de notificação nos bancos de dados cerca de uma vez por segundo e reconhecem as alterações encontradas. Algumas operações esperam até que outros processos reconheçam uma alteração.

  • Configurar o armazenamento pela primeira vez aguarda os dois processos do serviço actions-api-server principal GitHub Actions e actions-job-agent.
  • Uma execução de configuração que atualiza GitHub Actions aguarda os processos do agente de trabalho, cujos nomes terminam em -job-agent.

Se uma tarefa em segundo plano em um desses processos parar de funcionar, porque ela trava ou porque para de ser executada, esse processo interrompe a confirmação de alterações, para que as operações que aguardem por ela falhem. A maioria das outras GitHub Actions atividades não depende das filas, portanto, o problema pode passar despercebido por dias, até que um novo repositório precise GitHub Actions ou uma execução de configuração a atualize.

Nos casos que GitHub investigou, a tarefa não se recuperou sozinha. Nada no GitHub Actions o reinicia, e ghe-actions-check não detecta o problema. Reiniciar os GitHub Actions serviços inicia novos processos com novas tarefas em segundo plano, o que corrige isso. O motivo pelo qual a tarefa trava não é conhecido, portanto, o problema pode acontecer novamente.

Confirmando o problema

Cada processo GitHub Actions registra um heartbeat a cada 5 minutos enquanto suas tarefas de notificação estão funcionando. Quando uma tarefa para em um processo cujo nome termina -api-server, esse processo também registra uma mensagem de tarefa paralisada cerca de uma vez por segundo. Processos cujos nomes terminam em -job-agent nunca registram mensagens de tarefa paralisada, portanto, para esses processos, apenas as pulsações mostram o problema.

  1. Conecte-se ao shell administrativo via SSH. Em uma configuração de alta disponibilidade, conecte-se ao primário. Em um cluster, execute esses comandos em cada nó que executa GitHub Actions. Para listar esses nós, execute ghe-cluster-nodes --role actions. Para obter mais informações, consulte Acessar o shell administrativo (SSH).

  2. Para cada processo GitHub Actions, conte os heartbeats e as mensagens de tarefa paralisadas dos últimos 15 minutos. Se você iniciou ou reiniciou GitHub Actions há menos de 15 minutos, aguarde até que 15 minutos tenham passado primeiro.

    for p in actions-api-server actions-job-agent mps-api-server mps-job-agent token-api-server token-job-agent artifactcache-api-server artifactcache-job-agent; do
      log=$(sudo journalctl -t "$p" --since '15 min ago' --no-pager)
      hb=$(grep -c 'Deployment Notification Heartbeat' <<< "$log")
      case "$p" in
        *-job-agent) st="n/a" ;;
        *) st=$(grep -c 'SqlNotificationBackgroundWork.*still running past its interval' <<< "$log") ;;
      esac
      echo "$p: $hb heartbeats, $st stalled-task messages"
    done
    

    A saída tem esta aparência. Neste exemplo, a tarefa de notificação em actions-api-server paralisou.

    actions-api-server: 0 heartbeats, 900 stalled-task messages
    actions-job-agent: 3 heartbeats, n/a stalled-task messages
    mps-api-server: 3 heartbeats, 0 stalled-task messages
    mps-job-agent: 3 heartbeats, n/a stalled-task messages
    token-api-server: 3 heartbeats, 0 stalled-task messages
    token-job-agent: 2 heartbeats, n/a stalled-task messages
    artifactcache-api-server: 3 heartbeats, 0 stalled-task messages
    artifactcache-job-agent: 3 heartbeats, n/a stalled-task messages
    
  3. Use esta tabela para ler o resultado de cada processo.

    Resultado de um processoO que significa
    2 ou mais heartbeats, e não mais do que algumas mensagens de tarefa travadaO processo está funcionando. Uma única verificação lenta pode registrar algumas mensagens de tarefa paralisadas.
    0 heartbeats, enquanto outros processos mostram 2 ou maisA tarefa de notificação nesse processo estagnou.
    Cerca de 900 ou mais mensagens de tarefa paralisadas, que é cerca de uma por segundoA tarefa de notificação nesse processo foi paralisada.
    1 heartbeat, ou mais do que algumas, mas menos de cerca de 900 mensagens de tarefa interrompidaAinda não está claro. Aguarde 15 minutos e execute os comandos novamente.
    0 heartbeats para cada processo

GitHub Actions não está em execução neste nó. Verifique se você está conectado ao primário ou a um nó de cluster que executa GitHub Actions. | | 0 heartbeats somente para os dois processos artifactcache | Isso é esperado se você tiver desabilitado o GitHub Actions serviço de cache. Para obter mais informações, consulte Utilitários de linha de comando. |

  1. Verifique se os processos paralisados correspondem aos sintomas.

    • Os erros 500 ocorrem quando actions-api-server ou actions-job-agent estiverem parados.
    • As execuções de configuração falham quando um processo cujo nome termina -job-agent está parado.

    Se nenhum processo tiver parado ou os processos paralisados não corresponderem aos sintomas, uma tarefa de notificação paralisada provavelmente não será a causa. Consulte Como entrar em contato Suporte do GitHub.

  2. Opcionalmente, para descobrir quando a tarefa em um processo cujo nome termina em -api-server paralisou, exiba sua mensagem de tarefa paralisada mais recente. Substitua PROCESS-NAME pelo nome do processo.

    sudo journalctl -t PROCESS-NAME --since '15 min ago' --no-pager | grep 'SqlNotificationBackgroundWork.*still running past its interval' | tail -n 1
    

    A saída tem esta aparência. Cada mensagem é uma linha longa, abreviada aqui.

    Mar 10 09:15:42 github-example-com-primary actions-api-server[2817]: {"logType": "ProductTrace", "logData": {"PreciseTimeStamp":"2026-03-10 09:15:42.1234","Level":"2", ... "Message":"Background task adcceb44-740e-44e8-a2cf-95c1d38db76c:Microsoft.TeamFoundation.Framework.Server.NotificationProcessor+SqlNotificationBackgroundWork:9442d144-43fd-4fe3-bdca-e460fdee6c01 is still running past its interval time and thus is delaying its next execution.\nThe next execution was supposed to occur 2.10:34:37.0512746 ago at 03/07/2026 22:41:05.", ... }}
    

    A data e a hora seguintes a ago at são sobre quando a tarefa travou. Eles estão em UTC, com a data na ordem mês/dia/ano. O valor antes deles mostra há quanto tempo isso aconteceu, como DAYS.HOURS:MINUTES:SECONDS. A parte de dias só aparece se foi um dia ou mais atrás.

Resolvendo o problema

Reinicie os GitHub Actions serviços. Em uma configuração de alta disponibilidade, execute todos os comandos no primário. Em um cluster, execute-os no nó MySQL primário, que normalmente é o nó designado como mysql-master no arquivo de configuração do cluster. Para obter mais informações, consulte Inicializar o cluster.

Se uma execução de configuração estiver em andamento, aguarde até que ela seja concluída ou falhe antes de começar. Uma execução bloqueada por esse problema falha após 15 minutos ou mais.

Se você planeja entrar em contato com Suporte do GitHub sobre esse problema, leia Como entrar em contato com Suporte do GitHub antes de reiniciar.

Aviso

Parar os serviços GitHub Actions deixa GitHub Actions indisponível até você iniciá-los novamente. Trabalhos em execução quando você interrompe os serviços podem falhar. Se puder, reinicie os serviços quando poucos fluxos de trabalho estiverem em execução. Após a reinicialização, execute novamente os trabalhos que falharam. Runners auto-hospedados se reconectam por conta própria.

  1. Conecte-se ao shell administrativo via SSH.

  2. Verifique se os serviços GitHub Actions e seu armazenamento estão saudáveis.

    ghe-actions-check
    ghe-actions-check -s blob
    

    Quando o armazenamento estiver íntegro, a última linha da saída do segundo comando será Armazenamento de Blobs is healthy!. Se qualquer um dos comandos relatar que um serviço falhou em se tornar íntegro ou relatar Storage tests failed!, não continue. Entre em contato Suporte do GitHub em vez disso. ghe-actions-start executa a mesma verificação de armazenamento, portanto, também falharia.

  3. Interrompa os GitHub Actions serviços.

    ghe-actions-stop
    

    Para cada serviço, a saída inclui uma linha que começa com Attempting to stop. Se a saída incluir Failed to stop, prossiga para a próxima etapa para iniciar os serviços novamente e entre em contato Suporte do GitHub.

  4. Inicie os GitHub Actions serviços.

    ghe-actions-start
    

    Isso pode levar vários minutos. Não o interrompa. Quando terminar, a última linha da saída será Actions was enabled!. Isso significa que os serviços estão começando, não que estejam prontos, portanto, verifique-os na próxima etapa. Se o comando terminar com um erro, GitHub Actions poderá permanecer indisponível. Contate Suporte do GitHub imediatamente.

  5. Verifique se os serviços estão funcionando corretamente. Isso pode levar alguns minutos.

    ghe-actions-check
    

    Quando cada serviço está saudável, a saída é semelhante a esta.

    MSSQL is healthy!
    Mps database is healthy!
    Mps nomad job is healthy!
    Mps AT health api is healthy!
    Token database is healthy!
    Token nomad job is healthy!
    Token AT health api is healthy!
    Actions database is healthy!
    Actions nomad job is healthy!
    Actions AT health api is healthy!
    Artifactcache database is healthy!
    Artifactcache nomad job is healthy!
    Artifactcache AT health api is healthy!
    

    Se você desabilitou o GitHub Actions serviço de cache, as Artifactcache linhas não são mostradas. Enquanto os serviços estão sendo iniciados, a saída também pode incluir linhas como Mps nomad job is not yet healthy (attempt 1 of 20), trying again in 10 seconds....

  6. Como ghe-actions-check não consegue detectar uma tarefa paralisada, aguarde 15 minutos e execute a verificação em Confirmando o problema novamente. Cada processo deve mostrar 2 ou mais heartbeats e não mais do que algumas mensagens de tarefa paralisada. Se você tiver desabilitado o GitHub Actions serviço de cache, os dois artifactcache processos mostrarão 0.

  7. Abra a GitHub Actions página de configurações de um repositório que foi afetado e verifique se ele é carregado. Se o modo de manutenção estiver habilitado, por exemplo, como você está atualizando, faça isso depois de desabilitar o modo de manutenção. A primeira carga ainda pode falhar. Se isso acontecer, aguarde um minuto e recarregue a página. Se a página ainda retornar um erro de 500, contate Suporte do GitHub. Para obter mais informações, consulte Gerenciando configurações de GitHub Actions para um repositório.

Você não precisa limpar o armazenamento cuja configuração falhou. A próxima vez GitHub Actions é usada em um repositório afetado, usuário, organização ou empresa, GitHub Actions configura o armazenamento de que precisa. Fluxos de trabalho que deveriam ter sido executados enquanto o problema estava acontecendo podem não ser executados por conta própria. Se precisar deles, dispare-os novamente.

Executar uma execução de configuração com falha novamente

Se uma execução de configuração falhar com Failed to update the following host process e um processo cujo nome terminar -job-agent tiver parado, execute a execução da configuração novamente depois de reiniciar os serviços GitHub Actions. Se nenhum processo de agente de trabalho tivesse parado, não o execute novamente. Em vez disso, entre em contato Suporte do GitHub , porque algo mais provavelmente causou a falha.

Se a execução de configuração fez parte de uma atualização, ainda não desabilite o modo de manutenção. Em uma configuração de alta disponibilidade, mantenha-se no modo de manutenção até que cada réplica tenha sido atualizada e a replicação esteja atualizada. Para obter mais informações, consulte Atualizar com pacote de atualização.

Em um cluster, não siga estas etapas. Entre em contato Suporte do GitHub em vez disso.

Aviso

Executar ghe-config-apply interrompe os serviços.

  1. Se o modo de manutenção ainda não estiver habilitado, habilite-o. Para obter mais informações, consulte Habilitar e programar o modo de manutenção.

  2. Aplicar a configuração.

    ghe-config-apply
    

    Se a execução de configuração falhar novamente, deixe o modo de manutenção habilitado e entre em contato com Suporte do GitHub.

  3. Quando a execução de configuração for bem-sucedida, desabilite o modo de manutenção. Se você estiver atualizando uma configuração de alta disponibilidade, primeiro atualize cada réplica e aguarde até que a replicação seja atual.

Como evitar a recorrência

GitHub não sabe por que a tarefa trava, portanto, não há nenhuma maneira conhecida de impedi-la. Você pode encontrá-lo antes que ele afete seus usuários.

  • Antes de atualizar ou aplicar um hotpatch, verifique se há uma tarefa de notificação paralisada, conforme descrito na Confirmação do problema. Se você encontrar uma, reinicie os GitHub Actions serviços primeiro. Isso pode impedir que a tarefa paralisada faça com que a execução da configuração falhe.
  • Se você encaminhar logs para um sistema de monitoramento, alerte quando um processo GitHub Actions não registrar Deployment Notification Heartbeat por mais de 15 minutos. Também alerta quando as mensagens que contêm ambos SqlNotificationBackgroundWork e still running past its interval continuam chegando por mais de 15 minutos. Para obter mais informações, consulte Encaminhamento de logs.

Entrar em contato com Suporte do GitHub

Outros problemas podem causar os mesmos 500 erros e falhas de configuração. Se as verificações não encontrarem uma tarefa de notificação paralisada, se uma tarefa parar novamente após a reinicialização, se ghe-actions-stop imprimir Failed to stop, se ghe-actions-start ou ghe-actions-check relatar um erro ou se você não tiver certeza sobre qualquer uma dessas etapas, entre em contato Suporte do GitHub em vez de continuar. Para obter mais informações, consulte Criando um tíquete de suporte.

Se você já abriu um tíquete, anexar um pacote de suporte ajuda a Suporte do GitHub diagnosticar o problema mais rapidamente. Gere um pacote de suporte estendido assim que você observar o problema antes de reiniciar os GitHub Actions serviços. Os logs do momento em que a tarefa ficou paralisada são os mais úteis e podem ter vários dias. Um pacote de suporte estendido inclui logs dos últimos oito dias. Para obter mais informações, consulte Fornecendo dados para GitHub suporte.

Leitura adicional