Skip to main content
Skip to content

Échecs de GitHub Actions dus à une tâche de notification bloquée

Si GitHub Actions cesse de fonctionner pour les référentiels et les organisations qui ne l’ont pas utilisé auparavant, ou si des exécutions de configuration échouent lors de la mise à jour de GitHub Actions, une tâche en arrière-plan dans l’un des services GitHub Actions a peut-être été bloquée.

Symptoms

Vous pouvez rencontrer un ou plusieurs des problèmes suivants. D’autres problèmes peuvent entraîner les mêmes problèmes. Utilisez donc les vérifications de confirmation du problème pour confirmer qu’une tâche de notification bloquée est la cause.

  • Dans les référentiels qui n’ont jamais utilisé GitHub Actions, tels que les nouveaux référentiels, les flux de travail ne s’exécutent pas. La page des paramètres du GitHub Actions référentiel et la page permettant d’ajouter un exécuteur auto-hébergé retournent une erreur 500. Les dépôts qui utilisent déjà GitHub Actions continuent généralement de fonctionner.
  • Dans les organisations qui n’ont pas utilisé GitHub Actions auparavant, les paramètres GitHub Actions, les exécuteurs et les pages des groupes d’exécuteurs de l’organisation renvoient une erreur 500. Si votre entreprise n’a pas déjà utilisé GitHub Actions , les pages des exécuteurs d’entreprise et des groupes d’exécuteurs peuvent échouer de la même façon.
  • Une mise à niveau ou un hotpatch, ou une autre exécution de configuration qui met à jour GitHub Actions, s’interrompt pendant 15 minutes ou plus, puis échoue. Le journal de configuration, /data/user/common/ghe-config.logcontient Failed to update the following host process. Cette erreur peut également avoir d’autres causes, en particulier lors d’une mise à niveau.
  • Un nouveau message apparaît dans le journal système environ chaque seconde, indiquant qu’une SqlNotificationBackgroundWork tâche is still running past its interval time. Les tâches bloquées dans les processus de l’agent de tâche n’enregistrent pas ce message dans le journal.

ghe-actions-check peut signaler que chaque service est sain pendant que ce problème se produit, de sorte qu’un résultat sain ne l’exclut pas.

Les Causes

GitHub Actions configure le stockage pour chaque référentiel, utilisateur, organisation et entreprise la première fois que GitHub Actions y est utilisé. Ce stockage contient les inscriptions de l’exécuteur et les autres paramètres dont GitHub Actions a besoin.

Les GitHub Actions services s’exécutent en tant que plusieurs processus. Chaque processus exécute des tâches en arrière-plan qui vérifient les files d’attente de notification dans les GitHub Actions bases de données environ une seconde et reconnaissent les modifications qu’ils trouvent. Certaines opérations attendent que d’autres processus prennent en compte une modification.

  • La mise en place du stockage pour la première fois attend les deux processus du service principal GitHub Actions, actions-api-server et actions-job-agent.
  • Une exécution de configuration qui met à jour GitHub Actions attend les processus de l’agent de travail, dont les noms se terminent par -job-agent.

Si une tâche en arrière-plan dans l’un de ces processus cesse de fonctionner, car elle se bloque ou qu’elle cesse de s’exécuter, ce processus cesse d’accuser réception des modifications, de sorte que les opérations qui attendent qu’elle échoue. La plupart des autres activités de GitHub Actions ne dépendent pas des files d’attente, de sorte que le problème peut passer inaperçu pendant des jours, jusqu’à ce qu’un nouveau référentiel ait besoin de GitHub Actions ou qu’une exécution de configuration le mette à jour.

Dans les cas étudiés par GitHub, la tâche ne s’est pas rétablie d’elle-même. Rien dans GitHub Actions ne le redémarre, et ghe-actions-check ne détecte pas le problème. Le redémarrage des services GitHub Actions démarre de nouveaux processus avec de nouvelles tâches en arrière-plan, ce qui corrige le problème. La raison pour laquelle la tâche est bloquée n’est pas connue, de sorte que le problème peut se reproduire.

Confirmer le problème

Chaque GitHub Actions processus consigne un signal de vie environ toutes les 5 minutes pendant que ses tâches de notification fonctionnent. Lorsqu’une tâche se bloque dans un processus dont le nom se termine -api-server, ce processus enregistre également un message de tâche bloqué environ une fois par seconde. Les processus dont les noms se terminent par -job-agent ne journalisent jamais de messages de tâche bloquée, de sorte que pour ces processus, seules les pulsations montrent le problème.

  1. Connectez-vous en SSH à l’interpréteur de commandes d’administration. Dans une configuration à haute disponibilité, connectez-vous au serveur principal. Dans un cluster, exécutez ces commandes sur chaque nœud sur lequel GitHub Actions s’exécute. Pour répertorier ces nœuds, exécutez ghe-cluster-nodes --role actions. Pour plus d’informations, consultez « Accès à l’interpréteur de commandes d’administration (SSH) ».

  2. Pour chaque GitHub Actions processus, comptez les pulsations et les messages de tâche bloqués des 15 dernières minutes. Si vous avez démarré ou redémarré GitHub Actions moins de 15 minutes il y a, attendez que 15 minutes aient passé en premier.

    for p in actions-api-server actions-job-agent mps-api-server mps-job-agent token-api-server token-job-agent artifactcache-api-server artifactcache-job-agent; do
      log=$(sudo journalctl -t "$p" --since '15 min ago' --no-pager)
      hb=$(grep -c 'Deployment Notification Heartbeat' <<< "$log")
      case "$p" in
        *-job-agent) st="n/a" ;;
        *) st=$(grep -c 'SqlNotificationBackgroundWork.*still running past its interval' <<< "$log") ;;
      esac
      echo "$p: $hb heartbeats, $st stalled-task messages"
    done
    

    La sortie ressemble à ceci. Dans cet exemple, la tâche de notification dans actions-api-server s'est bloquée.

    actions-api-server: 0 heartbeats, 900 stalled-task messages
    actions-job-agent: 3 heartbeats, n/a stalled-task messages
    mps-api-server: 3 heartbeats, 0 stalled-task messages
    mps-job-agent: 3 heartbeats, n/a stalled-task messages
    token-api-server: 3 heartbeats, 0 stalled-task messages
    token-job-agent: 2 heartbeats, n/a stalled-task messages
    artifactcache-api-server: 3 heartbeats, 0 stalled-task messages
    artifactcache-job-agent: 3 heartbeats, n/a stalled-task messages
    
  3. Utilisez ce tableau pour lire le résultat de chaque processus.

    Résultat d’un processusCe que cela signifie
    2 signaux de pulsation ou plus, et pas plus de quelques messages de tâche bloquésLe processus fonctionne. Une seule vérification lente peut consigner quelques messages signalant des tâches bloquées.
    0 heartbeats, tandis que d’autres processus affichent 2 ou plusLa tâche de notification de ce processus est bloquée.
    Environ 900 messages de tâche bloqués ou plus, soit environ un par secondeLa tâche de notification de ce processus est bloquée.
    1 signal de pulsation, ou plus de quelques messages, mais moins d’environ 900 messages de tâche en attentePas encore clair. Attendez 15 minutes, puis réexécutez les commandes.
    0 heartbeats pour chaque processus

GitHub Actions n’est pas en cours d’exécution sur ce nœud. Vérifiez que vous êtes connecté au principal ou à un nœud de cluster sur lequel GitHub Actions s’exécute. | | 0 heartbeats pour les deux artifactcache processus uniquement | Cela est attendu si vous avez désactivé le service de GitHub Actions cache. Pour plus d’informations, consultez « Utilitaires de ligne de commande ». |

  1. Vérifiez que les processus bloqués correspondent à vos symptômes.

    • Les erreurs 500 se produisent quand actions-api-server ou actions-job-agent est bloqué.
    • Les exécutions de configuration échouent lorsqu’un processus dont le nom se termine par -job-agent est bloqué.

    Si aucun processus n’est bloqué ou si les processus bloqués ne correspondent pas à vos symptômes, une tâche de notification bloquée n’est probablement pas la cause. Voir Contacter Support GitHub.

  2. Si vous le souhaitez, pour savoir quand la tâche d’un processus dont le nom se termine par -api-server s’est bloquée, affichez son message le plus récent concernant une tâche bloquée. Remplacez PROCESS-NAME par le nom du processus.

    sudo journalctl -t PROCESS-NAME --since '15 min ago' --no-pager | grep 'SqlNotificationBackgroundWork.*still running past its interval' | tail -n 1
    

    La sortie ressemble à ceci. Chaque message est une longue ligne, raccourcie ici.

    Mar 10 09:15:42 github-example-com-primary actions-api-server[2817]: {"logType": "ProductTrace", "logData": {"PreciseTimeStamp":"2026-03-10 09:15:42.1234","Level":"2", ... "Message":"Background task adcceb44-740e-44e8-a2cf-95c1d38db76c:Microsoft.TeamFoundation.Framework.Server.NotificationProcessor+SqlNotificationBackgroundWork:9442d144-43fd-4fe3-bdca-e460fdee6c01 is still running past its interval time and thus is delaying its next execution.\nThe next execution was supposed to occur 2.10:34:37.0512746 ago at 03/07/2026 22:41:05.", ... }}
    

    La date et l’heure après ago at indiquent approximativement quand la tâche s’est bloquée. Ils sont au format UTC, avec la date au format mois/jour/année. La valeur affichée avant montre depuis combien de temps cela date, comme DAYS.HOURS:MINUTES:SECONDS. La partie jours apparaît uniquement si cela remonte à un jour ou plus.

Résolution du problème

Redémarrez les GitHub Actions services. Dans une configuration de haute disponibilité, exécutez chaque commande sur le serveur principal. Dans un cluster, exécutez-les sur le nœud MySQL principal, qui est généralement le nœud désigné comme mysql-master dans le fichier de configuration du cluster. Pour plus d’informations, consultez « Initialisation du cluster ».

Si une exécution de configuration est en cours, attendez qu’elle se termine ou échoue avant de commencer. Une exécution que ce problème bloque échoue après 15 minutes ou plus.

Si vous envisagez de contacter Support GitHub à propos de ce problème, lisez Contacter Support GitHub avant de redémarrer.

Avertissement

L’arrêt des services GitHub Actions rend GitHub Actions indisponible jusqu’à ce que vous les redémarriez. Les travaux en cours d’exécution lorsque vous arrêtez les services peuvent échouer. Si vous le pouvez, redémarrez les services lorsque peu de workflows sont en cours d’exécution. Après le redémarrage, réexécutez les travaux qui ont échoué. Les exécuteurs auto-hébergés se reconnectent eux-mêmes.

  1. Connectez-vous en SSH à l’interpréteur de commandes d’administration.

  2. Vérifiez que les services GitHub Actions et leur stockage sont par ailleurs en bon état.

    ghe-actions-check
    ghe-actions-check -s blob
    

    Lorsque le stockage est sain, la dernière ligne de la sortie de la deuxième commande est Stockage Blob is healthy!. Si l’une des commandes indique qu’un service n’a pas pu devenir sain ou signale Storage tests failed!, ne continuez pas. Contactez Support GitHub à la place. ghe-actions-start exécute la même vérification de stockage, de sorte qu’elle échouerait également.

  3. Arrêtez les services GitHub Actions.

    ghe-actions-stop
    

    Pour chaque service, la sortie inclut une ligne qui commence par Attempting to stop. Si la sortie inclut Failed to stop, passez à l’étape suivante pour redémarrer les services, puis contactez Support GitHub.

  4. Démarrez les GitHub Actions services.

    ghe-actions-start
    

    Cela peut prendre plusieurs minutes. Ne l’interrompez pas. Quand elle se termine, la dernière ligne de la sortie est Actions was enabled!. Cela signifie que les services démarrent, pas qu’ils sont prêts, donc vérifiez-les à l’étape suivante. Si la commande se termine par une erreur à la place, GitHub Actions peut rester indisponible. Contactez Support GitHub immédiatement.

  5. Vérifiez que les services sont en bon état. Cela peut prendre quelques minutes.

    ghe-actions-check
    

    Lorsque chaque service est sain, la sortie ressemble à ceci.

    MSSQL is healthy!
    Mps database is healthy!
    Mps nomad job is healthy!
    Mps AT health api is healthy!
    Token database is healthy!
    Token nomad job is healthy!
    Token AT health api is healthy!
    Actions database is healthy!
    Actions nomad job is healthy!
    Actions AT health api is healthy!
    Artifactcache database is healthy!
    Artifactcache nomad job is healthy!
    Artifactcache AT health api is healthy!
    

    Si vous avez désactivé le service de GitHub Actions cache, les Artifactcache lignes ne sont pas affichées. Pendant que les services démarrent, la sortie peut également inclure des lignes telles que Mps nomad job is not yet healthy (attempt 1 of 20), trying again in 10 seconds....

  6. Étant donné que ghe-actions-check ne peut pas détecter une tâche bloquée, attendez 15 minutes, puis réexécutez la vérification dans Confirmation du problème à nouveau. Chaque processus doit afficher 2 pulsations de contrôle ou plus, et pas plus de quelques messages de tâche bloquée. Si vous avez désactivé le service de cache GitHub Actions, les deux processus artifactcache affichent 0.

  7. Ouvrez la GitHub Actions page des paramètres d’un référentiel affecté et vérifiez qu’il se charge. Si le mode maintenance est activé, par exemple, car vous effectuez une mise à niveau, effectuez cette opération après avoir désactivé le mode de maintenance. Le premier chargement peut encore échouer. Si c’est le cas, attendez une minute et rechargez la page. Si la page retourne toujours une erreur 500, contactez Support GitHub. Pour plus d’informations, consultez « Gestion des paramètres de GitHub Actions pour un référentiel ».

Vous n’avez pas besoin de nettoyer le stockage qui n’a pas pu être configuré. La prochaine fois que GitHub Actions est utilisé dans un référentiel, par un utilisateur, une organisation ou une entreprise concernés, GitHub Actions configure le stockage nécessaire. Les flux de travail qui auraient dû s’exécuter pendant que le problème se produisait risquent de ne pas s’exécuter d’eux-mêmes. Si vous en avez besoin, déclenchez-les à nouveau.

Relancer une exécution de configuration ayant échoué

Si une exécution de configuration a échoué avec Failed to update the following host process, et qu’un processus dont le nom se termine -job-agent a été bloqué, réexécutez la configuration après avoir redémarré les GitHub Actions services. Si aucun processus d’agent de travail n’a été bloqué, ne l’exécutez pas à nouveau. Contactez Support GitHub plutôt, parce que quelque chose d’autre a probablement provoqué l’échec.

Si l’exécution de la configuration faisait partie d’une mise à niveau, ne désactivez pas encore le mode de maintenance. Dans une configuration à haute disponibilité, restez en mode maintenance tant que vous n’avez pas mis à niveau chaque réplica et que la réplication est en cours. Pour plus d’informations, consultez « Mise à niveau avec un package de mise à niveau ».

Dans un cluster, ne suivez pas ces étapes. Contactez Support GitHub à la place.

Avertissement

L’exécution de ghe-config-apply perturbe les services.

  1. Si le mode de maintenance n’est pas déjà activé, activez-le. Pour plus d’informations, consultez « Activation et planification du mode de maintenance ».

  2. Appliquez la configuration.

    ghe-config-apply
    

    Si l’exécution de la configuration échoue à nouveau, laissez le mode maintenance activé et contactez Support GitHub.

  3. Une fois l’exécution de la configuration réussie, désactivez le mode maintenance. Si vous mettez à niveau une configuration de haute disponibilité, mettez d’abord à niveau chaque réplica et attendez que la réplication soit à jour.

Prévenir la réapparition

GitHub ne sait pas pourquoi la tâche se bloque, il n’y a donc aucun moyen connu de l’empêcher. Vous pouvez le trouver avant qu’il n’affecte vos utilisateurs.

  • Avant de mettre à niveau ou d’appliquer un hotpatch, recherchez une tâche de notification bloquée, comme décrit dans Confirming the problem. Si vous en trouvez une, redémarrez d’abord les GitHub Actions services. Cela peut empêcher la tâche bloquée d’entraîner l’échec de l’exécution de la configuration.
  • Si vous transférez des journaux à un système d’analyse, déclenchez une alerte quand un processus GitHub Actions n’enregistre pas Deployment Notification Heartbeat pendant plus de 15 minutes. Alertez également lorsque les messages qui contiennent les deux SqlNotificationBackgroundWork et still running past its interval continuent d’arriver pendant plus de 15 minutes. Pour plus d’informations, consultez « Transfert de journaux ».

Contacter Support GitHub

D’autres problèmes peuvent entraîner les mêmes erreurs 500 et défaillances de configuration. Si les vérifications ne trouvent pas de tâche de notification bloquée, si une tâche se bloque à nouveau après le redémarrage, si Failed to stop affiche ghe-actions-stop, si ghe-actions-start ou ghe-actions-check signale une erreur, ou si vous avez des doutes sur l’une de ces étapes, contactez Support GitHub plutôt que de continuer. Pour plus d’informations, consultez « Création d’un ticket de support ».

Si vous avez déjà ouvert un ticket, joindre un bundle de support aide Support GitHub à diagnostiquer le problème plus rapidement. Générez un bundle de support étendu dès que vous remarquez le problème avant de redémarrer les GitHub Actions services. Les journaux d’activité à partir du moment où la tâche est bloquée sont les plus utiles et peuvent avoir plusieurs jours d’ancienneté. Un bundle de support étendu inclut les journaux des huit derniers jours. Pour plus d’informations, consultez « Fourniture de données au support GitHub ».

Pour en savoir plus