现象
你可能会看到以下一个或多个问题。 其他问题可能会导致相同的问题,因此请使用“ 确认问题” 中的检查来确认停止的通知任务是原因。
- 在此前未使用过 GitHub Actions 的存储库中(例如新存储库),工作流不会运行。 仓库的 GitHub Actions 设置页面和用于添加自承载运行程序的页面都会返回 500 错误。 已在使用 GitHub Actions 的存储库通常仍可正常工作。
- 在之前未使用过 GitHub Actions 的组织中,组织的 GitHub Actions 设置、运行器和运行器组页面会返回 500 错误。 如果你的企业以前未使用 GitHub Actions 过,企业运行程序和运行程序组页面可能会以相同的方式失败。
- 更新 GitHub Actions 的升级、热修补或其他配置运行会暂停 15 分钟或更长时间,然后失败。 配置日志
/data/user/common/ghe-config.log包含Failed to update the following host process。 此错误也可能具有其他原因,尤其是在升级期间。 - 系统日志大约每秒都会新增一条消息,指出
SqlNotificationBackgroundWork任务is still running past its interval time。 作业代理进程中卡住的任务不会记录此消息。
ghe-actions-check 可以报告每个服务在此问题发生时都正常运行,因此正常结果不排除此情况。
原因
GitHub Actions 会在首次于该处使用 GitHub Actions 时,为每个存储库、用户、组织和企业设置存储。 此存储包含 runner 注册信息和 GitHub Actions 需要的其他设置。
服务 GitHub Actions 作为多个进程运行。 每个进程都会运行后台任务,这些任务大约每秒检查一次数据库中的 GitHub Actions 通知队列,并确认它们找到的更改。 某些操作等到其他进程确认更改。
- 首次设置存储会等待主 GitHub Actions 服务的两个进程,
actions-api-server以及actions-job-agent。 - 一个配置运行,用于更新 GitHub Actions 等待作业代理进程,其名称以
-job-agent结尾。
如果其中一个进程的后台任务停止工作,因为它挂起或因为它停止运行,该进程将停止确认更改,因此等待其失败的操作。 大多数其他 GitHub Actions 活动不依赖于队列,因此在新的存储库需要 GitHub Actions 或配置运行更新之前,问题可能会被忽视几天。
在 GitHub 已调查的情况中,任务本身没有自行恢复。
GitHub Actions 中没有任何机制会将其重启,ghe-actions-check 也不会检测到这个问题。 重启 GitHub Actions 服务会启动新的进程,其中包含新的后台任务,从而解决该问题。 任务停止的原因尚不清楚,因此问题可能会再次发生。
确认该问题
每个 GitHub Actions 进程在其通知任务正常工作时大约每 5 分钟记录一次心跳。 当任务在名称结束 -api-server的进程中停止时,该进程还会记录大约每秒一次的已停止任务消息。 名称以 -job-agent 结尾的进程从不记录 stalled-task 消息,因此对于这些进程,只有心跳信号显示问题。
-
通过 SSH 连接到管理 shell。 在高可用性配置中,连接到主服务器。 在群集中,在运行 GitHub Actions的每个节点上运行这些命令。 若要列出这些节点,请运行
ghe-cluster-nodes --role actions。 有关详细信息,请参阅“访问管理 shell (SSH)”。 -
对于每个 GitHub Actions 进程,计算过去 15 分钟内的检测信号和任务停滞消息。 如果启动或重启 GitHub Actions 的时间不到 15 分钟,请等待 15 分钟后才通过。
for p in actions-api-server actions-job-agent mps-api-server mps-job-agent token-api-server token-job-agent artifactcache-api-server artifactcache-job-agent; do log=$(sudo journalctl -t "$p" --since '15 min ago' --no-pager) hb=$(grep -c 'Deployment Notification Heartbeat' <<< "$log") case "$p" in *-job-agent) st="n/a" ;; *) st=$(grep -c 'SqlNotificationBackgroundWork.*still running past its interval' <<< "$log") ;; esac echo "$p: $hb heartbeats, $st stalled-task messages" done输出如下所示。 在此示例中,
actions-api-server中的通知任务已停滞。actions-api-server: 0 heartbeats, 900 stalled-task messages actions-job-agent: 3 heartbeats, n/a stalled-task messages mps-api-server: 3 heartbeats, 0 stalled-task messages mps-job-agent: 3 heartbeats, n/a stalled-task messages token-api-server: 3 heartbeats, 0 stalled-task messages token-job-agent: 2 heartbeats, n/a stalled-task messages artifactcache-api-server: 3 heartbeats, 0 stalled-task messages artifactcache-job-agent: 3 heartbeats, n/a stalled-task messages -
使用此表可读取每个进程的结果。
进程的结果 含义 2 个或更多个心跳信号,不超过一些任务停滞消息 该过程正在运行。 单个慢速检查可以记录一些任务停滞消息。 0 个心跳,而其他进程显示 2 个或更多个 此进程中的通知任务已停滞。 大约 900 条或更多停滞任务消息,相当于大约每秒一条 此进程中的通知任务已停滞。 1 个心跳,或多于几个但少于约 900 条任务停滞消息 目前还不清楚。 等待 15 分钟,然后再次运行命令。 每个进程的 0 个心跳
GitHub Actions 未在此节点上运行。 检查是否已连接到主节点或运行 GitHub Actions 的群集节点。 |
| 仅这两个 artifactcache 进程有 0 个心跳 | 如果已禁用 GitHub Actions 缓存服务,这是预期现象。 有关详细信息,请参阅“命令行实用程序”。 |
-
检查卡住的进程是否与您遇到的现象相符。
- 当
actions-job-agent或actions-api-server卡住时,就会发生 500 错误。 - 当名称以
-job-agent结尾的进程已卡住时,配置运行将失败。
如果没有进程已停止,或者停止的进程与症状不匹配,则停止的通知任务可能不是原因。 请参阅 “联系 GitHub 支持”。
- 当
-
(可选)若要了解名称以
-api-server结尾的进程中的任务何时卡住,请查看其最近的卡住任务消息。 将 PROCESS-NAME 替换为进程的名称。sudo journalctl -t PROCESS-NAME --since '15 min ago' --no-pager | grep 'SqlNotificationBackgroundWork.*still running past its interval' | tail -n 1输出如下所示。 每条消息都是一条长行,此处缩短。
Mar 10 09:15:42 github-example-com-primary actions-api-server[2817]: {"logType": "ProductTrace", "logData": {"PreciseTimeStamp":"2026-03-10 09:15:42.1234","Level":"2", ... "Message":"Background task adcceb44-740e-44e8-a2cf-95c1d38db76c:Microsoft.TeamFoundation.Framework.Server.NotificationProcessor+SqlNotificationBackgroundWork:9442d144-43fd-4fe3-bdca-e460fdee6c01 is still running past its interval time and thus is delaying its next execution.\nThe next execution was supposed to occur 2.10:34:37.0512746 ago at 03/07/2026 22:41:05.", ... }}
ago at 之后的日期和时间大致表示任务停滞的时间。 它们采用 UTC,日期以月/日/年顺序表示。 它们前面的值显示那是多久以前,如 DAYS.HOURS:MINUTES:SECONDS。 仅当时间在一天前或更早时,才会显示天数部分。
解决问题
重启 GitHub Actions 服务。 在高可用性配置中,在主服务器上运行每个命令。 在群集中,在主 MySQL 节点上运行它们,该节点通常是群集 mysql-master 配置文件中指定的节点。 有关详细信息,请参阅“初始化集群”。
如果配置运行正在进行,请在启动之前等待它完成或失败。 被此问题阻止的运行会在 15 分钟或更长时间后失败。
如果打算就此问题联系 GitHub 支持,请在重启前阅读 联系 GitHub 支持。
警告
停止 GitHub Actions 服务会使 GitHub Actions 不可用,直到再次启动它们。 停止服务时运行的作业可能会失败。 如果可以,在运行工作流很少时重启服务。 重启后,重新运行失败的作业。 自托管运行器会自行重新连接。
-
通过 SSH 连接到管理 shell。
-
检查 GitHub Actions 服务及其存储是否正常。
ghe-actions-check ghe-actions-check -s blob存储正常时,第二个命令的输出的最后一行为
Blob 存储 is healthy!。 如果任一命令报告服务无法正常运行,或报告Storage tests failed!,请勿继续。 请改为联系 GitHub 支持 。ghe-actions-start运行相同的存储检查,因此也会失败。 -
停止 GitHub Actions 服务。
ghe-actions-stop对于每个服务,输出包括一个以
Attempting to stop.. 开头的行。 如果输出包含Failed to stop,请继续执行下一步以再次启动服务,然后联系 GitHub 支持。 -
GitHub Actions启动服务。
ghe-actions-start这可能需要几分钟时间。 不要中断它。 完成后,输出的最后一行为
Actions was enabled!。 这意味着服务正在启动,而不是它们已准备就绪,因此请在下一步中检查它们。 如果命令以错误结尾, GitHub Actions 则可能会保持不可用状态。 立即联系 GitHub 支持 。 -
检查服务是否正常。 这可能需要几分钟。
ghe-actions-check当每个服务都正常时,输出如下所示。
MSSQL is healthy! Mps database is healthy! Mps nomad job is healthy! Mps AT health api is healthy! Token database is healthy! Token nomad job is healthy! Token AT health api is healthy! Actions database is healthy! Actions nomad job is healthy! Actions AT health api is healthy! Artifactcache database is healthy! Artifactcache nomad job is healthy! Artifactcache AT health api is healthy!如果已禁用 GitHub Actions 缓存服务,则不会显示这些
Artifactcache行。 当服务启动时,输出还可以包括行,例如Mps nomad job is not yet healthy (attempt 1 of 20), trying again in 10 seconds...。 -
由于
ghe-actions-check无法检测到停滞的任务,请等待 15 分钟,然后再次运行 确认问题 中的检查。 每个进程都应显示 2 个或更多个心跳,并且任务停滞消息不应超过几条。 如果已禁用 GitHub Actions 缓存服务,则这两个0进程显示artifactcache。 -
GitHub Actions打开受影响的存储库的设置页,并检查它是否加载。 如果启用了维护模式,例如由于要升级,请在禁用维护模式后执行此操作。 首次加载仍可能失败。 如果是,请等待一分钟并重新加载页面。 如果页面仍返回 500 错误,请联系 GitHub 支持。 有关详细信息,请参阅“管理存储库的GitHub Actions设置”。
无需清理设置失败的存储。 下次当在受影响的存储库、用户、组织或企业中使用 GitHub Actions 时,GitHub Actions 会设置其所需的存储。 问题发生时应运行的工作流可能不会自行运行。 如果需要它们,请再次触发它们。
再次运行失败的配置运行
如果配置运行因 Failed to update the following host process 而失败,并且某个名称以 -job-agent 结尾的进程已停滞,请在重新启动 GitHub Actions 服务后再次运行配置运行。 如果没有作业代理进程发生停滞,请不要再次运行它。 请改为联系 GitHub 支持 ,因为其他原因可能会导致失败。
如果配置运行是升级的一部分,则先不要禁用维护模式。 在高可用性配置中,请保持维护模式,直到升级了每个副本并且复制状态已是最新。 有关详细信息,请参阅“使用升级包升级”。
在群集中,不要执行以下步骤。 请改为联系 GitHub 支持 。
警告
运行 ghe-config-apply 会中断服务。
-
如果尚未启用维护模式,请启用它。 有关详细信息,请参阅“启用和排定维护模式”。
-
应用配置。
ghe-config-apply如果配置运行再次失败,请保持启用维护模式并联系 GitHub 支持。
-
配置运行成功后,请禁用维护模式。 如果要升级高可用性配置,请先升级每个副本,并等待复制同步完成。
防止再次发生
GitHub 不知道任务为何卡住,因此没有已知方法来防止这种情况。 可以在它影响用户之前找到它。
- 在升级或应用热修补之前,请检查是否停止了通知任务,如 确认问题中所述。 如果发现一个,请先重启 GitHub Actions 服务。 这可以防止已停滞的任务导致配置运行失败。
- 如果将日志转发到监视系统,则当
Deployment Notification Heartbeat进程超过 15 分钟未记录 GitHub Actions 时,发出警报。 此外,当同时包含SqlNotificationBackgroundWork和still running past its interval的消息持续到达超过 15 分钟时,发出警报。 有关详细信息,请参阅“日志转发”。
联系 GitHub 支持
其他问题可能会导致相同的 500 错误和配置失败。 如果检查未发现停滞的通知任务,如果任务在重启后再次停滞,如果ghe-actions-stop打印Failed to stop,如果ghe-actions-check或ghe-actions-start报告错误,或者您不确定上述任何步骤,请联系GitHub 支持,而不要继续。 有关详细信息,请参阅“创建支持工单”。
如果已打开支持工单,附加支持包有助于 GitHub 支持 更快地诊断问题。 在重启 GitHub Actions 服务之前,在注意到问题后,立即生成扩展支持包。 任务停滞时的日志最有用,这些日志可能是几天前的。 扩展支持捆绑包包括过去 8 天内的日志。 有关详细信息,请参阅“向GitHub支持提供数据”。