Terraform-aws-github-runner: Scale Up lambda não relata erros, mas não gera um novo runner

Estou vendo o mesmo do meu lado e suspeito que esteja relacionado ao recente incidente de desempenho degradado para ações do GitHub.

Ao tentar filtrar a lista de fluxos de trabalho enfileirados em nosso repositório, obtivemos o seguinte erro e uma lista vazia quando claramente há fluxos de trabalho enfileirados:
We are having problems searching workflow runs. The results may not be complete.

Acho que o lambda depende disso para retornar fluxos de trabalho enfileirados para ativar uma instância.

Vendo exatamente a mesma coisa fwiw.

Eu estava tentando descobrir se há uma maneira fácil de forçar manualmente uma escala para cima. Parece que a configuração ociosa é verificada apenas durante as reduções de escala? Eu não estou familiarizado com o código, então pode ter perdido alguma coisa.

Passei um pouco de tempo em um problema semelhante, descobri que as tags necessárias para o meu EC2 por Política estavam causando falha. Consegui encontrá-lo observando os erros da API do CloudTrail.

Obrigado pelas respostas até agora, a todos.

@rlove Não consigo encontrar nada no Cloudtrail para sugerir que o lambda de scaleup está fazendo alguma coisa, erro ou não.
@samgiles Sim, isso era algo que eu estava investigando também; Eu não poderia (em tempo limitado, admito) criar um evento de teste que forçaria o lambda de scaleup a entrar em ação.
@eky5006 Isso faria sentido, mas ainda estou vendo o mesmo problema e, de acordo com https://www.githubstatus.com/incidents/xn0sd2x4nd7f , o problema foi resolvido. Você está vendo alguma coisa melhor no seu final?

Eu tenho o mesmo problema.
INFO Repo < repo name > has 0 queued workflow runs mesmo que haja trabalhos na fila. E esta API https://docs.github.com/en/rest/reference/actions#list -workflow-runs-for-a-repository retorna fluxos de trabalho enfileirados corretamente.
Começou a acontecer ontem e ainda não funciona.

INFO Repo < repo name > has 0 queued workflow runs

@bartoszjedrzejewski Onde você está vendo essa saída?

@rjcoupe em aumentar os logs do cloudwatch. Em qual versão você está? Acho que é porque estou no 0.8.1. Estou tentando atualizar agora. Meu colega não tem esse problema, ele está no 0.10

Eu tive o mesmo problema, a interrupção deixou alguns corredores registrados persistentes. Cancelei o registro deles na minha organização do GitHub e agora os runners estão aumentando conforme o esperado.

Espero que isso ajude alguém.

Atualizar lambdas de 0.8.1 para 0.11.0 resolveu meu problema.

Oi, Tivemos o mesmo problema ontem e atualizar lambdas de 0.8.1 para 0.10.0 também resolveu.

Eu estava na v0.10.0, então não tinha muita esperança, mas a v0.11.0 parece resolver o problema. Bizarro!

@gertjanmaas qualquer ideia, parece relacionado a interrupção de ontem.

Pode estar relacionado com a interrupção de ontem. No nosso caso, certos repositórios não enviaram um evento para o webhook, o que fez com que os trabalhos fossem enfileirados e nenhuma instância fosse criada, mas pode ter afetado qualquer uma das APIs que usamos.

A interrupção foi corrigida, portanto, se essa foi a causa, isso deve ser resolvido.

Não, está acontecendo novamente a partir desta manhã sem alterações feitas nos recursos da AWS. Parece que o comportamento correto foi um acaso.

Acabei de saber que temos visto problemas de vez em quando com todas as ações hoje, não apenas os corredores dinâmicos auto-hospedados. Acho que há problemas de estabilidade acontecendo no GitHub.