Terraform-aws-github-runner: Lambda Scale Up melaporkan tidak ada kesalahan tetapi tidak memunculkan runner baru

Dibuat pada 1 Mar 2021  ·  15Komentar  ·  Sumber: philips-labs/terraform-aws-github-runner

Lambda scale-up mencatat permintaannya ke Cloudwatch dengan tidak ada yang abnormal pada output - setidaknya tidak ada yang jelas-jelas merupakan kesalahan - tetapi tidak ada instance baru yang dibuat dan pekerjaan tetap dalam antrean. Karena kurangnya kesalahan, saya agak buntu tentang ke mana harus mencari selanjutnya.

START RequestId: b6d27abc-24a7-5f67-a7a9-220b3a8f2e0a Version: $LATEST
--
{
Records: [
{
messageId: 'c5118c89-b1db-4a81-9fd1-c3211020f447',
receiptHandle: 'AQEBVpllIHtC29mzlvsdPt7y3HfIZHfGThi4dwb2ecHzqupGCRBtFBVFWNa9KKd7M3VwcyiVf6/uqKh/czW305hG9gkqvsnnDj1sdUIqXdzky6+z8ZJnylM/ekUA1bmv7bJna0K5Gbkr+2p1o5UcRoaZnr1EfijnlxabX2ft2JyxNvhVEjVJGEhJMOwIJmXnzlelKAqGh0gz+jde1hecenob2hS9aKEf+8pk6kJViSC0jZvb9S1hcBfHoNTsmP5z45+WzeyTeFDmcO3QmAeIsl4cj4fCwimpQvV1OyE8oBZ5QjE=',
body: '{     "id": 2005872726,     "repositoryName": "redacted",     "repositoryOwner": "redacted",     "eventType": "check_run",     "installationId": 15044875 }',
attributes: {
ApproximateReceiveCount: '1',
SentTimestamp: '1614617562674',
SequenceNumber: '18860086169754095872',
MessageGroupId: '2005872726',
SenderId: 'AROAYDZX6OHXHIADI55JV:gh-ci-webhook',
MessageDeduplicationId: '47a99738074ab0818b7881eee096ec21a5b82226764304d9ab69d90ff39ea349',
ApproximateFirstReceiveTimestamp: '1614617592695'
},
messageAttributes: {},
md5OfBody: 'd5e6cdc10ecd1a37128c56a1ed6bb90f',
eventSource: 'aws:sqs',
eventSourceARN: 'arn:aws:sqs:eu-west-1:redacted:gh-ci-queued-builds.fifo',
awsRegion: 'eu-west-1'
}
]
}

Ada yang punya ide?

Komentar yang paling membantu

Saya menggunakan v0.10.0 jadi tidak banyak berharap, tetapi v0.11.0 tampaknya memperbaiki masalah. Aneh!

Semua 15 komentar

Saya melihat hal yang sama di pihak saya dan saya curiga ini terkait dengan insiden kinerja terdegradasi baru-baru ini untuk tindakan GitHub.

Saat mencoba memfilter daftar alur kerja yang antri di repo kami, kami mendapatkan kesalahan berikut dan daftar kosong ketika jelas ada alur kerja yang antri:
We are having problems searching workflow runs. The results may not be complete.

Saya pikir lambda bergantung pada ini untuk mengembalikan alur kerja yang antri untuk memutar instance.

Melihat hal yang sama persis fwiw.

Saya mencoba mencari tahu apakah ada cara mudah untuk menaikkan skala secara manual. Sepertinya konfigurasi idle hanya diperiksa selama penurunan skala? Saya tidak terbiasa dengan kodenya jadi mungkin ada yang terlewat.

Saya menghabiskan sedikit waktu untuk masalah yang sama, saya menemukan bahwa tag yang diperlukan untuk EC2 saya oleh Kebijakan menyebabkannya gagal. Saya dapat menemukannya dengan melihat kesalahan CloudTrail API.

Terima kasih atas tanggapannya sejauh ini, semuanya.

@rlove Saya tidak dapat menemukan apa pun di Cloudtrail untuk menyarankan lambda scaleup melakukan apa pun, kesalahan atau sebaliknya.
@samgiles Ya ini adalah sesuatu yang saya cari juga; Saya tidak bisa (dalam waktu yang terbatas, memang) membuat acara uji yang akan memaksa lambda scaleup ke dalam tindakan.
@eky5006 Itu masuk akal, tapi saya masih melihat masalah yang sama dan menurut https://www.githubstatus.com/incidents/xn0sd2x4nd7f masalah teratasi. Apakah Anda melihat lebih baik di akhir Anda?

Saya memiliki masalah yang sama.
INFO Repo < repo name > has 0 queued workflow runs meskipun ada pekerjaan yang antri. Dan API ini https://docs.github.com/en/rest/reference/actions#list -workflow-runs-for-a-repository mengembalikan alur kerja yang antri dengan benar.
Itu mulai terjadi kemarin dan masih tidak berhasil.

INFO Repo < repo name > has 0 queued workflow runs

@bartoszjedrzejewski Di mana Anda melihat output itu?

@rjcoupe dalam meningkatkan log cloudwatch. Kamu pake versi berapa? Saya pikir itu karena saya menggunakan 0.8.1. Saya mencoba untuk memperbarui sekarang. Rekan saya tidak memiliki masalah ini, dia menggunakan 0,10

Saya memiliki masalah yang sama, pemadaman meninggalkan beberapa pelari terdaftar yang tersisa. Saya membatalkan pendaftaran mereka dari Organisasi GitHub saya dan sekarang runner meningkat seperti yang diharapkan.

Semoga ini bisa membantu seseorang.

Memperbarui lambdas dari 0.8.1 ke 0.11.0 memperbaiki masalah saya.

Hai, Kami memiliki masalah yang sama kemarin dan memutakhirkan lambdas dari 0.8.1 ke 0.10.0 juga menyelesaikannya.

Saya menggunakan v0.10.0 jadi tidak banyak berharap, tetapi v0.11.0 tampaknya memperbaiki masalah. Aneh!

@gertjanmaas ada ide, sepertinya terkait pemadaman kemarin.

Mungkin terkait dengan pemadaman kemarin. Dalam kasus kami, repositori tertentu tidak mengirim peristiwa ke webhook, yang menyebabkan pekerjaan diantrekan dan tidak ada instance yang dibuat, tetapi hal itu dapat memengaruhi API apa pun yang kami gunakan.

Pemadaman telah diperbaiki, jadi jika itu penyebabnya, ini harus diselesaikan.

Tidak, itu terjadi lagi pada pagi ini tanpa perubahan yang dilakukan pada sumber daya AWS. Tampaknya perilaku yang benar adalah kebetulan.

Baru mengetahui bahwa kita telah melihat masalah terus-menerus dengan semua tindakan hari ini, bukan hanya pelari yang dihosting sendiri secara dinamis. Saya pikir ada masalah stabilitas yang terjadi di GitHub.

Apakah halaman ini membantu?
0 / 5 - 0 peringkat