Celery: 셀러리 버전 4.3 출시

@auvipy @thedrow @georgepsarakis redis 제한을 위해 4.2.2를 빠르게 릴리스할 수 있습니까? 현재 호환되지 않는 변경 사항이 있는 최신 redis와 충돌하므로

시간이 있을지 모르겠네요. 그렇게 하도록 노력하겠습니다.

이번에는 해제할 수 있지만 명확한 지침이 필요합니다.

Redis 종속성 수정을 포함하여 4.2.2를 얻는 것은 실제로 gr8이 될 것입니다. 이미 문제의 원인을 찾는 데 너무 많은 시간을 보냈기 때문에 문제에 뛰어드는 모든 사람에게 좋을 것입니다!

이 새로운 릴리스는 python 3.7을 지원합니까?

예

이 새 릴리스는 redis 3.0.1을 지원합니까?

예

@auvipy , @thedrow , 이번 릴리스에서 제가 도울 수 있는 것이 있습니까?

문제 #5212는 릴리스에 중요합니다.
우리는 여전히 Python 3.7로 Celery를 테스트해야 합니다.

@thedrow Kombu 릴리스를 하면 #5212가 수정된 것
맞다면 CI에 3.7 테스트를 추가해야 합니다. 그 일을 할 수 있습니다.

py-amqp 및 kombu 릴리스는 사전 요구 사항입니다. 그 후 3.7 지원을 위해 pr을 연마하여 병합할 수 있습니다.

@auvipy 당신은 이 PR을 의미합니다: https://github.com/celery/celery/pull/4859 ?

해당 수정 사항만 포함하여 Kombu 4.2.2를 출시했습니다.
이제 빌드가 통과해야 합니다.

이 버전이 출시될 ETA에 대한 아이디어가 있습니까?

아직 할 일이 있습니다. Kombu의 빌드도 수정해야 합니다.
나머지 문제를 다루겠습니다.

@thedrow 내가 처리할 수 있는 문제가 있습니까?
아니면 여기에 남은 문제를 나열하시겠습니까?

@xirdneh 이정표를 확인할 수 있습니다 https://github.com/celery/celery/milestone/20 .

나는 우리가 이 이정표에서 non-blockers를 제거할 수 있다고 생각합니다. 그리고 나머지 문제를 기대하십시오. 셀러리 4.3 rc1에서 작동하는 방식을 확인하기 위해 py-amqp 및 관련 패키지 출시

현재 마스터용 빌드는 Python 3.7에서 실패합니다.
https://travis-ci.org/celery/celery/jobs/473236382를 참조

@thedrow 제 생각에 이것은 Python 3.7이 생성기에서 발생한 StopIteration 예외를 RuntimeError 예외로 변환하기 때문이라고 생각합니다. 여기를 참조

내 제안은 RuntimeError 의 특정 유형을 감지하는 예외 처리 분기를 추가하는 것입니다.
https://github.com/celery/kombu/blob/e4dc1688a2bfe422813ffc79d9db50c06f38fbaf/kombu/asynchronous/hub.py#L348 -L359

except RuntimeError as e:
  if e.args != ('generator raised StopIteration',):
      raise e

위의 내용은 다소 약한 것으로 간주될 수 있지만 이 특별한 경우 예외 변환을 식별하는 유일한 방법이라고 생각합니다.

해당 수정 사항은 올바르지 않습니다.
https://github.com/celery/celery/blob/master/t/unit/worker/test_loops.py#L386 참조
PEP 479에 따르면 발전기는 더 이상 StopIterator 모금해야 합니다.

이것은 #5263에서 수정되어야 합니다.

제 생각에는 차단기인 더 심각한 문제를 발견한 것 같습니다.
https://travis-ci.org/celery/celery/jobs/473900629#L3204 참조

https://github.com/celery/kombu/pull/972에서 이 문제가 해결되기를 바랍니다.

kombu용 빌드가 손상되어 전체 테스트 스위트가 실행되지 않습니다.
https://travis-ci.org/celery/kombu/jobs/472712374#L1215를 참조

kombu에 대한 테스트 실패를 로컬로 재현할 수 없습니다.

@thedrow 실패한 kombu 테스트를 수정했습니다 - PR https://github.com/celery/kombu/pull/978을 참조 https://github.com/celery/py-amqp/pull/221을 깨뜨렸습니다

아마도 낮은 교수형 과일은 부부를 고칠 것입니다 DeprecationWarning: Using or importing the ABCs from 'collections' instead of from 'collections.abc' is deprecated, and in 3.8 it will stop working

py-amqp 2.4.0이 출시되었습니다.
다음 차례는 다시마입니다.

@thedrow 4.3 릴리스에서 빠진 것은 무엇입니까? Kombu PR은 이미 병합된 것 같습니다. Kombu의 새 릴리스를 기다리고 있습니까? https://github.com/celery/celery/milestone/20 에서 모든 것에 대한 수정을 기다리고

내가 도울 수 있는 곳을 찾으려고 합니다.

Kombu 4.3에 중요한 문제를 분류해야 합니다.
https://github.com/celery/celery/issues?q=is%3Aopen+label%3A%22Status%3A+Needs+Test+Coverage+%E2%9C%98%22+milestone%3Av4.3 또는 https://github.com/celery/kombu/pull/911 이 도움이 될 것입니다.
나는 우리가 Kombu의 출시에 대해 거의 준비가 되어 있다고 생각하지만 확인이 필요합니다.
그 사이에 릴리스 노트 작업을 하고 있습니다.

#5259의 분쟁을 해결할 수도 있습니까?

celery/kombu#911을 편집할 수 없었기 때문에 새 PR을 열었습니다. https://github.com/celery/kombu/pull/991

#5206도 마찬가지입니다. #5289를 열었습니다.

StopIteration : Kombu에서는 ValueError 를 StopIteration 로 "변환"하지 않도록 변경되었습니다. https://github.com/celery/kombu/pull/972/ 파일

그러나 셀러리 worker.loops.asynloop 에서 StopIteration 오류가 포착되고 이 경우 새 루프가 생성됩니다. 셀러리를 바꾸지 않고 다시마만 바꾸면 문제가 발생하지 않을까요? 이제 새 루프를 만드는 대신 기존(그러나 끊어진?) 루프가 계속 사용되기 때문에?

https://github.com/celery/celery/blob/c1d0bfea9ad98477cbc1def99157fe5109555500/celery/worker/loops.py#L92

@larsrinn 이 문제를 조사하는 것을 잊지 않도록 문제를 열어주세요.

티켓을 작성하는 동안 제너레이터에서 리턴하면 StopIteration 가 발생하므로 필요한 조치가 없다는 것을 알았습니다. 여기서 셀러리가 의존하는 다시마의 외부 행동은 변경되어서는 안됩니다. 예를 들면 다음을 참조하십시오.

def len_generator(max_):
    a = 0

    while True:
        yield a
        a += 1
        if a == max_:
            return


g = len_generator(2)
print(next(g))  # 0
print(next(g))  # 1
print(next(g))  # raises StopIteration

Python 3.7용 CI에 대한 실패한 테스트는 kombu 마스터 분기에 대해 실행되는 경우에도 통과합니다. 적어도 나에게는 현지에서. 따라서 kombu의 새 버전이 출시되면 이 작업에서 실패한 테스트를 통과해야 합니다. https://travis-ci.org/celery/celery/jobs/482062153

여기에는 비동기 문제에 대한 수정이 포함됩니까?
이것이 가능한 한 빨리 출시되기를 바랍니다.

네 저도 기다리고 있습니다.

그러나 나는 셀러리의 미래에 대해 약간 두려워한다고 말해야 합니다. Python 3.7은 이미 7개월 동안 출시되었지만 아직 지원되지 않습니다. 나는 이 프로젝트가 다른 할 일이 많은 자원 봉사자에 의해 운영된다는 것을 알고 있습니다. 그러나 저는 지난 몇 주 동안 대부분 테스트 커버리지를 추가하고 CI를 통과하도록 하는 몇 가지 PR에 기여했습니다. 병합은 고사하고 그들 중 누구도 검토하지 않은 것 같습니다. 모두 아주 사소하더라도 몇 초는 아니더라도 몇 분 안에 검토가 가능해야 합니다. 이것은 상당히 실망스러운 기여 경험입니다.

훨씬 더 작은 릴리스를 수행하는 것은 프로젝트를 크게 개선할 것입니다. 4.3은 여전히 ​​작업이 필요한 대규모 릴리스이며, 그 동안 많은 사용자가 심각한 메모리 누수 와 같은 중요한 문제를 가지고 있습니다. 이 문제는 4.2.X 릴리스에서 빠르게 수정될 수 있습니다. 특정 수정 사항을 제공하는 것조차 몇 달 동안 릴리스되지 않을 것이기 때문에 그다지 유용하지 않습니다.

@larsrinn 시간이 되면 PR을 검토하겠습니다.

훨씬 더 작은 릴리스를 수행하는 것은 프로젝트를 크게 개선할 것입니다. 4.3은 여전히 ​​작업이 필요한 대규모 릴리스이며, 그 동안 많은 사용자가 4.2.X 릴리스에서 빠르게 수정될 수 있는 심각한 메모리 누수와 같은 중요한 문제를 가지고 있습니다. 특정 수정 사항을 제공하는 것조차 몇 달 동안 릴리스되지 않을 것이기 때문에 그다지 유용하지 않습니다.

예, 나는 이것을 확실히 지지할 수 있습니다. 셀러리가 방대한 기능 세트를 포함하는 꽤 성숙한 프로젝트라는 점을 고려할 때, 대부분의 사용자에게는 중요한 문제를 신속하게 수정하고 최신 버전과의 호환성을 보장하는 것이 새로운 기능을 추가하거나 오래된 것을 폐기하는 것보다 훨씬 더 중요하다고 생각합니다.

나는 위의 진술에 확실히 동의합니다. Python 3.7 지원은 지금 나에게 가장 중요한 것입니다.

유지 관리자를 추가할 수 있는 옵션이 있습니까?

제가 지난 9년 동안 일한 대부분의 회사는 어떤 식으로든 Celery를 사용했습니다. 마지막 버전에서는 문제가 메인스트림 브랜치에서 수정되지 않았기 때문에 필요한 수정 사항을 적용하기 위해 자체 포크를 사용하기도 했습니다.

내 생각에 이 프로젝트는 Django와 DRF처럼 후원 프로그램을 시작해야 합니다. 이 놀라운 프로젝트 덕분에 회사가 벌어들이는 모든 이익을 지불하게 하고 그 돈을 개발자에게 주어 그들이 이 일에 풀타임으로 일할 수 있도록 하십시오.

Celery는 현재 pytest(또 다른 인기 있는 모듈)에 대해 약간 손상되었습니다. #5271은 문제를 설명하고 #5097은 수정합니다. 4.3 릴리스가 너무 어려워지면 4.2.2로 마이너 버전을 올리면 몇 가지 작은 수정 사항(#5271 및 기타 버그 수정)이 롤업될 수 있습니까? 나는 이것이 말처럼 쉽지만 4.3을 기다리는 동안 우리 자신의 포크를 유지하는 대신 릴리스 주기에 다시 참여할 수 있다는 것을 알고 있습니다. 이 훌륭한 모듈에 감사드립니다.

그래서 어떤 회사가 우리 작업을 후원할 것입니까? 관심 있는 사람이 있습니까? 나는 샐러리 파트 타임/풀 타임으로 일하는 시간을 일부 회사에서 지원하는 데 매우 관심이 있을 것입니다!

정기적인 기부에 대한 적절한 설정이 있었다면 회사에서 월별 지원에 가입하고 잊어 버리는 것이 더 쉬웠을 것이라고 확신합니다. 이것은 단순한 페이팔 일회성 기부 버튼보다 더 안정적인 수입원이 될 수 있습니다. 예를 들어, 한 번에 많은 것을 기부하거나 수동 정기 기부를 기억하도록 요청하는 것보다 쉽게 ​​회사를 설득할 수 있습니다.

나는 또한 우리 프로젝트의 경우 셀러리가 Python 3.7로 업그레이드하는 것을 막는 유일한 차단기라고 덧붙입니다.

관련 링크: https://tidelift.com/

후원 가능성이 매우 높다고 생각하지만, 사람들의 머리 속에 그 아이디어를 심어야 합니다. 예를 들어 이 스레드 외부에서는 아무도 이 프로젝트에 지원이 필요하다고 생각하지 않습니다. 그들은 셀러리를 다운로드하여 설치하고 "존재"한다고 생각합니다. 모금을 시작했다면 많은 기업들이 기부를 했을 거라고 생각합니다.
README에서 기부 링크를 보고 개인 계정에서 약간의 기부를 했지만 회사에서 알아차리기에는 여전히 너무 모호합니다. (적어도 모든 소셜 네트워크에서) 바로 앞에 있어야 하며 적절한 클릭 유도문안이 있어야 합니다. 예를 들어 귀하가 개발자이고 귀하의 회사가 샐러리에 의존한다는 것을 알고 있다면 관리자에게 기부를 요청하십시오.
저는 제가 좋아하는 오픈 소스 프로젝트에서 조직적인 모금 행사를 볼 때마다 항상 소셜 미디어 캠페인을 기부하거나 최소한 퍼뜨리려고 노력한다고 말할 수 있습니다. 나는 많은 사람들이 같은 일을 하고 있다고 확신합니다.

펀딩을 진행했는데 대실패!! readme에 opencollective 및 조수 리프트 옵션이 있습니다. 관심 있는 사람들은 그곳에 기부/후원하거나 내 이메일로 직접 핑을 보낼 수 있습니다.

@auvipy 4.3 이정표의 대부분의 문제가 지금 이동되거나 종료된 것을 보았습니다.
곧 4.3 릴리스를 할 계획입니까?

예!!! 오랜만이니까!!

알겠습니다. 곧 RC를 기대하세요.

펀딩을 진행했는데 대실패!! readme에 opencollective 및 조수 리프트 옵션이 있습니다. 관심 있는 사람들은 그곳에 기부/후원하거나 내 이메일로 직접 핑을 보낼 수 있습니다.

셀러리 작가. 저는 https://opencollective.com/celery에서 후원자가 되었습니다. 당신의 멋진 도구를 주셔서 감사합니다. 당신의 도구는 저에게 많은 도움이 됩니다 :)

대황 으로 코드명 4.3에 반대하는 사람이 있습니까?
Selected Ambient Works II에서 내가 가장 좋아하는 트랙 중 하나입니다.

다른 제안 사항이 있으면 여기에 메모해 두십시오.

좋아요 :)

Kombu 4.3이 출시되었습니다!

누군가 우리의 Windows 빌드를 봐주시겠습니까?
일부 테스트가 실패하고 있습니다.
또한 일부 Python 버전이 누락되었습니다. 추가해야 합니다(단, 차단기는 아님).

@thedrow Windows 빌드는 어디에서 실행되고 있습니까? 앱베이어?

누군가 우리의 Windows 빌드를 봐주시겠습니까?
일부 테스트가 실패하고 있습니다.
또한 일부 Python 버전이 누락되었습니다. 추가해야 합니다(단, 차단기는 아님).

여기 홍보 https://github.com/celery/celery/pull/5329

그럼 4.3은 이제 가도 될까요?

안녕하세요! 이 문제를 종료했지만 pypi의 버전은 여전히 ​​4.2.1입니다. pypi에서 릴리스를 추적할 수 있는 곳이 있습니까? 감사 해요.

안녕 여러분,

@seirl 이 문제는 #5329에 대한 설명으로 인해 Fixes #5180 텍스트가 포함되어 있어 실수로 종료되었다고 생각합니다.

@auvipy 4.3 가 실제로 출시되지 않을 때까지 이 문제를 다시 열어 주시겠습니까?
감사 해요!

내 나쁜, 나는 자동 닫기가 풀리의 옵션 일 것이라고 생각했습니다.

이것은 GitHub에 의해 자동으로 닫혔습니다!!!

@xirdneh 네 .

Changelog를 거의 완료했습니다. 아직 일부 항목에 대해 자세히 설명해야 하고 아직 얻지 못한 나머지 항목을 추가하는 작업을 완료해야 합니다.

새로운 기능 섹션은 여전히 ​​대부분 불완전합니다.

어떤 식으로든 자유롭게 도와주세요.

GA에 대한 잠재적 차단기가 있습니다: https://github.com/celery/kombu/issues/1006
RC는 계획대로 진행됩니다.
FreeBSD 설치에 액세스할 수 있는 사람이 이것을 디버그할 수 있습니까?

여러분, 안녕하세요. 도착 예정 시간이 있습니까?

방금 첫 번째 RC에 대한 릴리스 노트를 마쳤습니다.
오늘 발매될 예정입니다.

안정적인 출시를 위한 ETA가 있습니까?

이것이 몇 주 동안 프로덕션 환경에서 시도되면 GA를 선언할 것입니다.
가까운 시일 내에 릴리스 프로세스를 개선하고 문서화하여 모든 것이 더 명확해질 것입니다.

RC1이 출시되었습니다. :타다:
스테이징 환경에서 사용해 보십시오.

한편, 누군가 https://github.com/celery/kombu/issues/1006 , https://github.com/celery/kombu/issues/1007 및 https://github를 자세히 살펴볼 수 있다면

https://github.com/celery/kombu/pull/1009 에서 https://github.com/celery/kombu/issues/1007에 대한 잠재적인 수정 사항을 만들었습니다.

https://github.com/celery/kombu/issues/1004 가 같은 영역에 있는 것 같아서 이에 대한 수정도 시도했습니다. https://github.com/celery/kombu/pull/1010

이제 둘 다 병합되었습니다.

@lithammer 감사합니다!

이것이 너무 재미있었기 때문에 마지막 문제에 대해 하나가 아니라 두 가지 솔루션 제안을 했습니다(https://github.com/celery/kombu/issues/1006).

• 제안 1: https://github.com/celery/kombu/pull/1011 (개인적으로 좋아하는 것)
• 제안 2: https://github.com/celery/kombu/pull/1012

https://github.com/celery/py-amqp/pull/258 을 작성하기 위해 릴리스 노트에서 잠시 휴식을 취했습니다
새로운 문서를 계속 진행하겠습니다.

Kombu 4.4와 Celery 4.3.0RC2를 출시했습니다.
이의나 중요한 수정 사항이 없는 한 이것이 마지막 RC가 될 것입니다.

방금 py-amqp 2.4.3도 출시했습니다.
두 가지 심각한 역직렬화 버그를 수정합니다. 나는 프로덕션에서 그들에 대해 아무것도 듣지 못했습니다.
AMQP 프로토콜에 두 개의 결과 비트맵이 있는 메시지가 없기 때문일 수 있습니다.
Celery가 충돌할 수 있으므로 수정 사항이 완전하게 제공됩니다.

@thedrow의 훌륭한 작업에 감사드립니다.

GA에 대한 잠재적 차단: https://github.com/celery/celery/issues/5371

@thedrow 이번 주에 이를 확인할 시간이 있을 수 있습니다. 가능한 경우 문제를 업데이트하겠습니다.

@xirdneh 업데이트하지 않으면 업데이트해 주시면 처리하겠습니다.

@lithammer 더 기여하고 싶다면 커밋 권한도 부여하겠습니다 :)

GA에 대한 확실한 차단기: #5377

이 릴리스 의 새로운 기능 문서 를 완료했습니다.

그것을 검토하고 내가 놓친 것이 있으면 알려주십시오.

@thedrow 는 매우 철저하고

아직 기여 목록을 생성하지 않았습니다.
GA 직전에 그렇게 할 것입니다.

현재 릴리스 차단기 목록은 다음과 같습니다.

• [x] #5377
• [x] #5371
• [x] #5328
• [x] #4812
• [x] #5383
• [x] #5259
• [x] #5007
• [x] https://github.com/celery/kombu/issues/1014

잠재적 차단제:

• [ ] #5358
• [ ] https://github.com/celery/kombu/issues/1019
• [ ] https://github.com/celery/kombu/issues/1018

@thedrow https://github.com/celery/celery/issues/5383 도 유효하다고 생각합니다.

방금 Celery 4.3.0rc3을 출시했습니다.
여기에는 새로운 기능과 버그 수정 및 일부 해결된 차단기가 포함됩니다.

정식 버전이 언제 제공되는지 알 수 있습니까?

우리가 모든 차단기를 해결하는 것을 마치면.

차단기 하나만 남았고 최종 문서 작업만 남았습니다.

@thedrow 는 celery/kombu#1014가 되돌리기 기반 PR에 의해 폐쇄된 것 같습니다. 그러나 체크리스트에 완전한 것으로 표시되지 않습니다. unique 키워드가 아직 지원되어야 하기 때문에 불완전합니까?

예. 내일 최종 문서화 작업을 수행하겠습니다.

출시 된! :타다:

여러분의 노력, 시간, 기술에 감사드립니다.

다음 버전인 Celery 5는 매우 기대됩니다.

마스터에서 python2 제거를 시작하고 싶습니다.

Celery 5가 언제 출시되는지 알 수 있습니까? 사용하게 되어 정말 기쁩니다.

아마도 크리스마스 전에 몇 번 :)

@auvipy 4.3에 대한 블로그 게시물을 발행할 수 있습니까?

예, 물론 kast ng=ight를 시작했지만 바빴습니다. 오늘까지 완료됩니다.