Pipenv: 종속성을 해결할 수 없습니다. 회귀?

pipenv 가 현재 라운드 후보에 엄격한 핀을 추가하는 것 같습니다.

즉, 다음 라운드에서 다른 패키지에 현재 후보와 일치하지 않는 버전이 필요한 경우 다른 후보를 찾는 대신 실패합니다 (이와 같이). 이것이 해결 알고리즘이 작동하는 방식입니다. 안정화 될 때까지 새로운 제약 조건으로 완전히 다시 계산합니다.

이 원인이 무엇인지 잘 모르겠습니다.
이를 재현하려면 전에 pip-tools 만 사용했다면 캐시 ( --clear )를 지워야합니다.
나는 이것이 pip-tools 버그가 아니며 pip-tools 의 패치와 직접적으로 관련이 없다는 것을 알 수 있습니다.
도움이 되었기를 바랍니다.

좋습니다. 범인을 찾았습니다.
https://github.com/kennethreitz/pipenv/blob/master/pipenv/patched/pip/req/req_set.py#L752

self.requirements.values() 에는 고정 된 req_to_install 자체가 포함되어 있으며, 이는 종속성으로 반환하는 것이 잘못되었으며, 후속 패키지에 적합하지 않은 버전이 필요한 경우 여기와 같이 종속성 해결이 실패 할 수 있습니다. 현재 후보. 이렇게하면 첫 번째 후보가 올바른 후보가되어야한다고 가정합니다. 그렇지 않으면 실패합니다.

@kennethreitz 내가 이해 한

동일한 문제가 발생한다고 생각합니다.

$ pipenv --version
pipenv, version 8.2.7

$ pipenv install
Pipfile.lock not found, creating…
Locking [dev-packages] dependencies…
Locking [packages] dependencies…
Warning: Your dependencies could not be resolved. You likely have a mismatch in your sub-dependencies.
  You can use $ pipenv install --skip-lock to bypass this mechanism, then run $ pipenv graph to inspect the situation.
Could not find a version that matches django==2.0a1,>=1.8,>=1.8.0
Tried: 1.1.3, 1.1.4, 1.2, 1.2.1, 1.2.2, 1.2.3, 1.2.4, 1.2.5, 1.2.6, 1.2.7, 1.3, 1.3.1, 1.3.2, 1.3.3, 1.3.4, 1.3.5, 1.3.6, 1.3.7, 1.4, 1.4.1, 1.4.2, 1.4.3, 1.4.4, 1.4.5, 1.4.6, 1.4.7, 1.4.8, 1.4.9, 1.4.10, 1.4.11, 1.4.12, 1.4.13, 1.4.14, 1.4.15, 1.4.16, 1.4.17, 1.4.18, 1.4.19, 1.4.20, 1.4.21, 1.4.22, 1.5, 1.5.1, 1.5.2, 1.5.2, 1.5.3, 1.5.4, 1.5.5, 1.5.6, 1.5.7, 1.5.8, 1.5.8, 1.5.9, 1.5.10, 1.5.11, 1.5.12, 1.5.12, 1.6, 1.6, 1.6.1, 1.6.1, 1.6.2, 1.6.2, 1.6.3, 1.6.3, 1.6.4, 1.6.4, 1.6.5, 1.6.5, 1.6.6, 1.6.6, 1.6.7, 1.6.7, 1.6.8, 1.6.8, 1.6.9, 1.6.9, 1.6.10, 1.6.10, 1.6.11, 1.6.11, 1.7, 1.7, 1.7.1, 1.7.1, 1.7.2, 1.7.2, 1.7.3, 1.7.3, 1.7.4, 1.7.4, 1.7.5, 1.7.5, 1.7.6, 1.7.6, 1.7.7, 1.7.7, 1.7.8, 1.7.8, 1.7.9, 1.7.9, 1.7.10, 1.7.10, 1.7.11, 1.7.11, 1.8a1, 1.8b1, 1.8b2, 1.8rc1, 1.8, 1.8, 1.8.1, 1.8.1, 1.8.2, 1.8.2, 1.8.3, 1.8.3, 1.8.4, 1.8.4, 1.8.5, 1.8.5, 1.8.6, 1.8.6, 1.8.7, 1.8.7, 1.8.8, 1.8.8, 1.8.9, 1.8.9, 1.8.10, 1.8.10, 1.8.11, 1.8.11, 1.8.12, 1.8.12, 1.8.13, 1.8.13, 1.8.14, 1.8.14, 1.8.15, 1.8.15, 1.8.16, 1.8.16, 1.8.17, 1.8.17, 1.8.18, 1.8.18, 1.9a1, 1.9b1, 1.9rc1, 1.9rc2, 1.9, 1.9, 1.9.1, 1.9.1, 1.9.2, 1.9.2, 1.9.3, 1.9.3, 1.9.4, 1.9.4, 1.9.5, 1.9.5, 1.9.6, 1.9.6, 1.9.7, 1.9.7, 1.9.8, 1.9.8, 1.9.9, 1.9.9, 1.9.10, 1.9.10, 1.9.11, 1.9.11, 1.9.12, 1.9.12, 1.9.13, 1.9.13, 1.10a1, 1.10a1, 1.10b1, 1.10b1, 1.10rc1, 1.10rc1, 1.10, 1.10, 1.10.1, 1.10.1, 1.10.2, 1.10.2, 1.10.3, 1.10.3, 1.10.4, 1.10.4, 1.10.5, 1.10.5, 1.10.6, 1.10.6, 1.10.7, 1.10.7, 1.10.8, 1.10.8, 1.11a1, 1.11b1, 1.11rc1, 1.11rc1, 1.11, 1.11, 1.11.1, 1.11.1, 1.11.2, 1.11.2, 1.11.3, 1.11.3, 1.11.4, 1.11.4, 1.11.5, 1.11.5, 1.11.6, 1.11.6, 2.0a1

2.0a1 는 분명히 사용 가능한 옵션 중 하나입니다.

https://github.com/kennethreitz/pipenv/issues/786 으로 인해 이전 버전의 pipenv에서 종속성 해결을 테스트 할 수 없습니다

같은 문제-특히 요청에 대해 불평하고 있습니다.

이것은 @vphilippon 의 의견과 관련된 것으로 생각되는 버그입니다. 나는 그것이 # 909와 관련이 있다고 생각하지 않습니다.

정확하고 # 909와 관련이 없습니다.
내가 말했듯이, 여기서 "깊은 엑스트라 해결"이 정확히 무엇을 의미하는지 이해하려면 @maintainers 중 한 사람의 입력이 필요합니다. 나는 해결책이 있지만 먼저 아무것도 깨뜨리지 않기 위해 더 많은 것을 알고 싶습니다.

또는 계속해서 수정 사항이있는 PR을 열고 거기에서 논의 할 수 있습니다. 여가 시간에 보자.

@vphilippon 이것은 조직에있는 것이 아니라 Kenneth의 개인 저장소이기 때문에 안타깝게도 우리 모두를 얻을 수있는 편리한 @ 태그가 없습니다. @erinxocon 과 나 자신을 핑하는 것이 좋습니다.

여기서 핍할 패치는 안타깝게도 케네스의 머리 어딘가에 잠겨 있습니다. 나는 여기서 무슨 일이 일어나고 있는지 이해하거나 볼 시간이 없다고 생각합니다. 진행되고 있다고 생각하는 것을 컴파일 할 시간이 있다면 가정을 확인하는 데 도움을 줄 수 있습니다. 하지만 그때까지는 변경하기 전에 가볍게 살펴보아야합니다.

@nateprewitt 좋아 , 가능한 한 많이 추가하겠습니다. 의자를 잡으세요.

뭐가 문제 야?

https://github.com/kennethreitz/pipenv/issues/875#issuecomment -335570812에서 오류의 원인을 확인했습니다. 해결 라운드에서 선택한 후보가 후보 자체의 고정 된 종속성으로 직접 추가됩니다. 이는 잘못된 것입니다 ( 다가오는 것에 대해 더 많이)

https://github.com/kennethreitz/pipenv/issues/875#issuecomment -336609268에서 해당 핀의 소스를 찾았습니다. 반환 값에 추가 된 self.requirements.values() 에는 현재 패키지에 대한 핀이 포함됩니다. . 즉, _prepare_file 는 패키지의 종속성 (또는 "설치할 추가 InstallRequirements 목록")을 반환해야하지만 이제는 고정 된 자체를 자체 종속성으로 포함합니다.

패키지 자체를 자체 종속성으로 고정하는 것이 실제로 잘못된 이유를 설명하기 위해 종속성 해결 알고리즘이 작동하는 방식은 다음과 같습니다.

1. InstallRequirements 목록 인 initial_constraints_set 옵니다 (예 : requests>=2.18 ).
2. additional_constraints 및 candidate 를 빈 집합으로 정의합니다.
3. initial_constraints_set 및 additional_constraints 의 결합을 존중하는 candidate (예 : requests==2.18.4 ) 세트를 선택합니다.
4. 각 후보에 대해 모든 후보의 종속성 집합을 additional_constraints (예 : certifi>=2017.4.17 )로 가져와 결합합니다.
5. additional_constraints 이 변경된 경우 candidate 지우고 3으로 돌아갑니다.
6. 완료된 후보 세트를 반환합니다.

이제 위의 사항을 염두에두고 문제를 재현 해 보겠습니다.

문제를 재현하려면 Pipfile 이 필요합니다 (Django 1.11을 지원하는`django-cms 3.4.5가 출시 되었기 때문) :

[[source]]
url = "https://pypi.python.org/simple"
verify_ssl = true

[packages]
django-cms = "==3.4.4"
django = "*"

그리고 이제 pipenv lock --verbose --clear :

Courtesy Notice: Pipenv found itself running within a virtual environment, so it will automatically use that environment, instead of creating its own for any project.
Locking [dev-packages] dependencies…
Using pip: -i https://pypi.python.org/simple

                          ROUND 1
Current constraints:

Finding the best candidates:

Finding secondary dependencies:
------------------------------------------------------------
Result of round 1: stable, done
Locking [packages] dependencies…
Using pip: -i https://pypi.python.org/simple

                          ROUND 1
Current constraints:
  django
  django-cms==3.4.4

Finding the best candidates:
  found candidate django==1.11.6 (constraint was <any>)
  found candidate django-cms==3.4.4 (constraint was ==3.4.4)

Finding secondary dependencies:
  django-cms==3.4.4 not in cache, need to check index
  django-cms==3.4.4         requires django-classy-tags>=0.7.2, django-cms==3.4.4, django-formtools>=1.0, django-sekizai>=0.7, django-treebeard>=4.0.1, Django<1.11,>=1.8, djangocms-admin-style>=1.0
  django==1.11.6 not in cache, need to check index
  django==1.11.6            requires django==1.11.6, pytz

New dependencies found in this round:
  adding [u'django', '<1.11,==1.11.6,>=1.8', '[]']
  adding [u'django-classy-tags', '>=0.7.2', '[]']
  adding [u'django-cms', '==3.4.4', '[]']
  adding [u'django-formtools', '>=1.0', '[]']
  adding [u'django-sekizai', '>=0.7', '[]']
  adding [u'django-treebeard', '>=4.0.1', '[]']
  adding [u'djangocms-admin-style', '>=1.0', '[]']
  adding [u'pytz', '', '[]']
Removed dependencies in this round:
Unsafe dependencies in this round:
------------------------------------------------------------
Result of round 1: not stable

                          ROUND 2
Current constraints:
  django<1.11,==1.11.6,>=1.8
  django-classy-tags>=0.7.2
  django-cms==3.4.4
  django-formtools>=1.0
  django-sekizai>=0.7
  django-treebeard>=4.0.1
  djangocms-admin-style>=1.0
  pytz

Finding the best candidates:
Warning: Your dependencies could not be resolved. You likely have a mismatch in your sub-dependencies.
  You can use $ pipenv install --skip-lock to bypass this mechanism, then run $ pipenv graph to inspect the situation.
Could not find a version that matches django<1.11,==1.11.6,>=1.8
Tried: 1.1.3, 1.1.4, 1.2, 1.2.1, 1.2.2, 1.2.3, 1.2.4, 1.2.5, 1.2.6, 1.2.7, 1.3, 1.3.1, 1.3.2, 1.3.3, 1.3.4, 1.3.5, 1.3.6, 1.3.7, 1.4, 1.4.1, 1.4.2, 1.4.3, 1.4.4, 1.4.5, 1.4.6, 1.4.7, 1.4.8, 1.4.9, 1.4.10, 1.4.11, 1.4.12, 1.4.13, 1.4.14, 1.4.15, 1.4.16, 1.4.17, 1.4.18, 1.4.19, 1.4.20, 1.4.21, 1.4.22, 1.5, 1.5.1, 1.5.2, 1.5.2, 1.5.3, 1.5.4, 1.5.5, 1.5.6, 1.5.7, 1.5.8, 1.5.8, 1.5.9, 1.5.10, 1.5.11, 1.5.12, 1.5.12, 1.6, 1.6, 1.6.1, 1.6.1, 1.6.2, 1.6.2, 1.6.3, 1.6.3, 1.6.4, 1.6.4, 1.6.5, 1.6.5, 1.6.6, 1.6.6, 1.6.7, 1.6.7, 1.6.8, 1.6.8, 1.6.9, 1.6.9, 1.6.10, 1.6.10, 1.6.11, 1.6.11, 1.7, 1.7, 1.7.1, 1.7.1, 1.7.2, 1.7.2, 1.7.3, 1.7.3, 1.7.4, 1.7.4, 1.7.5, 1.7.5, 1.7.6, 1.7.6, 1.7.7, 1.7.7, 1.7.8, 1.7.8, 1.7.9, 1.7.9, 1.7.10, 1.7.10, 1.7.11, 1.7.11, 1.8a1, 1.8b1, 1.8b2, 1.8rc1, 1.8, 1.8, 1.8.1, 1.8.1, 1.8.2, 1.8.2, 1.8.3, 1.8.3, 1.8.4, 1.8.4, 1.8.5, 1.8.5, 1.8.6, 1.8.6, 1.8.7, 1.8.7, 1.8.8, 1.8.8, 1.8.9, 1.8.9, 1.8.10, 1.8.10, 1.8.11, 1.8.11, 1.8.12, 1.8.12, 1.8.13, 1.8.13, 1.8.14, 1.8.14, 1.8.15, 1.8.15, 1.8.16, 1.8.16, 1.8.17, 1.8.17, 1.8.18, 1.8.18, 1.9a1, 1.9b1, 1.9rc1, 1.9rc2, 1.9, 1.9, 1.9.1, 1.9.1, 1.9.2, 1.9.2, 1.9.3, 1.9.3, 1.9.4, 1.9.4, 1.9.5, 1.9.5, 1.9.6, 1.9.6, 1.9.7, 1.9.7, 1.9.8, 1.9.8, 1.9.9, 1.9.9, 1.9.10, 1.9.10, 1.9.11, 1.9.11, 1.9.12, 1.9.12, 1.9.13, 1.9.13, 1.10a1, 1.10a1, 1.10b1, 1.10b1, 1.10rc1, 1.10rc1, 1.10, 1.10, 1.10.1, 1.10.1, 1.10.2, 1.10.2, 1.10.3, 1.10.3, 1.10.4, 1.10.4, 1.10.5, 1.10.5, 1.10.6, 1.10.6, 1.10.7, 1.10.7, 1.10.8, 1.10.8, 1.11a1, 1.11b1, 1.11rc1, 1.11rc1, 1.11, 1.11, 1.11.1, 1.11.1, 1.11.2, 1.11.2, 1.11.3, 1.11.3, 1.11.4, 1.11.4, 1.11.5, 1.11.5, 1.11.6, 1.11.6

• 단일 해결 라운드에서 django==* 및 django-cms==3.4.4 을 (를) 설치해야 함을 감지합니다.
• 후보자를 선택합니다 : django==1.11.6 , django-cms==3.4.4 .
• 종속성을 얻습니다 (중요한 부분에 집중하겠습니다).
  
  
  
  • django-cms==3.4.4 에는 django<1.11,>=1.8
  
  
  • django 에는 django==1.11.6 가 필요합니다 (사실이 아닙니다. django는 자체를 필요로하지 않습니다! 패키지 자체가 필요하지 않습니다!)
  
  
• 종속성 지정자를 함께 병합합니다.
  
  
  
  • 이제 django <1.11,==1.11.6,>=1.8 (이게 어디로 가는지 알 수 있습니다 ...)
  
  
• 제약 조건이 변경되어 후보 선택으로 돌아갑니다.
• <1.11,==1.11.6,>=1.8 django 후보를 찾으십시오.
  
  
  
  • Could not find a version that matches django<1.11,==1.11.6,>=1.8 [...]
  
  

무슨 일이 있었어야했는지 ( pip-tools 에서 패치되지 않은 pip , 캐시를 지우는 --rebuild 사용) :

• 단일 해결 라운드에서 django==* 및 django-cms==3.4.4 을 (를) 설치해야 함을 감지합니다.
• 후보자를 선택합니다 : django==1.11.6 , django-cms==3.4.4 .
• 종속성을 얻습니다 (중요한 부분에 집중하겠습니다).
  
  
  
  • django-cms==3.4.4 에는 django<1.11,>=1.8
  
  
  • django 에는 pytz 이 필요 하지만 django==1.11.6 아님
  
  
• 종속성 지정자를 함께 병합합니다.
  
  
  
  • 이제 django <1.11,>=1.8 (훨씬 나아 졌습니다
  
  
• 제약 조건이 변경되어 후보 선택으로 돌아갑니다.
• <1.11,>=1.8 django 후보를 찾으십시오.
  
  
  
  • 새로운 django 후보 선택 ( django==1.10.8
  
  
• 종속성을 계산하고 계속 진행하며 행복하게 해결합니다.

여기서 무엇을해야합니까?

음, 제거 self.requirements.values() 에 반환에서 _prepare_file 수정이 문제를, 나는 그것을 확인할 수 있습니다. 불행히도 왜 거기에 추가 되었는지 정확히 알지 못했습니다.

아마 케네스는 반환 싶었다 InstallRequirement "해결 깊은 엑스트라"(내가 정말 여기에 스트레칭거야)에 관한 정보를 얻기 위해 거기에 몇 가지 작업을 수행 한 후 후보 자체에 대한 개체를. 반환 된 값에 추가 InstallRequirement 개체를 유지하도록 패치를 패치 할 수 있지만 먼저 고정을 해제합니다. 나는 그것이 고의가 아니었다 고 확신 합니다 .

그게 다라고 생각합니다. ☕️

@vphilippon , 자세한 분석을 넣어 주셔서 감사합니다! 이것은 확실히 나를 위해 일을 정리합니다.

커밋 로그를 다시 살펴보면 ae4591b2에 추가되었으며 왜 추가되었는지 명확하지 않습니다. 다음 단계는 이에 대한 실패한 테스트 케이스와 "깊은 종속성"을 설치하기위한 작동하는 테스트 케이스를 조합하는 것이라고 생각합니다. 이 문제를 일으키는 티켓이없고 커밋 메시지가 도움이되지 않으므로이 시점에서 추측하고 있습니다.

코드를 보면 requests[security] 와 같은 선언을 해결하려고 시도하고 있다고 생각 합니다. certifi[some-extra] 종속성이있을 수 있으며 해결해야 할 수도 있습니다. 그게 내가 적어도 생각할 수있는 유일한 것입니다. 장고 세계에는 이런 일을하는 무언가가있을 것입니다. 그리고 우리가 테스트를 작성할 수있는 예를 찾을 수 있다면.

그래서! 누군가 이러한 테스트를 통합하여 첫 번째 실패와 "깊은 종속성"이 작동하는지 확인하려는 경우 self.requirements.values() 선언을 제거 할 수 있습니다.

@nateprewitt 여기에 당신이 의미하는 바를 설명하는 것이 있습니다.
https://github.com/vphilippon/testdeepextra

그러나 "foo [a]는 bar [b]에 따라 다릅니다."깊은 해상도는 pip-tools 에서 이미 괜찮은 것 같습니다. 해당 저장소로 테스트 할 수 있기 때문입니다.
그래서 그 패치는 원래 pip-tools 에서 작동하지 않는 무언가에 대해 가정 하듯이 정확히 그렇지 않을 수 있습니다. 특정 경우가 아니면 여기서 테스트 할 수 없었습니다.

어쨌든, 우리는 해당 레포 (지금 당장 할 시간이 없습니다)로 pipenv 의 추가 해결 동작을 해당 패치를 사용하거나 사용하지 않고 테스트 할 수 있으며 효과가 있는지 확인할 수 있습니다. / 또는 pip-tools 의 출력과 비교하십시오. 적어도 우리는 출발점이 있습니다.

Warning: Your dependencies could not be resolved. You likely have a mismatch in your sub-dependencies.
  You can use $ pipenv install --skip-lock to bypass this mechanism, then run $ pipenv graph to inspect the situation.
Could not find a version that matches sanic-plugins-framework==0.5.0.dev20171225,>=0.5.0.dev20171225
Tried: 0.2.0.dev20171102, 0.2.0.dev20171102, 0.3.0.dev20171102, 0.3.0.dev20171102, 0.3.1.dev20171102, 0.3.1.dev20171102, 0.3.2.dev20171102, 0.3.2.dev20171102, 0.3.3.dev20171102, 0.3.3.dev20171102, 0.4.0.dev20171103, 0.4.0.dev20171103, 0.4.1.dev20171103, 0.4.1.dev20171103, 0.4.2.dev20171106, 0.4.2.dev20171106, 0.4.4.dev20171107, 0.4.4.dev20171107, 0.4.5.dev20171113, 0.4.5.dev20171113, 0.5.0.dev20171225, 0.5.0.dev20171225, 0.5.2.dev20180201, 0.5.2.dev20180201

1. 패키지 버전이 '*'일 때이 오류가 발생했지만 '== 0.1.2'와 같은 알려진 버전으로 변경하면 잘 작동합니다.
2. 안타깝게도 pipenv install sanic-plugins-framework==0.5.0.dev20171225 입력했을 때이 큰 오류 메시지가 표시되었습니다. 위의 모든 버전이 '0.5.0.dev20171225'보다 크지 않을 수 있습니다.
3. 이 문제를 어떻게 처리해야합니까?

pipenv lock —pre —clear

당신의 비트를 공유하고 답변을 @techalchemy 당신을 @Jasonsey 감사드립니다.
나는 특별히 sanic-plugins-framework 문제가 있었고, --pre (_ 사전 릴리스 허용 ._ 플래그)를 추가하면 패키지를 설치하는 데 도움이되었습니다 🙌

이 문제가 해결 되었습니까? 나는 여전히 똑같은 잘못된 행동을하고 있습니다.
https://github.com/pypa/pipfile/issues/114