Virtualenv: 하위 프로세스에서 잘못된 shebang으로 설치된 스크립트

하다

$ env/bin/pip uninstall pytest
$ env/bin/pip install pytest
$ head -n 1 env/bin/py.test

동일한 결과를 제공합니까, 아니면 다른 결과를 제공합니까?

그리고 같은 질문

$ env/bin/python -m pip install pytest

?

https://github.com/pypa/virtualenv/issues/322 / https://github.com/pypa/virtualenv/pull/541 에서 회귀 가능성이

어떤 경우인지 테스트 할 수 있습니까?

subprocess.Popen(sys.argv[1:], env={}).wait()

도움이 되든 말든?

흠, pip / distlib에 이를 처리하는 코드가 있었지만 1년 전에 주석 처리되었습니다.

https://github.com/pypa/pip/blob/7cea748d0fb2e8980c2676304607426585550b41/pip/_vendor/distlib/util.py#L157 -L165

동일한 결과를 제공합니까, 아니면 다른 결과를 제공합니까?

두 경우 모두 pip를 직접 호출하면 적절한 shebang이 생성됩니다.

$ env/bin/pip install pytest
Collecting pytest
  Using cached pytest-2.8.5-py2.py3-none-any.whl
Requirement already satisfied (use --upgrade to upgrade): py>=1.4.29 in ./env/lib/python3.5/site-packages (from pytest)
Installing collected packages: pytest
Successfully installed pytest-2.8.5
$ head -n 1 env/bin/py.test
#!/Users/jaraco/Dropbox/code/public/aspen/env/bin/python3
$ env/bin/pip uninstall -y pytest
Uninstalling pytest-2.8.5:
  Successfully uninstalled pytest-2.8.5
$ env/bin/python -m pip install pytest
Collecting pytest
  Using cached pytest-2.8.5-py2.py3-none-any.whl
Requirement already satisfied (use --upgrade to upgrade): py>=1.4.29 in ./env/lib/python3.5/site-packages (from pytest)
Installing collected packages: pytest
Successfully installed pytest-2.8.5
$ head -n 1 env/bin/py.test
#!/Users/jaraco/Dropbox/code/public/aspen/env/bin/python

또한 빈 env로 호출하면 다음과 같이 작동합니다.

$ cat invoke.py 
import sys
import os
import subprocess

env = dict(os.environ)
env.pop('__PYVENV_LAUNCHER__')
env = {}

subprocess.Popen(sys.argv[1:], env=env).wait()
$ python -m virtualenv env
Using base prefix '/Library/Frameworks/Python.framework/Versions/3.5'
New python executable in /Users/jaraco/Dropbox/code/public/aspen/env/bin/python3
Also creating executable in /Users/jaraco/Dropbox/code/public/aspen/env/bin/python
Installing setuptools, pip, wheel...done.
$ python invoke.py env/bin/pip install pytest
Collecting pytest
  Using cached pytest-2.8.5-py2.py3-none-any.whl
Collecting py>=1.4.29 (from pytest)
  Using cached py-1.4.31-py2.py3-none-any.whl
Installing collected packages: py, pytest
Successfully installed py-1.4.31 pytest-2.8.5
$ head -n 1 env/bin/py.test
#!/Users/jaraco/Dropbox/code/public/aspen/env/bin/python3

commit 에 따르면 해당 해결 방법은 pip 6.0에서 릴리스된 distlib 0.2.0을 포함하는 것으로 설명되었습니다.

해당 커밋은 pip 2031 을 참조합니다.

또한 homebrew나 다른 방법이 아닌 python.org Mac 설치 프로그램에서 Python을 설치했습니다.

이 커밋의 distlib에서 코드가

초기 $ python 가 __VENV_LAUNCHER__ 하고 그 후 다른 스크립트/실행 파일을 속이고 있다는 점을 감안할 때 "예상"될 것이라고 생각합니다. 불행히도 나는 "속임수"의 프로세스가 정확히 어떻게 진행되는지 디버그할 OS X이 없습니다.

또한 #620에서 보고된 것과 유사한/동일한 문제일 수 있습니다.

@jaraco 가상 환경 에서 pip 를 수정하여 언급된 distlib 행의 주석 처리를 제거하고 작성할 잘못된 파이썬을 선택하는 pip의 동작을 수정하는 것으로 보이는지 확인하는 것이 가치가 있을 수 있습니다.

나는 그 venv 감지 코드를 이 커밋으로 다시 추적했는데 불행히도 아이디어의 기원을 설명하지 못했습니다.

아무도 이 env var 의 의미를 모르는 것 같습니다.

이 설명을 찾았습니다.

나의 성향은 Ronald가 여기에서 제안한 것과 유사

@vsajip 조언을 주실 수 있습니까?

몇 가지 생각:

• __PYVENV_LAUNCHER__ 이후 버전 (로널드에 따르면, <3.3) 때문에 파이썬 이전 버전의 추가가 아닌 한, 파이썬의 site.py OS X 프레임 워크 실행에서 스텁 발사대의 위치를 구분하기 위해 필요에. Ned Deily의 이 댓글 에 따르면 sys.executable 이제 스텁 런처를 가리키며 이것이 distlib 가 __PYVENV_LAUNCHER__ 사용을 중단한 이유입니다. 지금은 site.py 에서만 사용됩니다. 사용 가능한 경우 OS X에서는 pyvenv.cfg 파일을 찾는 데 사용됩니다.
• 예를 들어 Python 3.4에서 어떤 일이 발생하는지 확인하고 회귀의 일종인지 또는 모든 Python >= 3.3이 동일한 동작을 하는지 확인하는 것이 좋습니다.
• 제 생각에는 어딘가에서 무언가가 os.path.realpath() 호출을 해서는 안 될 때 하고 있는 것 같습니다. distlib 그렇게 하는 것 같지 않습니다. (Ned의 의견에 따라) sys.executable 와 env var가 항상 같으면 문제가 되지 않습니다. 그러나 무언가가 realpath 에 대해 sys.executable 를 수행하고 결과를 통해 Python을 실행하면 예기치 않은 헛소리가 발생합니다( sys.executable 는 역참조 경로이기 때문에).

Homebrew가 https://github.com/Homebrew/homebrew-core/pull/8129 에서 재발견한 문제에 대한 간단한 데모:

$ virtualenv -p python3 test
$ test/bin/python3 -c 'import sys; print(sys.executable)'
/Users/tim/test/bin/python3

$ /usr/local/bin/python3 -c 'import subprocess; subprocess.call(["/Users/tim/test/bin/python3", "-c", "import sys; print(sys.executable)"])'
/usr/local/bin/python3

$ /usr/local/bin/python3 -c 'import subprocess, os; del os.environ["__PYVENV_LAUNCHER__"]; subprocess.call(["/Users/tim/test/bin/python3", "-c", "import sys; print(sys.executable)"])'
/Users/tim/test/bin/python3

나는이 정확한 버그에 물렸다. 제 생각에는 매우 심각한 버그입니다. 대부분이 매우 혼란스럽고 언제 발생하는지 파악하기 어렵기 때문입니다.

나는 이 문제의 더 심각한 징후라고 생각하는 것에 타격을 받았습니다.

xonsh를 일상적인 쉘로 사용하기 시작했습니다.

그러나 xonsh에서 virtualenv를 사용하려고 하면 사용할 수 없습니다.

~ $ cd ~/draft
draft $ virtualenv --version
16.0.0
draft $ virtualenv .env
Using base prefix '/Library/Frameworks/Python.framework/Versions/3.7'
New python executable in /Users/jaraco/draft/.env/bin/python3
Also creating executable in /Users/jaraco/draft/.env/bin/python
Installing setuptools, pip, wheel...done.
draft $ .env/bin/pip install paver
Collecting paver
  Using cached https://files.pythonhosted.org/packages/98/1e/37ba8a75bd77ea56a75ef5ae66fe657b79205bbc36556c9456cd641782a4/Paver-1.3.4-py2.py3-none-any.whl
Collecting six (from paver)
  Using cached https://files.pythonhosted.org/packages/67/4b/141a581104b1f6397bfa78ac9d43d8ad29a7ca43ea90a2d863fe3056e86a/six-1.11.0-py2.py3-none-any.whl
Installing collected packages: six, paver
Successfully installed paver-1.3.4 six-1.11.0
  The script paver is installed in '/Users/jaraco/draft/.env/bin' which is not on PATH.
  Consider adding this directory to PATH or, if you prefer to suppress this warning, use --no-warn-script-location.
draft $ .env/bin/paver --help
Traceback (most recent call last):
  File ".env/bin/paver", line 7, in <module>
    from paver.tasks import main
ModuleNotFoundError: No module named 'paver'
draft $ head -n 1 .env/bin/paver
#!/Library/Frameworks/Python.framework/Versions/3.7/bin/python3

설치된 모든 스크립트는 virtualenv 접두사가 아닌 시스템 접두사를 얻는 것 같습니다.

이것은 아마도 xonsh가 Python 3.7(시스템 접두사)에서 실행 중이고 env에 다음과 같이 있다는 사실에서 비롯된 것 같습니다.

draft $ env | grep LAUNCHER
__PYVENV_LAUNCHER__=/Library/Frameworks/Python.framework/Versions/3.7/bin/python3

대신 zsh를 시작하고 동일한 명령을 실행하거나 먼저 del $__PYVENV_LAUNCHER__ 호출하면 paver가 예상대로 실행되고 shebang 라인이 virtualenv를 가리킵니다.

xonsh가 시작될 때 해당 환경 변수를 지워야 합니까?

https://github.com/python/cpython/pull/9516에 가능한 버그 수정이

이 문제는 최근 활동이 없었기 때문에 자동으로 오래된 것으로 표시되었습니다. 더 이상 활동이 없으면 폐쇄됩니다. 계속 열어두고 싶다면 댓글을 추가하세요. 귀하의 기여에 감사드립니다.

Python 3.7.6(Homebrew를 통해 설치됨)이 설치된 Mojave에서 여전히 이와 동일한 동작이 표시됩니다.

rewrite 브랜치로 확인할 수 있나요?

@gaborbernat rewrite 분기(fbdd782257d8eace7f5440a2b665f2ddb72e9db6)를 빌드하려고 하면 python3 setup.py build 에서 빌드 오류가 발생합니다.

...src/virtualenv/__init__.py", line 3, in <module>
    from .version import __version__
ModuleNotFoundError: No module named 'virtualenv.version'

이 문제와 관련이 없어 보입니다.

재작성 분기(fbdd782)를 빌드하려고 하면 python3 setup.py 빌드에서 빌드 오류가 발생합니다.

재작성 분기는 빌드 프로세스를 정의하기 위해 pyproject.toml 를 사용하므로 pip를 사용하여 빌드를 수행해야 합니다( pip wheel . .

당신이 얻는 오류는 내가 파이썬 라이브러리를 구축하는 새로운 표준 방법(PEP-517/518)을 지원하지 않는다는 setuptools 방식입니다. 기껏해야 setuptools 버그이지만 @pfmoore가 지적했듯이 pip를 사용하여 휠을 빌드하거나 virtualenv 폴더를 지정하여 설치하는 것이 더 좋습니다(자동으로 휠을 빌드하고 한 번에 설치함).

테스트 케이스:

#!/bin/bash
rm -rf venv-test
virtualenv --python python3 venv-test
python3 -c 'import subprocess; subprocess.check_call(["./venv-test/bin/pip3", "install", "markdown"])'
shebang=$(head -1 venv-test/bin/markdown_py)
expected_shebang="#!$(pwd)/venv-test/bin/python"
if [ "$shebang" == "$expected_shebang" ]; then
    echo "PASSED"
else
    echo "FAILED: \"$shebang\" != \"$expected_shebang\""
    exit 1
fi

이것은 python3+virtualenv 16.7.9에서 실패하고 python3+virtualenv-16.7.10.dev11+gfbdd782(즉, rewrite 분기)에서 통과합니다.

위와 같이 재작성에서 수정되었습니다.