<p>virtualenv --always-copyがCentOSで失敗する（lib64の問題？）</p>

作成日 2019年03月05日  ·  12コメント  ·  ソース: pypa/virtualenv

/lib64ディレクトリを使用するプラットフォームで--always-copyを使用してvirtualenvを作成することは不可能のようです。

CentOS 7.6では、システムパッケージ（python 2.7.5 、virtualenv 15.1.0 ）とSCL経由でインストールされたパッケージの両方で同じことが起こります。
関連する可能性のあるチケットがいくつかあり（＃985、＃1192、＃3477、https：//github.com/FPGAwars/icestudio/issues/244）、問題を修正すると思われるマージされたプルリクエスト（＃1189）、それでも、まだ何か問題が起こっているような印象があります。

SCL（Pythonの3.6.3、手動16.4.3にアップグレードvirtualenvの）を使用して、実施例。
最初のエラーはvirtualenv_support/pip-19.0.3-py2.py3-none-any.whlで発生するようです：

  File "<scl_base>/lib64/python3.6/socket.py", line 49, in <module>
    import _socket
ModuleNotFoundError: No module named '_socket'

ログを完成させて、コンテキストで確認してください。

$ <scl_base>/bin/virtualenv --python <scl_base>/bin/python --always-copy --verbose TEST
Running virtualenv with interpreter <scl_base>/bin/python
Using base prefix '<scl_base>'
Creating <somedir>/TEST/lib/python3.6
Copying to <somedir>/TEST/lib64
Symlinking Python bootstrap modules
  Copying to <somedir>/TEST/lib/python3.6/config-3.6m-x86_64-linux-gnu
  Copying to <somedir>/TEST/lib/python3.6/lib-dynload
  Copying to <somedir>/TEST/lib64/python3.6/os.py
  Ignoring built-in bootstrap module: posix
  Copying to <somedir>/TEST/lib64/python3.6/posixpath.py
  Cannot import bootstrap module: nt
  Copying to <somedir>/TEST/lib64/python3.6/ntpath.py
  Copying to <somedir>/TEST/lib64/python3.6/genericpath.py
  Copying to <somedir>/TEST/lib64/python3.6/fnmatch.py
  Copying to <somedir>/TEST/lib64/python3.6/locale.py
  Copying to <somedir>/TEST/lib64/python3.6/encodings
  Copying to <somedir>/TEST/lib64/python3.6/codecs.py
  Copying to <somedir>/TEST/lib64/python3.6/stat.py
  Cannot import bootstrap module: UserDict
  Creating parent directories for <somedir>/TEST/lib64/python3.6/lib-dynload
  Copying to <somedir>/TEST/lib64/python3.6/lib-dynload/readline.cpython-36m-x86_64-linux-gnu.so
  Cannot import bootstrap module: copy_reg
  Copying to <somedir>/TEST/lib64/python3.6/types.py
  Copying to <somedir>/TEST/lib64/python3.6/re.py
  Cannot import bootstrap module: sre
  Copying to <somedir>/TEST/lib64/python3.6/sre_parse.py
  Copying to <somedir>/TEST/lib64/python3.6/sre_constants.py
  Copying to <somedir>/TEST/lib64/python3.6/sre_compile.py
  Copying to <somedir>/TEST/lib64/python3.6/lib-dynload/zlib.cpython-36m-x86_64-linux-gnu.so
  Cannot import bootstrap module: _abcoll
  Copying to <somedir>/TEST/lib64/python3.6/warnings.py
  Copying to <somedir>/TEST/lib64/python3.6/linecache.py
  Copying to <somedir>/TEST/lib64/python3.6/abc.py
  Copying to <somedir>/TEST/lib64/python3.6/io.py
  Copying to <somedir>/TEST/lib64/python3.6/_weakrefset.py
  Copying to <somedir>/TEST/lib64/python3.6/copyreg.py
  Copying to <somedir>/TEST/lib64/python3.6/tempfile.py
  Copying to <somedir>/TEST/lib64/python3.6/random.py
  Copying to <somedir>/TEST/lib64/python3.6/__future__.py
  Copying to <somedir>/TEST/lib64/python3.6/collections
  Copying to <somedir>/TEST/lib64/python3.6/keyword.py
  Copying to <somedir>/TEST/lib64/python3.6/tarfile.py
  Copying to <somedir>/TEST/lib64/python3.6/shutil.py
  Copying to <somedir>/TEST/lib64/python3.6/struct.py
  Copying to <somedir>/TEST/lib64/python3.6/copy.py
  Copying to <somedir>/TEST/lib64/python3.6/tokenize.py
  Copying to <somedir>/TEST/lib64/python3.6/token.py
  Copying to <somedir>/TEST/lib64/python3.6/functools.py
  Copying to <somedir>/TEST/lib64/python3.6/heapq.py
  Copying to <somedir>/TEST/lib64/python3.6/bisect.py
  Copying to <somedir>/TEST/lib64/python3.6/weakref.py
  Copying to <somedir>/TEST/lib64/python3.6/reprlib.py
  Copying to <somedir>/TEST/lib64/python3.6/base64.py
  Copying to <somedir>/TEST/lib64/python3.6/_dummy_thread.py
  Copying to <somedir>/TEST/lib64/python3.6/hashlib.py
  Copying to <somedir>/TEST/lib64/python3.6/hmac.py
  Copying to <somedir>/TEST/lib64/python3.6/imp.py
  Copying to <somedir>/TEST/lib64/python3.6/importlib
  Copying to <somedir>/TEST/lib64/python3.6/rlcompleter.py
  Copying to <somedir>/TEST/lib64/python3.6/operator.py
  Copying to <somedir>/TEST/lib64/python3.6/_collections_abc.py
  Copying to <somedir>/TEST/lib64/python3.6/_bootlocale.py
  Copying to <somedir>/TEST/lib64/python3.6/enum.py
  No LICENSE.txt / LICENSE found in source
Creating <somedir>/TEST/lib/python3.6/site-packages
Writing <somedir>/TEST/lib64/python3.6/site.py
Writing <somedir>/TEST/lib64/python3.6/orig-prefix.txt
Writing <somedir>/TEST/lib64/python3.6/no-global-site-packages.txt
Creating <somedir>/TEST/bin
New python executable in <somedir>/TEST/bin/python
Changed mode of <somedir>/TEST/bin/python to 0o775
Copying to <somedir>/TEST/bin/python3
Copying to <somedir>/TEST/bin/python3.6
Testing executable with <somedir>/TEST/bin/python -c "import sys;out=sys.stdout;getattr(out, "buffer", out).write(sys.prefix.encode("utf-8"))"
Got sys.prefix result: '<somedir>/TEST'
Creating <somedir>/TEST/lib64/python3.6/distutils
Writing <somedir>/TEST/lib64/python3.6/distutils/__init__.py
Writing <somedir>/TEST/lib64/python3.6/distutils/distutils.cfg
Traceback (most recent call last):
  File "<scl_base>/lib64/python3.6/runpy.py", line 193, in _run_module_as_main
    "__main__", mod_spec)
  File "<scl_base>/lib64/python3.6/runpy.py", line 85, in _run_code
    exec(code, run_globals)
  File "<scl_base>/usr/lib/python3.6/site-packages/virtualenv_support/pip-19.0.3-py2.py3-none-any.whl/pip/__main__.py", line 16, in <module>
  File "<scl_base>/usr/lib/python3.6/site-packages/virtualenv_support/pip-19.0.3-py2.py3-none-any.whl/pip/_internal/__init__.py", line 19, in <module>
  File "<scl_base>/usr/lib/python3.6/site-packages/virtualenv_support/pip-19.0.3-py2.py3-none-any.whl/pip/_vendor/urllib3/__init__.py", line 8, in <module>
  File "<scl_base>/usr/lib/python3.6/site-packages/virtualenv_support/pip-19.0.3-py2.py3-none-any.whl/pip/_vendor/urllib3/connectionpool.py", line 7, in <module>
  File "<scl_base>/lib64/python3.6/socket.py", line 49, in <module>
    import _socket
ModuleNotFoundError: No module named '_socket'
Command <somedir>/TEST/bin/python -m pip config list had error code 1
Installing setuptools, pip, wheel...

  Traceback (most recent call last):
    File "<stdin>", line 4, in <module>
    File "<somedir>/TEST/lib64/python3.6/tempfile.py", line 45, in <module>
      from random import Random as _Random
    File "<somedir>/TEST/lib64/python3.6/random.py", line 42, in <module>
      from math import log as _log, exp as _exp, pi as _pi, e as _e, ceil as _ceil
  ModuleNotFoundError: No module named 'math'
  Complete output from command <somedir>/TEST/bin/python - setuptools pip wheel:
  Traceback (most recent call last):
  File "<stdin>", line 4, in <module>
  File "<somedir>/TEST/lib64/python3.6/tempfile.py", line 45, in <module>
    from random import Random as _Random
  File "<somedir>/TEST/lib64/python3.6/random.py", line 42, in <module>
    from math import log as _log, exp as _exp, pi as _pi, e as _e, ceil as _ceil
ModuleNotFoundError: No module named 'math'
----------------------------------------
...Installing setuptools, pip, wheel...done.
Traceback (most recent call last):
  File "<scl_base>/usr/lib/python3.6/site-packages/virtualenv.py", line 2567, in <module>
    main()
  File "<scl_base>/usr/lib/python3.6/site-packages/virtualenv.py", line 793, in main
    symlink=options.symlink,
  File "<scl_base>/usr/lib/python3.6/site-packages/virtualenv.py", line 1088, in create_environment
    install_wheel(to_install, py_executable, search_dirs, download=download)
  File "<scl_base>/usr/lib/python3.6/site-packages/virtualenv.py", line 935, in install_wheel
    _install_wheel_with_search_dir(download, project_names, py_executable, search_dirs)
  File "<scl_base>/usr/lib/python3.6/site-packages/virtualenv.py", line 1025, in _install_wheel_with_search_dir
    call_subprocess(cmd, show_stdout=False, extra_env=env, stdin=script)
  File "<scl_base>/usr/lib/python3.6/site-packages/virtualenv.py", line 886, in call_subprocess
    raise OSError("Command {} failed with error code {}".format(cmd_desc, proc.returncode))
OSError: Command <somedir>/TEST/bin/python - setuptools pip wheel failed with error code 1

私は本当にたくさんの組み合わせ（多くのバージョン、PATHとPYTHONPATHで遊んでいます）を試しましたが、運がありませんでした。 助けていただければ幸いです。

bug
ソース
picture muxator

最も参考になるコメント

venv pipにはこれがあり、エラーを出力します。

！ "/ mnt / c / Users / Artem Russakovskii / Dropbox / workspace / SNIP.test / SNIP / env-linux / bin / python3"

これはあなたが見つけた醜いバグです。 見た目からすると、一部のbashスクリプトで引用が欠落しているように見えます（これが見落とされる頻度を考えると、これは私を驚かせません）。

この種のものは私にとってかゆみを掻くので、私はそれを見つけようとします。 それはあなたの問題を解決しませんが、少なくとも私たちは誰かのために何か良いものを手に入れます。

picture muxator 2019年10月31日
👍2

全てのコメント12件

こんにちは、このバグが壊される前に修正が必要な場合に備えて、将来のユーザーのための情報です。

私のプロジェクトはpython3であるため、次の問題を回避しました。

virtualenv --always-copy

と

python -m venv --copies

これはCentOS7.x （ ModuleNotFoundError: No module named '_socket'とModuleNotFoundError: No module named 'math' ）で機能し、とにかく私のプロジェクトで実行可能な選択であったvirtualenvから本質的に離れます。

muxator picture muxator 2019年03月07日
👍1

では、オプション名は変更されましたか？
IMO、（少なくとも意味が同じである場合）（古い） --always-copy longオプションは、（新しい） --copiesオプションのエイリアスとしてサポートされる必要があります。 これは難しいことではありません。 optparseオプションでは問題ありませんdest 。

tobiasherp picture tobiasherp 2019年03月08日

こんにちは@tobiasherp 、正確ではありません。

2つのオプションは異なるプログラムを参照します。 --always-copyはvirtualenvオプション、 --copiesはpython -m venvです。

私がしたことは、virtualenvを完全に捨てて、 -m venvを使用することです。これは、python3以降、何もインストールせずにデフォルトで使用可能であり、私の場合はうまく機能します。

muxator picture muxator 2019年03月08日

そうですか

Traceback (most recent call last):
  File "<stdin>", line 4, in <module>
  File "/tmp/tmp_6oib3xo/venv/lib64/python3.7/tempfile.py", line 45, in <module>
    from random import Random as _Random
  File "/tmp/tmp_6oib3xo/venv/lib64/python3.7/random.py", line 42, in <module>
    from math import log as _log, exp as _exp, pi as _pi, e as _e, ceil as _ceil
ModuleNotFoundError: No module named 'math'

tests/test_virtualenv.py::test_always_copy_optionを実行しようとすると

hroncok picture hroncok 2019年07月12日

OpenSUSE15.0と15.1でも同じ問題が発生しています。

virtualenv --always-copy temp
Using base prefix '/usr'
New python executable in /srv/www/htdocs/dev.SNIP.com/apk-downloader/temp/bin/python3
Also creating executable in /srv/www/htdocs/dev.SNIP.com/apk-downloader/temp/bin/python
Command /srv/www/htdocs/dev....der/temp/bin/python3 -m pip config list had error code 1
Installing setuptools, pip, wheel...

  Complete output from command /srv/www/htdocs/dev....der/temp/bin/python3 - setuptools pip wheel:
  Traceback (most recent call last):
  File "<stdin>", line 4, in <module>
  File "/srv/www/htdocs/dev.SNIP.com/apk-downloader/temp/lib64/python3.6/tempfile.py", line 45, in <module>
    from random import Random as _Random
  File "/srv/www/htdocs/dev.SNIP.com/apk-downloader/temp/lib64/python3.6/random.py", line 42, in <module>
    from math import log as _log, exp as _exp, pi as _pi, e as _e, ceil as _ceil
ModuleNotFoundError: No module named 'math'
----------------------------------------
...Installing setuptools, pip, wheel...done.
Traceback (most recent call last):
  File "/usr/bin/virtualenv", line 11, in <module>
    load_entry_point('virtualenv==16.7.5', 'console_scripts', 'virtualenv')()
  File "/usr/lib/python3.6/site-packages/virtualenv.py", line 870, in main
    symlink=options.symlink,
  File "/usr/lib/python3.6/site-packages/virtualenv.py", line 1173, in create_environment
    install_wheel(to_install, py_executable, search_dirs, download=download)
  File "/usr/lib/python3.6/site-packages/virtualenv.py", line 1019, in install_wheel
    _install_wheel_with_search_dir(download, project_names, py_executable, search_dirs)
  File "/usr/lib/python3.6/site-packages/virtualenv.py", line 1110, in _install_wheel_with_search_dir
    call_subprocess(cmd, show_stdout=False, extra_env=env, stdin=script)
  File "/usr/lib/python3.6/site-packages/virtualenv.py", line 963, in call_subprocess
    raise OSError("Command {} failed with error code {}".format(cmd_desc, proc.returncode))
OSError: Command /srv/www/htdocs/dev....der/temp/bin/python3 - setuptools pip wheel failed with error code 1

@gaborbernatここに何かアイデアはありますか？ --always-copy 、正しく実行されます。

archon810 picture archon810 2019年10月30日

venv回避策を試しましたが、 --copiesを使用してもシンボリックリンクが作成されることがわかりました。 どうして？

python3 -m venv --copies temp
SNIP<strong i="8">@pylon</strong>:/srv/www/htdocs/dev.SNIP.com/apk-downloader> l temp
total 24
drwxr-xr-x 5 SNIP users 4096 Oct 30 14:09 ./
drwxr-xr-x 7 SNIP users 4096 Oct 30 14:09 ../
drwxr-xr-x 2 SNIP users 4096 Oct 30 14:09 bin/
drwxr-xr-x 2 SNIP users 4096 Oct 30 14:09 include/
drwxr-xr-x 3 SNIP users 4096 Oct 30 14:09 lib/
lrwxrwxrwx 1 SNIP users    3 Oct 30 14:09 lib64 -> lib/
-rw-r--r-- 1 SNIP users   69 Oct 30 14:09 pyvenv.cfg
archon810 picture archon810 2019年10月30日

@ archon810 、それは本当です： /lib64 、 python -m venv --copiesはまだシンボリックリンクですが、幸いなことにそれだけが残っています： --copiesなしで実行してみて、の内容を見てください/lib/pyhon3.6/site-packages ：多くのファイルがシンボリックリンクになります。

それがあなたのニーズに十分であるかどうかはわかりません。 私のユースケースは、ユーザーが自分のvirtualenvで操作しているときに、他のディレクトリのファイル権限を誤って台無しにしないようにすることでした。 この場合、/ lib64はvirtualenvディレクトリ構造内にとどまるため、シンボリックリンクであることが許容されます。

補足：python3ではデフォルトでvenvを使用できるため、とにかくvirtualenvの使用を完全に停止しました。

muxator picture muxator 2019年10月30日

WindowsのWSL内のDropboxフォルダーにPythonenvをセットアップしようとしていますが、Dropboxがシンボリックリンクで混乱します。 これは私が理解するために残された最後のシンボリックリンクのセットであり、virtualenvは、この数学のクラッシュがなければ、ほとんどそこにありました。

つまり、rmとcp -Rをvenvに追加して、そのルートに移動しようとすることもできますが、実際に実行されていることを実行し、シンボリックリンクがまったくない場合はよいでしょう。

python3 -m venv --copies env-linux && rm env-linux/lib64 && cp -R env-linux/lib env-linux/lib64
archon810 picture archon810 2019年10月31日

うーん、 venvはスペースのあるdirを処理しないので、良くありません。

virtualenv pipにはこれがあり、機能します。

#!/bin/sh
'''exec' "/mnt/c/Users/Artem Russakovskii/Dropbox/workspace/SNIP.test/SNIP/env-linux/bin/python3" "$0" "$@"
' '''

venv pipにはこれがあり、エラーを出力します。

#!"/mnt/c/Users/Artem Russakovskii/Dropbox/workspace/SNIP.test/SNIP/env-linux/bin/python3"

bash: env-linux.new/bin/pip3: "/mnt/c/Users/Artem: bad interpreter: No such file or directory
archon810 picture archon810 2019年10月31日

このmath問題は、最新の16.7.7バージョンを使用して存在することを確認しました。

archon810 picture archon810 2019年10月31日

venv pipにはこれがあり、エラーを出力します。

！ "/ mnt / c / Users / Artem Russakovskii / Dropbox / workspace / SNIP.test / SNIP / env-linux / bin / python3"

これはあなたが見つけた醜いバグです。 見た目からすると、一部のbashスクリプトで引用が欠落しているように見えます（これが見落とされる頻度を考えると、これは私を驚かせません）。

この種のものは私にとってかゆみを掻くので、私はそれを見つけようとします。 それはあなたの問題を解決しませんが、少なくとも私たちは誰かのために何か良いものを手に入れます。

muxator picture muxator 2019年10月31日
👍2

https://github.com/pypa/virtualenv/pull/1500は、これを今すぐ解決する必要があります。

gaborbernat picture gaborbernat 2020年01月18日
🎉1
このページは役に立ちましたか？
0 / 5 - 0 評価

関連する問題

asottile picture asottile  ·  6コメント
abn picture abn  ·  4コメント
jwarren116 picture jwarren116  ·  5コメント
jdandrea picture jdandrea  ·  3コメント
LeonSpors picture LeonSpors  ·  6コメント