<p>pipenvのむンストヌルは非垞に遅い</p>

䜜成日 2017幎05月15日  Â·  107コメント  Â·  ゜ヌス: pypa/pipenv

SSDを搭茉したWindows10マシンで、 1぀の䟝存関係を倉曎した埌にpipenv install実行するには、玄5分かかりたす。

その時間の倧郚分はLocking [packages] dependencies...内で費やされたす

このステップでは、2次匏たたはさらに悪い耇雑さがあるように思われたすか

以䞋にほずんどのpipfileを含めたしたが、プラむベヌトリポゞトリの䟝存関係の䞀郚を削陀する必芁がありたした。

[[source]]
url = "https://pypi.python.org/simple"
verify_ssl = true

[packages]
alembic = "==0.8.4"
amqp = "==1.4.7"
analytics-python = "==1.2.5"
anyjson = "==0.3.3"
billiard = "==3.3.0.20"
braintree = "==3.20.0"
celery = "==3.1.18"
coverage = "==4.0.3"
docopt = "==0.4.0"
eventlet = "==0.19.0"
flake8 = "==3.0.4"
Flask-Cors = "==2.1.2"
Flask-Login = "==0.3.2"
Flask = "==0.12.1"
funcsigs = "==0.4"
fuzzywuzzy = "==0.12.0"
gcloud = "==0.14.0"
html2text = "==2016.9.19"
itsdangerous = "==0.24"
Jinja2 = "==2.8"
jsonpatch = "==1.15"
jsonschema = "==2.5.1"
PyJWT = "==1.4.2"
kombu = "==3.0.30"
LayerClient = "==0.1.9"
MarkupSafe = "==0.23"
mixpanel = "==4.3.0"
mock = "==1.3.0"
nose-exclude = "==0.4.1"
nose = "==1.3.7"
numpy = "==1.12.1"
pdfrw = "==0.3"
Pillow = "==4.1.0"
pusher = "==1.6"
pycountry = "==1.20"
pycryptodome = "==3.4.5"
pymongo = "==3.2"
PyMySQL = "==0.7.4"
python-dateutil = "<=2.5.1"
python-Levenshtein = "==0.12.0"
python-magic = "==0.4.6"
python-coveralls = "==2.9.0"
pytz = "==2015.6"
raygun4py = "==3.1.2"
"repoze.retry" = "==1.3"
requests = "==2.8.1"
sendgrid = "==2.2.1"
slacker = "==0.7.3"
SQLAlchemy-Enum34 = "==1.0.1"
SQLAlchemy-Utils = "==0.31.6"
SQLAlchemy = "==1.1.9"
typing = "==3.5.2.2"
twilio = "==5.6.0"
Unidecode = "==0.4.19"
voluptuous = "==0.8.11"
Wand = "==0.4.4"
watchdog = "==0.8.3"
Werkzeug = "==0.12.1"
wheel = "==0.24.0"
WTForms = "==2.0.2"
xmltodict = "==0.9.2"
zeep = "==0.24.0"

最も参考になるコメント

このトピックのすべおの問題が解決されたのはなぜですか ロックステップがハングしおいるため、pipenvで1぀のものをむンストヌルできたせん。

党おのコメント107件

こんにちは@Diggsey 、これは私たちが今倉曎を曞いおいる方法によるものです。 これらの倉曎をマヌゞする準備ができおいたすが、 projects.py APIで壊れおいるため、次のメゞャヌリリヌスたで延期したす。 うたくいけば、これは数週間以内に準備が敎いたす。 今のずころ問題を远跡するためにこれを開いたたたにしおおきたす。

私たちはPyConで䞀緒にこれをスプリントしたした。 すぐに速くなりたす。

今のずころ私にずっおは遅くはなく、凍えそうです...

pipenv install my_packageたたは単玔なpipenv installは、20分埌に出力を提䟛したせん。

線集確認、数時間経っおもただ䜕もありたせん。 同じ問題ですか 通垞は遅いですが、5〜10分で終了したした。

ねえ@NicolasWebDev 、どのバヌゞョンのpipenvを䜿甚しおいたすか たた、システムにdelegator.py個別にむンストヌルしおいたすか もしそうなら、それはどのバヌゞョンですか これは、v3.6.0で解決されるべき問題でした。

䞊蚘のすべおが最新の堎合、Pipfileの内容を提䟛しおいただけたすか ありがずう

こんにちは@nateprewitt 、あなたは正しかった、私はv3.5.xにいたした。 4.1.1にアップデヌトするず、フリヌズの問題が解決したした。 今でも5分かかりたすが、少なくずも䜿えたす

ノむズで申し蚳ありたせんが、pipを介しおむンストヌルされたパッケヌゞが自動的に曎新されないこずを垞に忘れおいたす。
ありがずう

@NicolasWebDevで問題が解決しおよかったです。 私たちはこれをさらにスピヌドアップするために取り組んでいたす。うたくいけば、373は次のリリヌスで䞀歩近づくでしょう。

@Diggsey @ NicolasWebDev 、4.1.2をリリヌスしたした。これには、これらの速床の改善が远加されおいるはずです。 ここで行うべき䜜業はただいく぀かありたすが、これにより、少なくずもpipenvの初期ブヌトストラップ時間が短瞮されたす。

@nateprewitt曎新のおかげで、pipenvは今では速く芋えたすが、䜕も倉曎されおいない堎合でも、 pipenv lockを実行するだけでも数分かかりたす-それでもLocking [packages] dependencies...で広倧なものを埅ちたすその時間の倧郚分。

@Diggsey 、その倚くの時間は、そのPipfileに膚倧な数のファむルをダりンロヌドしおいるためです。 すべおの䟝存関係も固定しおいるようです。 これらすべおをプロゞェクトに盎接むンポヌトしおいたすか、それずも他の䟝存関係の芁件がありたすか

@nateprewittそれらのいく぀かを削陀するこずはできたすが、倧郚分は盎接の䟝存関係です-ロックファむルを生成するたびにすべおの䟝存関係をダりンロヌドする必芁があるのはなぜですか

むンストヌルするすべおのものを䟝存関係ずしお刀別する必芁がありたす。 これを取埗するために、各パッケヌゞをダりンロヌドしお、ロック時にむンストヌルがどのように衚瀺されるかを刀断したす。 これにより、Pipfile.lock内のすべおを適切に固定できたす。 ダりンロヌドしないず、サブ䟝存関係をチェックしお範囲䟝存関係の宣蚀を解決する信頌できる方法はありたせん。

ほずんどのパッケヌゞが時間の経過ずずもに同じたたになるずするず、ダりンロヌドしたパッケヌゞをキャッシュするこずは可胜でしょうか

@Diggseyは私たちのためにそれを調べたいですか

これはばかげた質問かもしれたせんが、Pipはすでにパッケヌゞキャッシングを行っおいたせんか

私はそうしおいるずいう印象を受けおいたす。

pipenvはpipキャッシュシステムを䜿甚できたすか、それずも最初から実装する必芁がありたすか

Pipenvはpipを実行するだけなので、キャッシュは自動的に䜿甚されたす。

修繕 ロックは今速く邪悪です。

ああ、ありがずう。 仕事でみんなをpipenvに抌しやるのを劚げたのはそれだけだったず思いたす。

うわヌ、いいですね、それは私にずっお文字通り100倍以䞊のスピヌドアップでした、そしおそれはたた前のバヌゞョンが捕らえなかった䟝存関係の衝突を捕らえたした

どのような有甚であろうこずはあるverboseのためのフラグpipenv lock私は線集するこずにより、䟝存関係の競合を蚺断するこずができたした- piptools/logging.pyログVERBOSE有効にするために、私はそれが䞎えたずいうこずでしたら、䜕が起こっおいたかの非垞に明確な指暙。

私はおそらく䜕かが欠けおいたす:)それはどこで修正されたすか 最新リリヌスは4日前なので、 masterから最新バヌゞョンをむンストヌルしたした。 ただし、 pipenv installはただ遅いです。

私は詊した

  • pipenvむンストヌルしおください⚡🍰⚡
  • 䞡方の最新公開バヌゞョンを䜿甚pipenvから、最新バヌゞョンmaster
  • 単䞀のパッケヌゞをむンストヌルする

最新の安定バヌゞョン5.3.5。を䜿甚するず、1぀のパッケヌゞをむンストヌルするのに3:40かかりたす。

∙ time pipenv install --dev raven
Installing raven...
Collecting raven
  Using cached raven-6.1.0-py2.py3-none-any.whl
Collecting contextlib2 (from raven)
  Using cached contextlib2-0.5.5-py2.py3-none-any.whl
Installing collected packages: contextlib2, raven
Successfully installed contextlib2-0.5.5 raven-6.1.0

Adding raven to Pipfile's [dev-packages]...
Locking [dev-packages] dependencies...
Locking [packages] dependencies...
Updated Pipfile.lock!
pipenv install --dev raven  10,11s user 2,77s system 5% cpu 3:40,04 total

masterバヌゞョンを䜿甚しおも、ハングしたす1぀のパッケヌゞ、+ 10分

線集それはちょうど終わった

pipenv install graphene_django  8,03s user 1,28s system 1% cpu 11:23,11 total

䜕か案は どうもありがずう

特にcコンパむルがある堎合、䟝存関係のむンストヌルに時間がかかるこずがありたす。 Pipfileを共有したいですか

時間がかかるこずもあるず思いたすが、最初から遅かったです。 それが私の偎の問題であるかどうかだけ興味がありたす。

これが私のPipfileです

[[source]]
url = "https://pypi.python.org/simple"
verify_ssl = true

[dev-packages]
pytest = "*"
pytest-django = "*"
pytest-testmon = "*"
pytest-watch = "*"
django-debug-toolbar = "*"
raven = "*"

[packages]
dj-database-url = "*"
Django = "*"
djangorestframework = "*"
gunicorn = "*"
newrelic = "*"
psycopg2 = "*"
requests = "*"
whitenoise = "*"
graphene-django = "*"

psycopg2は゜ヌスからコンパむルされおいる可胜性があるため、しばらく時間がかかる堎合がありたす。 他のすべおは玠晎らしくお速いはずです。 それを削陀しおみお、速床がどれだけ䞊がるかを確認しおください。

$ pipenv install ravenは私にずっおちょうど1秒かかりたした。

$ pipenv install ravenは、私にずっお1秒のようにかかりたした。

それは私が期埅するこずです どういうわけか冗長出力をオンにできたすか

psycopg2削陀しようずしたしたが、あたり圱響はありたせん。 pipenv install raven実行はしばらくハングしたす。

私は持っおいる

  • Python 3.6.2
  • macOS 10.12.6

カラスが瞬間的であっおはならない理由はわかりたせん。

やる$ pip install raven内郚$ pipenv shellし、それがあたりにも遅いがあるかどう教えおください。

pipenvが実行しおいるのはpipを実行しおいるこずだけなので、これは事実䞊「冗長モヌド」です。

それは瞬時です

∙ time pip install raven                                                                                                                                 19:38  tricoder<strong i="6">@issac</strong>
Requirement already satisfied: raven in /Users/tricoder/.envs/lingui-api-VE1OToiy/lib/python3.6/site-packages
Requirement already satisfied: contextlib2 in /Users/tricoder/.envs/lingui-api-VE1OToiy/lib/python3.6/site-packages (from raven)
noglob pip install raven  0,54s user 0,15s system 76% cpu 0,900 total

pipenv実行するず、玄2〜3分ハングしたす pipenv shell内偎/倖偎。

∙ time pipenv install raven                                                                                                                              19:39  tricoder<strong i="12">@issac</strong>
Installing raven...
Requirement already satisfied: raven in /Users/tricoder/.envs/lingui-api-VE1OToiy/lib/python3.6/site-packages
Requirement already satisfied: contextlib2 in /Users/tricoder/.envs/lingui-api-VE1OToiy/lib/python3.6/site-packages (from raven)

Adding raven to Pipfile's [packages]...
Locking [dev-packages] dependencies...
Locking [packages] dependencies...
Updated Pipfile.lock!
pipenv install raven  4,49s user 0,46s system 2% cpu 3:21,17 total

@Diggseyは、 --verboseに関する新しい問題を開いお、どのように芋せたいかの䟋を提䟛できたすか

@ tricoder42は、ロックステップたたはむンストヌルステップの遅い郚分ですか 最新のリリヌスでは、ロックが倧幅に改善されたした。

`` `シェル
$ time pipenv install raven
レむノンをむンストヌルしおいたす...
ワタリガラスを集める
キャッシュされたレむノンの䜿甚-6.1.0-py2.py3-none-any.whl
芁件はすでに満たされおいたす/Users/kennethreitz/.local/share/virtualenvs/pipenv-u9yqWeFK/lib/python3.6/site-packagesのcontextlib2ravenから
収集したパッケヌゞのむンストヌルraven
raven-6.1.0が正垞にむンストヌルされたした

Pipfileの[パッケヌゞ]にレむノンを远加しおいたす...
[dev-packages]の䟝存関係をロックしおいたす...
[パッケヌゞ]の䟝存関係をロックしおいたす...
Pipfile.lockを曎新したした
9.30実数5.49ナヌザヌ0.42sys

それは50:50のようなものですむンストヌルロック

@ tricoder42ずあなたは最新のものを䜿甚しおいたすか

正確なpipfileで耇補させおください。

たぶんそうだ

∙ pipenv --version                                                                                                                                       19:42  tricoder<strong i="6">@issac</strong>
pipenv, version 5.3.5
∙ pipsi upgrade git+https://github.com/kennethreitz/pipenv.git#egg=pipenv                                                                                19:45  tricoder<strong i="9">@issac</strong>
Collecting pipenv from git+https://github.com/kennethreitz/pipenv.git#egg=pipenv
  Cloning https://github.com/kennethreitz/pipenv.git to /private/var/folders/g9/1wbckv154mbby3tm411z_m340000gn/T/pip-build-se4ao5/pipenv
...
Installing collected packages: pipenv
  Found existing installation: pipenv 5.3.5
    Uninstalling pipenv-5.3.5:
      Successfully uninstalled pipenv-5.3.5
  Running setup.py install for pipenv ... done
Successfully installed pipenv-5.3.5

`` `シェル
$ time pipenv install
パッケヌゞは提䟛されおおらず、すべおの䟝存関係がむンストヌルされおいたす。
Pipfileは/ Users / kennethreitz / pipenv / testapp / Pipfileにありたす。 これをプロゞェクトの本拠地ず芋なしたす。
Pipfile.lockが芋぀かりたせん、䜜成しおいたす...
[dev-packages]の䟝存関係をロックしおいたす...
[パッケヌゞ]の䟝存関係をロックしおいたす...
Pipfile.lockを曎新したした
Pipfile.lockから䟝存関係をむンストヌルしおいたす...
[================================] 22 / 22-000037
58.94実数40.51ナヌザヌ8.62sys

私が最初のパッケヌゞを新しい新しいpipenvにむンストヌルしおいるずきでもそれはしたす。 pipenv --three代わりにpipenv --python python3.6 pipenv --threeを䜜成しようずしたす

@ tricoder42は、1時間ほどでGoogleハングアりトに参加したいですか

たたは、Messages.appを䜿甚しおいる堎合は、Appleの画面共有を䜿甚できたす。

私を远加しおください 私は[email protected]です。

䌚議に参加しようずしおいたすが、その埌察応可胜になりたす。

涌しい すべおを最初からクリヌンアップしお再むンストヌルしおみたす。 私は1時間で利甚可胜です

玠晎らしい—それではこれを理解したす。 messages.appに私を远加しおください:)

v11.9.0でLocking動䜜が非垞に遅い堎合、 v9.0.0ダりングレヌドするず、5分30秒のむンストヌルで1分36秒になりたす。

@ryantuck叀いバヌゞョンを固定しお9.0.3を固定する堎合はお勧めしたすが、速床のセキュリティが倧幅に䜎䞋するため、 --skip-lockを䜿甚するこずをお勧めしたす。その点

--skip-lock間違いなく物事をスピヌドアップしたした。 pipenv install --system --python=3.6が実際には正しいシステムPythonにむンストヌルされおおらず、システムのむンストヌルを詊みる前にPipfile.lockを生成する必芁があるず想定しおいたため、このパスをたどりたした。 それでも機胜しなかったので、通垞の叀いpipに戻りたしたが、これらの方針に沿っお進展があった堎合は、このスレッドに぀いおコメントしたす。

—systemず—pythonは盞互に排他的です—埌者のオプションには垞にvirtualenvが必芁です

うん、私もロックには時間がかかる。 v11.10.0。 WSL䞊のUbuntu。

[[source]]
url = "https://pypi.python.org/simple"
verify_ssl = true
name = "pypi"

[packages]
babel = "==2.5.3"
"boto3" = "==1.7.3"
colorama = "==0.3.9"
coreapi = "==2.3.3"
dj-database-url = "==0.5.0"
djangorestframework = "==3.7.7"
django-axes = "==4.0.2"
django-clever-selects = "==0.8.2"
django-crispy-forms = "==1.7.2"
django-choices = "==1.6.0"
django-extra-views = "==0.10.0"
django-filter = "==1.1.0"
django-hijack = "==2.1.7"
django-hijack-admin = "==2.1.7"
django-js-reverse = "==0.8.1"
django-model-utils = "==3.1.1"
django-phonenumber-field = "==2.0.0"
django-polymorphic = "==2.0.2"
django-redis-cache = "==1.7.1"
django-role-permissions = "==2.2.0"
"django-s3direct" = "==1.0.4"
django-static-precompiler = {extras = ["libsass"], version = "==1.8.2"}
django-storages = "==1.6.6"
"django-tables2" = "==1.21.2"
django-webpack-loader = "==0.6.0"
django-widget-tweaks = "==1.4.2"
facebookads = "==2.11.4"
googleads = "==11.0.1"
markdown = "==2.6.11"
phonenumbers = "==8.9.3"
pillow = "==5.1.0"
"psycopg2-binary" = "==2.7.4"
pygments = "==2.2.0"
pyssim = "==0.4"
python-dotenv = "==0.8.2"
pytz = "==2018.4"
raven = "==6.6.0"
sendgrid-django = "==4.2.0"
slacker = "==0.9.65"
termcolor = "==1.1.0"
tqdm = "==4.21.0"
twitter-ads = "==3.0.0"
brotlipy = "==0.7.0"
waitress = "==1.1.0"
whitenoise = "==3.3.1"
Django = "==2.0.4"

[dev-packages]
coverage = "==4.5.1"
selenium = "==3.11.0"
tblib = "==1.3.2"
"flake8" = "==3.5.0"
django-debug-toolbar = "==1.9.1"
django-extensions = "==2.0.6"

[requires]
python_version = "3.6"
Pipfile.lock not found, creating

Locking [dev-packages] dependencies

Locking [packages] dependencies

Updated Pipfile.lock (7a535c)!
Installing dependencies from Pipfile.lock (7a535c)

  🐍   ▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉ 92/92 — 00:01:01

real    8m1.993s
user    5m32.406s
sys     7m15.203s

2回目たたは3回目は少し速くなるはずです。
キャッシングトヌ。 改善が芋られたすか
2018幎4月12日朚曜日午前10時23分AlexanderKavanaugh <
[email protected]>は次のように曞いおいたす

うん、私もロックには時間がかかる。 v11.10.0。 WSL䞊のUbuntu。

[[゜ヌス]] url = " https://pypi.python.org/simple " verify_ssl = truename = "pypi"
[パッケヌゞ] babel = "== 2.5.3" "boto3" = "== 1.7.3" colorama = "== 0.3.9" coreapi = "== 2.3.3" dj-database-url = "== 0.5.0 "djangorestframework =" == 3.7.7 "django-axes =" == 4.0.2 "django-clever-selects =" == 0.8.2 "django-crispy-forms =" == 1.7.2 " django-choices = "== 1.6.0" django-extra-views = "== 0.10.0" django-filter = "== 1.1.0" django-hijack = "== 2.1.7" django-hijack- admin = "== 2.1.7" django-js-reverse = "== 0.8.1" django-model-utils = "== 3.1.1" django-phonenumber-field = "== 2.0.0" django- polymorphic = "== 2.0.2" django-redis-cache = "== 1.7.1" django-role-permissions = "== 2.2.0" "django-s3direct" = "== 1.0.4" django- static-precompiler = {extras = ["libsass"]、version = "== 1.8.2"} django-storages = "== 1.6.6" "django-tables2" = "== 1.21.2" django-webpack -loader = "== 0.6.0" django-widget-tweaks = "== 1.4.2" facebookads = "== 2.11.4" googleads = "== 11.0.1" markdown = "== 2.6.11" phonenumbers = "== 8.9.3" pillow = "== 5.1.0" "psycopg2-binary" = "== 2.7.4" pyrgments = "== 2.2.0" pyssim = "== 0.4" python-dotenv = "== 0.8.2" pytz = "== 2018.4" raven = "== 6.6.0" sendgrid-django = "== 4.2.0" slacker = "== 0.9.65" termcolor = "== 1.1.0" tqdm = "== 4.21.0" twitter-ads = "== 3.0.0" brotlipy = "== 0.7.0" waitress = "== 1.1.0" whitenoise = "== 3.3.1" Django = "== 2.0.4"
[dev-packages] coverage = "== 4.5.1" selenium = "== 3.11.0" tblib = "== 1.3.2" "flake8" = "== 3.5.0" django-debug-toolbar = " == 1.9.1 "django-extensions =" == 2.0.6 "
[必須] python_version = "3.6"

Pipfile.lockが芋぀かりたせん、䜜成しおいたす 
[dev-packages]の䟝存関係をロックしおいたす 
[パッケヌゞ]の䟝存関係をロックしおいたす 
Pipfile.lock7a535cを曎新したした
Pipfile.lock7a535cからの䟝存関係のむンストヌル 
🐍▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉

実際の8分1.993秒
ナヌザヌ5m32.406s
sys 7m15.203s

—
このスレッドにサブスクラむブしおいるため、これを受け取っおいたす。
このメヌルに盎接返信し、GitHubで衚瀺しおください
https://github.com/pypa/pipenv/issues/356#issuecomment-380882203 、たたはミュヌト
スレッド
https://github.com/notifications/unsubscribe-auth/ABhjqwIPyHtX0NTVoV1UPYR7HcwYm-2kks5tn42SgaJpZM4NbeoN
。

その前にすでにパッケヌゞをむンストヌルしおいたした。 ロックファむルを削陀しお、むンストヌルを再床実行したした。 別のデヌタポむントを取埗するためにもう䞀床やりたす

@jtratnerうわヌ。 非垞に興味深い... 3回目以降にのみキャッシングが開始される原因は䜕ですか

Pipfile.lock not found, creating

Locking [dev-packages] dependencies

Locking [packages] dependencies

Updated Pipfile.lock (7a535c)!
Installing dependencies from Pipfile.lock (7a535c)

An error occurred while installing coreapi==2.3.3! Will try again.
  🐍   ▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉ 92/92 — 00:00:58
Installing initially–failed dependencies

Success installing coreapi==2.3.3!▉▉▉ 0/1 — 00:00:00
  ☀  ▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉ 1/1 — 00:00:01

real    2m50.218s
user    2m19.438s
sys     5m44.797s
Pipfile.lock not found, creating

Locking [dev-packages] dependencies

Locking [packages] dependencies

Updated Pipfile.lock (7a535c)!
Installing dependencies from Pipfile.lock (7a535c)

  🐍   ▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉ 92/92 — 00:00:55

real    2m32.042s
user    2m6.516s
sys     5m10.219s

@kavdev @jtratnerは、ハッシュもキャッシュする機胜を導入したした。これにより、倧幅な改善が

ここにいたす... 15分埌

@giantasは圹に立ちたせん。 pipのむンストヌル時に、pipfile、出力、および期間を指定しおください。 たた、個別のパッケヌゞを実行できるかどうか。

私のマシンで実行するにはかなりの時間がかかりたす。 macOS 10.13.4、pipenv、バヌゞョン11.10.0

ダりンロヌドはほがすぐに実行されたすが、その埌Locking [packages] dependencies スタックしたす。 2぀の䟝存関係に30分かかり、さらに3぀の䟝存関係に6分かかりたす。プロゞェクトのすべおの䟝存関係をプロゞェクトにスロヌするず、ロックステップで無期限にハングしたす。

pablo<strong i="8">@batman</strong> scanr (develop) $ time pipenv install flask flask_pymongo
Installing flask

Looking in indexes: https://pypi.python.org/simple
Collecting flask
  Using cached https://files.pythonhosted.org/packages/77/32/e3597cb19ffffe724ad4bf0beca4153419918e7fa4ba6a34b04ee4da3371/Flask-0.12.2-py2.py3-none-any.whl
Collecting Werkzeug>=0.7 (from flask)
  Using cached https://files.pythonhosted.org/packages/20/c4/12e3e56473e52375aa29c4764e70d1b8f3efa6682bef8d0aae04fe335243/Werkzeug-0.14.1-py2.py3-none-any.whl
Collecting itsdangerous>=0.21 (from flask)
Collecting Jinja2>=2.4 (from flask)
  Using cached https://files.pythonhosted.org/packages/7f/ff/ae64bacdfc95f27a016a7bed8e8686763ba4d277a78ca76f32659220a731/Jinja2-2.10-py2.py3-none-any.whl
Collecting click>=2.0 (from flask)
  Using cached https://files.pythonhosted.org/packages/34/c1/8806f99713ddb993c5366c362b2f908f18269f8d792aff1abfd700775a77/click-6.7-py2.py3-none-any.whl
Collecting MarkupSafe>=0.23 (from Jinja2>=2.4->flask)
Installing collected packages: Werkzeug, itsdangerous, MarkupSafe, Jinja2, click, flask
Successfully installed Jinja2-2.10 MarkupSafe-1.0 Werkzeug-0.14.1 click-6.7 flask-0.12.2 itsdangerous-0.24

Adding flask to Pipfile's [packages]

Installing flask_pymongo

Looking in indexes: https://pypi.python.org/simple
Collecting flask_pymongo
  Using cached https://files.pythonhosted.org/packages/fa/71/ab920741dedd605ef4adbd57d0c7d9f43a6b6fe4068604fffbc6f64b2c9c/Flask_PyMongo-0.5.1-py3-none-any.whl
Requirement already satisfied: Flask>=0.8 in /Users/pablo/.local/share/virtualenvs/scanr-2m6AW0PB/lib/python3.6/site-packages (from flask_pymongo) (0.12.2)
Collecting PyMongo>=2.5 (from flask_pymongo)
  Using cached https://files.pythonhosted.org/packages/5c/7f/1f7240883ec3fa768d7e066c9cbd42ceb42d699ba1a0fb9d231c098a542d/pymongo-3.6.1-cp36-cp36m-macosx_10_6_intel.whl
Requirement already satisfied: click>=2.0 in /Users/pablo/.local/share/virtualenvs/scanr-2m6AW0PB/lib/python3.6/site-packages (from Flask>=0.8->flask_pymongo) (6.7)
Requirement already satisfied: itsdangerous>=0.21 in /Users/pablo/.local/share/virtualenvs/scanr-2m6AW0PB/lib/python3.6/site-packages (from Flask>=0.8->flask_pymongo) (0.24)
Requirement already satisfied: Werkzeug>=0.7 in /Users/pablo/.local/share/virtualenvs/scanr-2m6AW0PB/lib/python3.6/site-packages (from Flask>=0.8->flask_pymongo) (0.14.1)
Requirement already satisfied: Jinja2>=2.4 in /Users/pablo/.local/share/virtualenvs/scanr-2m6AW0PB/lib/python3.6/site-packages (from Flask>=0.8->flask_pymongo) (2.10)
Requirement already satisfied: MarkupSafe>=0.23 in /Users/pablo/.local/share/virtualenvs/scanr-2m6AW0PB/lib/python3.6/site-packages (from Jinja2>=2.4->Flask>=0.8->flask_pymongo) (1.0)
Installing collected packages: PyMongo, flask-pymongo
Successfully installed PyMongo-3.6.1 flask-pymongo-0.5.1

Adding flask_pymongo to Pipfile's [packages]

Pipfile.lock (c202d3) out of date, updating to (3068be)

Locking [dev-packages] dependencies

Locking [packages] dependencies

Updated Pipfile.lock (3068be)!
Installing dependencies from Pipfile.lock (3068be)

  🐍   ▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉ 32/32 — 00:00:03
To activate this project's virtualenv, run the following:
 $ pipenv shell

real    0m37.816s
user    0m34.556s
sys 0m4.517s
pablo<strong i="5">@batman</strong> scanr (develop) $ time pipenv install gunicorn h5py joblib
Installing gunicorn

Looking in indexes: https://pypi.python.org/simple
Collecting gunicorn
  Using cached https://files.pythonhosted.org/packages/64/32/becbd4089a4c06f0f9f538a76e9fe0b19a08f010bcb47dcdbfbc640cdf7d/gunicorn-19.7.1-py2.py3-none-any.whl
Installing collected packages: gunicorn
Successfully installed gunicorn-19.7.1

Adding gunicorn to Pipfile's [packages]

Installing h5py

Looking in indexes: https://pypi.python.org/simple
Collecting h5py
  Using cached https://files.pythonhosted.org/packages/69/d5/dff2a8f7658fd87ab3330a0ab47e4363681d8bdf734a495add65a347f5e3/h5py-2.7.1-cp36-cp36m-macosx_10_6_intel.macosx_10_9_intel.macosx_10_9_x86_64.macosx_10_10_intel.macosx_10_10_x86_64.whl
Requirement already satisfied: six in /Users/pablo/.local/share/virtualenvs/scanr-2m6AW0PB/lib/python3.6/site-packages (from h5py) (1.11.0)
Collecting numpy>=1.7 (from h5py)
  Using cached https://files.pythonhosted.org/packages/a0/df/fa637677800e6702a57ef09e1d62e42aec3f598fb235f897155d146f2f59/numpy-1.14.2-cp36-cp36m-macosx_10_6_intel.macosx_10_9_intel.macosx_10_9_x86_64.macosx_10_10_intel.macosx_10_10_x86_64.whl
Installing collected packages: numpy, h5py
Successfully installed h5py-2.7.1 numpy-1.14.2

Adding h5py to Pipfile's [packages]

Installing joblib

Looking in indexes: https://pypi.python.org/simple
Collecting joblib
  Using cached https://files.pythonhosted.org/packages/4f/51/870b2ec270fc29c5d89f85353da420606a9cb39fba4747127e7c7d7eb25d/joblib-0.11-py2.py3-none-any.whl
Installing collected packages: joblib
Successfully installed joblib-0.11

Adding joblib to Pipfile's [packages]

Pipfile.lock (0d514f) out of date, updating to (a4d15f)

Locking [dev-packages] dependencies

Locking [packages] dependencies

Updated Pipfile.lock (a4d15f)!
Installing dependencies from Pipfile.lock (a4d15f)

  🐍   ▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉ 36/36 — 00:00:03
To activate this project's virtualenv, run the following:
 $ pipenv shell

real    6m31.572s
user    1m1.986s
sys 0m11.047s

遅い@pablote聖なるがらくた これは郚分的にnumpyのむンストヌルによるものであるこずに泚意しおください。これは、゜ヌスからロックたたは䜕かばかげたものにコンパむルしおいるず確信しおいたす。 ここで有甚な出力を提䟛した堎合に圹立ちたす

それに぀いお私にできるこずはありたすか たたは、pipenvを䜿甚しお、これらの遅いロックファむル時間を䜿甚するのは運が悪いですか --skip-lockできるず思いたすが、その機胜が欲しかったのです

@pablote同じロック操䜜を再実行したかどうかを確認できたすかそれでも遅いですか

再実行するずほがすぐに終了するので、新しい䟝存関係が远加されるのは初めおだず思いたす。

぀たり、実際にはハッシュをロヌカルにキャッシュしおいるので、䜕らかの理由で、ここで信じられないほど遅いのはハッシュ生成プロセスです...

蚺断に圹立぀情報があれば教えおください。 ずりあえず、pip + virtualenv + pip-toolsに戻りたす/

@pablote䞀床ハッシュを

有甚な出力を提䟛しおください。 パッケヌゞロックステップでの無効なマヌカヌの倱敗を解決するために、pipenvを9.1.0から11.10.0にアップグレヌドしたした。たずえば、1622 ---これで、ipykernel、pandas、jupyter、numpy、そこにmatplotlibがあり、ロックファむルを実行するためにpipenv installを䜿甚する最近の詊みで、私はlocking [packages] dependencies に10分以䞊座っおいたす。

出力がないため、実際に䜕かが起こっおいるのか゜ヌスからnumpyを構築するなど、それがぶら䞋がっおいるだけなのかわかりたせん。 私ができる最善のこずは、 topで目を现めお、Pythonプロセスがぶら䞋がっおいるように芋えるため、䜕かをしおいるず結論付けるこずです...しかし、このvirtualenvをゎミ箱に捚おお、最初からやり盎す必芁がありたす。䜕かがすぐに動かない。

必芁に応じお、これに関する䜜業に貢献できるこずをうれしく思いたす。

有甚な出力を提䟛しおください。 パッケヌゞロックステップでの無効なマヌカヌの倱敗を解決するために、pipenvを9.1.0から11.10.0にアップグレヌドしたした。たずえば、1622 ---これで、ipykernel、pandas、jupyter、numpy、そこにmatplotlibがあり、pipenv installを䜿甚しおロックファむルを実行しようずした最近の詊みでは、[パッケヌゞ]の䟝存関係をロックし続けおいたした 10分以䞊。

完党に理解できる苊情であり、ナヌザヌにもっず圹立぀フィヌドバックを提䟛する方法を考えようず心の奥底で考えおきたした出力がないこずに少し混乱しおいるこずに同意するため。 15分埌にあきらめたす。 @techalchemyが指摘したように、キャッシュに

1぀の質問パブリックPyPIを䜿甚しおいたすか

@jtratnerはい、public PyPiを䜿甚しおいたす---そしお私は結局あきらめお、virtualenvをゎミ箱に捚お、新しいものを構築したした。 䟝存関係を䞀床に1぀ず぀むンストヌルするこずで、ロックファむルを構築するこずができたした。 興味深いこずに、matplotlibは最も䜎速でした--- numpyよりもさらに悪いです

おそらく、 This may take a long timeようなメッセヌゞは、より明確な解決策が決定されるたで、人々を安心させるのに圹立぀でしょう。

15分はただめちゃくちゃ長いです私は座っおそれを埅぀ずは思えたせん。 @paultopia pipenv lock —verboseを実行しおより倚くの出力を埗るこずができたす

本来よりも遅いずいう䞀般的な感芚はありたすが、私はこの問題を過小評䟡しおいるのかもしれたせん。 コンピュヌタヌで実行䞭のプロセスを芋るず、pipenvが実行されおいる間ずっずPythonが実行されおいるこずがわかりたす。これは、最倧15を超えるこずはありたせん。ファむルのハッシュなど、CPUを集䞭的に䜿甚する䜜業を行う堎合は、おそらくより倚くのプロセスを䜿甚する必芁がありたす。 。 たた、yarnのように䟝存関係をハッシュする他のパッケヌゞマネヌゞャヌを䜿甚したしたが、それらはかなり高速です。

私たちはそれが䜕をしおいるのかを理解する必芁がありたす...

ロックを䜿甚するず速床が䜎䞋するgithubプロゞェクトを䜜成したした。 https://github.com/AndreasPresthammer/slow-pipenvをご芧ください。 しかし、これが同じ問題であるず100確信しおいるわけではありたせん。 リポゞトリをプルダりンしおslow.shスクリプトを実行し、実行時間の違いを芳察したす。

@AndreasPresthammerなので、スクリプトはキャッシュされおいないロックのタむミングずロックを䜿甚したむンストヌルのタむミングだけです。 それがロックであるこずはわかっおいたすが、それは遅いです。 numpyの堎合、これはおそらく、過去に解決のためにsdistsを䜿甚する必芁があったためであり、これはコンパむルを意味しおいたした。 ホむヌルが䜿えるようになりたした。 それは物事をスピヌドアップするかもしれたせん

これは間違いなくただ問題であり5分以䞊、最新のpython3.6、pip、およびpipenvバヌゞョンで、 torchような単玔なパッケヌゞをむンストヌルしたす。 この問題をクロヌズずしおマヌクするべきではないず思いたす。

この問題がクロヌズされたこずに぀いおコメントしたい人のために pipenv lock --verbose出力を提䟛しおください。 ゜ヌスからコンパむルされ、通垞の条件䞋でビルドするのに長い時間がかかるパッケヌゞの解決は遅いこずを私たちは知っおいたす。 これが通垞より遅い堎合、原因を掞察するためにログが必芁です。

たた、開発環境ず本番環境にDockerを䜿甚しおいたすが、Docker内のむンストヌルは、ホストぞのむンストヌルに比べお遅いず感じおいたす。 すべおのパッケヌゞを組み合わせただけかもしれたせんが、私よりも経隓豊富な方からのフィヌドバックをお埅ちしおおりたす。

PipfileずPipfile.lockを含むpipenv lock --verboseのログは次のずおりです。

https://gist.github.com/mimischi/6270b7ece566cc571b427baaf1c331d4

@mimischi解決結果はホストにキャッシュされたすが、Dockerはそれらにアクセスできたせん。 すべおの解像床を最初からやり盎す必芁があるため、時間がかかりたす。 ホストのキャッシュディレクトリをDockerにマりントするず䟿利です。 マりントする必芁があるパスに぀いお蚀及しおいる問題にコメントがありたす。 今は調べる時間がありたせんが、芋぀けおみおください。 そしお、あなたがそうするずき、それをドキュメントのFAQペヌゞに貢献しおください

FWIW、開発ボックスのロックにかかる時間は30秒未満になりたした。 以前よりもはるかに良くなりたした-感謝したす。

こんにちは、同じ問題が発生したす。
これが冗長です

pipenv lock --verbose
Locking [dev-packages] dependencies

Using pip: -i https://pypi.python.org/simple

                          ROUND 1                           
Current constraints:
  pylint

Finding the best candidates:
  found candidate pylint==1.9.1 (constraint was <any>)

Finding secondary dependencies:
  pylint==1.9.1             requires astroid<2.0,>=1.6, isort>=4.2.5, mccabe, six

New dependencies found in this round:
  adding ['astroid', '<2.0,>=1.6', '[]']
  adding ['isort', '>=4.2.5', '[]']
  adding ['mccabe', '', '[]']
  adding ['six', '', '[]']
Removed dependencies in this round:
Unsafe dependencies in this round:
------------------------------------------------------------
Result of round 1: not stable

                          ROUND 2                           
Current constraints:
  astroid<2.0,>=1.6
  isort>=4.2.5
  mccabe
  pylint
  six

Finding the best candidates:
  found candidate astroid==1.6.4 (constraint was >=1.6,<2.0)
  found candidate isort==4.3.4 (constraint was >=4.2.5)
  found candidate mccabe==0.6.1 (constraint was <any>)
  found candidate pylint==1.9.1 (constraint was <any>)
  found candidate six==1.11.0 (constraint was <any>)

Finding secondary dependencies:
  pylint==1.9.1             requires astroid<2.0,>=1.6, isort>=4.2.5, mccabe, six
  astroid==1.6.4            requires lazy-object-proxy, six, wrapt
  isort==4.3.4              requires -
  mccabe==0.6.1             requires -
  six==1.11.0               requires -

New dependencies found in this round:
  adding ['lazy-object-proxy', '', '[]']
  adding ['wrapt', '', '[]']
Removed dependencies in this round:
Unsafe dependencies in this round:
------------------------------------------------------------
Result of round 2: not stable

                          ROUND 3                           
Current constraints:
  astroid<2.0,>=1.6
  isort>=4.2.5
  lazy-object-proxy
  mccabe
  pylint
  six
  wrapt

Finding the best candidates:
  found candidate astroid==1.6.4 (constraint was >=1.6,<2.0)
  found candidate isort==4.3.4 (constraint was >=4.2.5)
  found candidate lazy-object-proxy==1.3.1 (constraint was <any>)
  found candidate mccabe==0.6.1 (constraint was <any>)
  found candidate pylint==1.9.1 (constraint was <any>)
  found candidate six==1.11.0 (constraint was <any>)
  found candidate wrapt==1.10.11 (constraint was <any>)

Finding secondary dependencies:
  astroid==1.6.4            requires lazy-object-proxy, six, wrapt
  wrapt==1.10.11            requires -
  lazy-object-proxy==1.3.1  requires -
  six==1.11.0               requires -
  pylint==1.9.1             requires astroid<2.0,>=1.6, isort>=4.2.5, mccabe, six
  mccabe==0.6.1             requires -
  isort==4.3.4              requires -
------------------------------------------------------------
Result of round 3: stable, done

Locking [packages] dependencies


これがpipenv --versionですpipenv、バヌゞョン2018.05.18

たた、なぜこれが起こっおいるのかわかりたせん。特定の理由/゚ラヌは発生しおいたせん。
私の堎合、 pipenv lockするず開始したすが、私が知る限り終了するこずはありたせん。 私は2時間埅っおいたしたが、ただ完了の兆候はありたせん。 そしお、 ReadTimeoutErrorを2回䞎えたしたが、これは3回目です。
Python3.6.4の䜿甚

私のプロゞェクトの期日が近いので、どんな助けでも倧いに圹立぀でしょう。

たた、この問題を再開するために投祚しおください。 解決にはほど遠いです。プロゞェクトをDockerコンテナ内にロックするには、10〜20分かかりたす。 たた、非垞に倚くのメモリを䜿甚するため、Dockerぞの割り圓おを増やしお、プロセスが匷制終了されないようにする必芁がありたした。

解決速床の問題に぀いおサポヌトが必芁な堎合は、環境に関するPipfilesmandの詳现の䟋を提䟛しおください。 今週リリヌスをカットしおおり、閉じたスレッドに関する個別のコメントを远跡する時間はありたせんが、提䟛すればPipfilesに察しおテストできたす。

@jkpこのプロゞェクトのすべおのコア開発者最初から私たちの倚くがいるわけではありたせんはこの問題を非垞によく知っおおり、それ以䞊ではないにしおも、あなたず同じように問題を抱えおいたす。 ただし、これは決しお簡単な問題ではありたせん。Pythonパッケヌゞですべおを砎棄するこずなく、可胜な限り䜿甚できるようにするために、可胜な限りすべおを投入したした。 珟圚、私たちのプレヌトにも倚くのこずがあり、それらの他の問題にありたす。 ですから、私がしなければならない必然的な決断は、私たちが実際に解決する方法を知っおいる問題に優先順䜍を付け、それらが完了した埌にのみ次のステップに぀いお考え始め、私たちの努力の効果を最倧化するこずです。

今、私はあなたの優先順䜍が私たちのものずは異なるかもしれないこずを完党に認めたす。 このパフォヌマンスの問題は、ワヌクフロヌで最も倧きな問題になる可胜性があり、このプロゞェクトで最も重芁な問題ずしお取り䞊げたいず考えおいたす。 ただし、このツヌルを䜿甚しおいるのはあなただけではないこずを芚えおおいおください。私たちは、あなたの前で、すべおの人の必芁性、さらには

䜕ができるかわからないため、問題はクロヌズされたたたになり、問題トラッカヌで管理しようずするずノむズずしおのみ機胜したす。 少なくずも私たちのワヌクフロヌでは、誰も取り組むこずができない問題を抱えるこずは意味がありたせん。

ワヌクフロヌを評䟡しお、それが問題を管理する方法である堎合は問題ありたせん。 問題の远跡に圹立぀情報を远加しようず思いたす。

pipenvずネットの間にmitmproxyむンストヌルしお、行われおいる芁求を远跡するこずにより、デバッグを行いたした。 私はいく぀かの興味深いものを芋぀けたした。

  1. json-apiただサポヌトしおいないプラむベヌトpypiむンデックスを䜿甚しおいたす。 フォヌルバックは、メタデヌタなどを抜出するためにhttpむンデックスにリストされおいるすべおのものをブルヌトフォヌスしおダりンロヌドするこずであるように芋えるため、これにより凊理速床が倧幅に䜎䞋したす。これを理解するために他の誰かがより深く掘り䞋げる必芁をなくすかもしれたせん。

  2. 匷匕な方法を䜿甚するず、コヌドは䜿甚䞭のアヌキテクチャに関係のないパッケヌゞをダりンロヌドするようです。 たずえば、Linuxマシンでは、 win32たたはosx固有のホむヌルパッケヌゞをダりンロヌドしおいたした。 これは、他のアヌキテクチャ甚に構築されたバむナリパッケヌゞが圹に立たないこずは明らかであるため、怜出しお回避できるもののように感じたす。

私はそれを芋぀けたら、デバッグを続け、有甚な情報を報告したす。

jsonむンタヌフェヌスを䜿甚しおいる堎合でも、 pipenvは、さたざたなアヌキテクチャに関連するホむヌルファむルに察しお䞍芁な芁求を行っおいるようです。 実装は、タヌゲットプラットフォヌム/アヌチに関係なく、特定のリリヌスに察しおリストされたすべおのファむルをチェックするずいう点で、珟圚かなり単玔です。

最小限のテストケヌス

Linuxホストの堎合 pipenv install grpcio

次のリク゚ストを䜜成したした mitmproxyを䜿甚しおキャプチャ

$ mitmdump -w dump.out
Proxy server listening at http://*:8080
127.0.0.1:62303: clientconnect
127.0.0.1:62303: GET https://pypi.org/simple/setuptools/
              << 200 OK 79.82k
127.0.0.1:62305: clientconnect
127.0.0.1:62305: GET https://files.pythonhosted.org/packages/7f/e1/820d941153923aac1d49d7fc37e17b6e73bfbd2904959fffbad77900cf92/setuptools-39.2.0-py2.py3-none-any.whl
              << 200 OK 554.25k
127.0.0.1:62303: GET https://pypi.org/simple/pip/
              << 200 OK 9.56k
127.0.0.1:62303: GET https://pypi.org/simple/wheel/
              << 200 OK 6.91k
127.0.0.1:62303: clientdisconnect
127.0.0.1:62305: clientdisconnect
127.0.0.1:62307: clientconnect
127.0.0.1:62307: GET https://pypi.org/simple/grpcio/
              << 200 OK 112.03k
127.0.0.1:62309: clientconnect
127.0.0.1:62309: GET https://files.pythonhosted.org/packages/1f/ea/664c589ec41b9e9ac6e20cc1fe9016f3913332d0dc5498a5d7771e2835af/grpcio-1.12.1-cp36-cp36m-manylinux1_x86_64.whl
              << 200 OK 8.57m
127.0.0.1:62307: GET https://pypi.org/simple/six/
              << 200 OK 3.34k
127.0.0.1:62309: GET https://files.pythonhosted.org/packages/67/4b/141a581104b1f6397bfa78ac9d43d8ad29a7ca43ea90a2d863fe3056e86a/six-1.11.0-py2.py3-none-any.whl
              << 200 OK 10.45k
127.0.0.1:62309: clientdisconnect
127.0.0.1:62307: clientdisconnect
127.0.0.1:62311: clientconnect
127.0.0.1:62311: GET https://pypi.org/simple/grpcio/
              << 200 OK 112.03k
127.0.0.1:62313: clientconnect
127.0.0.1:62313: GET https://files.pythonhosted.org/packages/1f/ea/664c589ec41b9e9ac6e20cc1fe9016f3913332d0dc5498a5d7771e2835af/grpcio-1.12.1-cp36-cp36m-manylinux1_x86_64.whl
              << 200 OK 8.57m
127.0.0.1:62311: GET https://pypi.org/simple/six/
              << 200 OK 3.34k
127.0.0.1:62313: GET https://files.pythonhosted.org/packages/67/4b/141a581104b1f6397bfa78ac9d43d8ad29a7ca43ea90a2d863fe3056e86a/six-1.11.0-py2.py3-none-any.whl
              << 200 OK 10.45k
127.0.0.1:62315: clientconnect
127.0.0.1:62315: GET https://pypi.org/pypi/six/json
              << 200 OK 5.94k
127.0.0.1:62313: GET https://files.pythonhosted.org/packages/16/d8/bc6316cf98419719bd59c91742194c111b6f2e85abac88e496adefaf7afe/six-1.11.0.tar.gz
              << 200 OK 29.16k
127.0.0.1:62315: GET https://pypi.org/pypi/grpcio/json
              << 200 OK 164.26k
127.0.0.1:62313: GET https://files.pythonhosted.org/packages/5c/73/5e65b81301956bdd32c5e8da691fde3fbd6e61283b65d2bac590b8f43765/grpcio-1.12.1-cp27-cp27m-win32.whl
              << 200 OK 1.35m
127.0.0.1:62313: GET https://files.pythonhosted.org/packages/e1/c3/bcce8247da4e6f95a900489b6f7ff3d14d93df40d69875fe4164c1b9544a/grpcio-1.12.1-cp27-cp27mu-manylinux1_i686.whl
              << 200 OK 8.01m
127.0.0.1:62313: GET https://files.pythonhosted.org/packages/ed/89/03924c56e9044b0842a014fcc0a81f55975028d1caa9cdd14234a230bc70/grpcio-1.12.1-cp27-cp27m-win_amd64.whl
              << 200 OK 1.35m
127.0.0.1:62313: GET https://files.pythonhosted.org/packages/d7/f6/ddeab13c25b8451f05875587801ad87e4e0fc23c4e3eb328c4bd1a80a415/grpcio-1.12.1-cp36-cp36m-linux_armv7l.whl
              << 200 OK 7.77m
127.0.0.1:62313: GET https://files.pythonhosted.org/packages/2d/a4/4d1d73c0339e987ea173f44cf62ec6b40fb91e0336c09c960c4a44137552/grpcio-1.12.1-cp35-cp35m-linux_armv7l.whl
              << 200 OK 7.76m
127.0.0.1:62313: GET https://files.pythonhosted.org/packages/76/27/b03ec8fc96745cde68d6ec29115f9a444945a6acc45209c5772378cc4d66/grpcio-1.12.1-cp35-cp35m-macosx_10_7_intel.whl
              << 200 OK 1.83m
127.0.0.1:62313: GET https://files.pythonhosted.org/packages/30/24/8e247548321e52c266a639b51a838ec19b41fb6bfd27e3bbef018496752e/grpcio-1.12.1-cp27-cp27m-manylinux1_x86_64.whl
              << 200 OK 8.47m
127.0.0.1:62313: GET https://files.pythonhosted.org/packages/80/c9/e582b962a4a3aa2684666ff67fc994a042b1b0e444eb6672eb9740f7b59a/grpcio-1.12.1-cp34-cp34m-macosx_10_7_intel.whl
              << 200 OK 1.84m
127.0.0.1:62313: GET https://files.pythonhosted.org/packages/a2/25/6d910070a4a07c32633c2376075d5dc03e90f69f855d700e3f73c1affebb/grpcio-1.12.1-cp27-cp27m-macosx_10_12_x86_64.whl
              << 200 OK 1.57m
127.0.0.1:62313: GET https://files.pythonhosted.org/packages/33/38/58f3e8d133de1f2e911206ead03799621205079c303ae5b27e7350051f4a/grpcio-1.12.1.tar.gz
              << 200 OK 13.56m
127.0.0.1:62313: GET https://files.pythonhosted.org/packages/68/57/da122cbfc1b7815381480b23044fff06b90f58c1be9310e68c2d6b1d623c/grpcio-1.12.1-cp36-cp36m-macosx_10_7_intel.whl
              << 200 OK 1.82m
127.0.0.1:62313: GET https://files.pythonhosted.org/packages/c6/b8/47468178ba19143e89b2da778eed660b84136c0a877224e79cc3c1c3fd32/grpcio-1.12.1-cp35-cp35m-manylinux1_x86_64.whl
              << 200 OK 8.55m
127.0.0.1:62313: GET https://files.pythonhosted.org/packages/5d/8b/104918993129d6c919a16826e6adcfa4a106c791da79fb9655c5b22ad9ff/grpcio-1.12.1-cp36-cp36m-win_amd64.whl
              << 200 OK 1.37m
127.0.0.1:62313: GET https://files.pythonhosted.org/packages/94/6c/02e9cb803cd7b9608c9c1768d86d31c61b088f5b9513a203c10fa7e905d8/grpcio-1.12.1-cp36-cp36m-win32.whl
              << 200 OK 1.12m
127.0.0.1:62313: GET https://files.pythonhosted.org/packages/2a/ed/71169dccb7f9250d17031068579832371a72891d8e64891265370ca6e264/grpcio-1.12.1-cp27-cp27mu-linux_armv7l.whl
              << 200 OK 7.68m
127.0.0.1:62313: GET https://files.pythonhosted.org/packages/63/38/d73bf5b1ef950dbab8203122b9681137b35012492ecfec56719be109e343/grpcio-1.12.1-cp27-cp27m-manylinux1_i686.whl
              << 200 OK 8.01m
127.0.0.1:62313: GET https://files.pythonhosted.org/packages/13/71/87628a8edec5bffc86c5443d2cb9a569c3b65c7ff0ad05d5e6ee68042297/grpcio-1.12.1-cp36-cp36m-manylinux1_i686.whl
              << 200 OK 8.11m
127.0.0.1:62313: GET https://files.pythonhosted.org/packages/1d/0d/146582f71161a0074dda2378617ae5f7e2c3d6cf62d4588eb586c1d6b675/grpcio-1.12.1-cp27-cp27mu-manylinux1_x86_64.whl
              << 200 OK 8.47m
127.0.0.1:62313: GET https://files.pythonhosted.org/packages/9e/3a/6aceb4fccacf6d2d7d087190c221a90f14b2bdcb56cbee5af24b7050278b/grpcio-1.12.1-cp34-cp34m-win_amd64.whl
              << 200 OK 1.35m
127.0.0.1:62313: GET https://files.pythonhosted.org/packages/f9/fa/a0187d220544b744dd3bb0d8b8ec716d130159160bf627415b2880ae599a/grpcio-1.12.1-cp34-cp34m-win32.whl
              << 200 OK 1.35m
127.0.0.1:62313: GET https://files.pythonhosted.org/packages/dd/aa/ac8e3c6badf1744f04be7d35fa95dae56df12b956f861285c8cced2a22cb/grpcio-1.12.1-cp34-cp34m-linux_armv7l.whl
              << 200 OK 7.76m
127.0.0.1:62313: GET https://files.pythonhosted.org/packages/38/2a/94665daafbcf0214adcf77ad8f5aed8b9dfcbfa871115c7890d88b1b8f3c/grpcio-1.12.1-cp34-cp34m-manylinux1_x86_64.whl
              << 200 OK 8.58m
127.0.0.1:62313: GET https://files.pythonhosted.org/packages/0d/33/22ad4a9dcefe330180cdb2d24fdd980af2a7a2dc03af208a408fd48195e0/grpcio-1.12.1-cp35-cp35m-win_amd64.whl
              << 200 OK 1.36m
127.0.0.1:62313: GET https://files.pythonhosted.org/packages/b5/13/9e8e5d68a15c51b251e512955a971214fd8425b237e6d6a04f0257c5d090/grpcio-1.12.1-cp34-cp34m-manylinux1_i686.whl
              << 200 OK 8.11m
127.0.0.1:62313: GET https://files.pythonhosted.org/packages/21/41/66ab386c65be68b4e907f2cd35223965aea2a086bcd0bd6825999e0bda7c/grpcio-1.12.1-cp35-cp35m-win32.whl
              << 200 OK 1.12m
127.0.0.1:62313: GET https://files.pythonhosted.org/packages/f7/db/fc084f59804a32a8d6efb467896a505f4dc93ea89ec44da856b91f05a5cb/grpcio-1.12.1-cp35-cp35m-manylinux1_i686.whl
              << 200 OK 8.09m
127.0.0.1:62313: clientdisconnect
127.0.0.1:62311: clientdisconnect
127.0.0.1:62315: clientdisconnect

䞍芁なリク゚ストのいく぀かを数える

  • 4 x win32
  • 4xアヌム
  • 4 x macosx

などホストOSずアヌチに基づいおいく぀かの簡単なフィルタリングを行うための簡単な勝利のように思えたすか

ホストずアヌキテクチャによっおフィルタリングされたものが必芁ですが、他のほずんどの堎合、それらのホストずアヌキテクチャにむンストヌルできるハッシュを含むロックファむルが必芁ですpipリゟルバヌコヌドベヌスには、これを具䜓的に有効にするハックが倚数あるため、そうではありたせん私たちぞのニュヌス

JSON APIに関しおは、珟圚のリリヌスでは実際に盎接ヒットするこずはできたせん。リリヌスする前に、コヌドベヌスで再び無効にする予定です。 私は広範なプロファむリングを実行したしたが、 packaging.version.parse()ぞの呌び出しの倱敗が、pipenvの実行時間の20〜50のようなものであるこずを知っおいたす。

ただし、Pip10はデフォルトでJSONAPIをメむンのリゟルバヌずしお䜿甚するため、pipの䜿甚を停止したい堎合を陀いお、その面で行うこずはあたりありたせん。

同じものを䜕床もダりンロヌドしなければならないような気がしたすよね

おそらく議論を2284に移すべきです。 遅いのは実際にはロック郚分であり installは本質的にTOML操䜜+ lock + sync 、むンストヌルされおいたせん。

シングルアヌチぞのロックダりンに぀いお。 デザむンの遞択を理解しおいたす。 おそらく、ナヌザヌがホストアヌキテクチャに察しおのみロックできるようにフラグを枡すオプションがあるのでしょうか。 これは、時間ず䞀郚のナヌスケヌスの垯域幅の䞡方の芳点から、かなり重芁な最適化になりたす。

@techalchemyご回答ありがずうpackaging.version.parse()怜玢は良いリヌドのようです。 この声明にもう少し色を付けおいただけたせんか。

JSON APIに関しおは、珟圚のリリヌスでは実際に盎接ヒットするこずはできたせん。リリヌスする前に、コヌドベヌスで再び無効にする予定です。

なぜ無効にする予定なのかわかりたせんでしたか

@jkp JSON APIに関しおは、それがシンプルなAPIの方がはるかに適しおいたす。 これを無効にするこずで、APIをたったく䜿甚せずに、単玔なAPIを䜿甚しおいたす。

Pysparkをむンストヌルするのに時間がかかりすぎたす。
私のPipfile-

[[source]]
name = "pypi"
verify_ssl = true
url = "https://pypi.org/simple"

[dev-packages]
pylint = "*"
pyspark = "*"

[requires]
python_version = "3.5"

シェル出力-

Pipfile.lock not found, creating...
Locking [dev-packages] dependencies...

プロセスは䞊の最埌の行でスタックしおいたす。
15〜20分埌に終了したす

pipenv、バヌゞョン2018.7.1

@keshavkaul PySparkは非垞に倧きく、ダりンロヌドするだけでもかなりの時間がかかる堎合がありたす。 しばらくお埅ちください。埌ではるかに良くなりたすPipenvが結果をキャッシュするため。

たたは、開発者にホむヌルディストリビュヌションをリリヌスするように促すこずができたす。それは少し圹に立ちたす。

今埌の蚪問者ぞの泚意遅いむンストヌル結果を投皿しないでください。 遅くなる可胜性があるこずはわかっおいたす。 なぜ遅いのかはわかっおいたす。 結果はこのトピックに䜕も远加したせん。

ラむブラリのダりンロヌド䞭に、apt-getやwgetダりンロヌド速床、ダりンロヌドされたサむズ、合蚈サむズなどの情報やプログレスバヌを衚瀺するこずはできたすか
これがここでの問題だず思いたす。pipenvは私には遅いように芋えたしたが、ラむブラリのダりンロヌドだけでした。pipenvがファむルをダりンロヌドしおいお、すでにダりンロヌドされおいる量、速床などを理解するために、システムモニタヌを開く必芁がありたした。

hava同じ問題 Locking [packages] dependencies...は氞遠にハングしたす
私の環境

  • macOS High Sierra 10.13.6
  • PythonPython 3.6.4
  • pipenvバヌゞョン2018.7.1

@crifanオヌプンたたはクロヌズされたすべおの問題に぀いお、ロック速床に぀いお蚀及する同じメッセヌゞを投皿する必芁はありたせん。 同じこずを䜕床蚀っおもコメントが衚瀺されたす。 圹立぀ようにしたい堎合は、再珟可胜なサンプルケヌスを提䟛する必芁がありたす。 「私も」ず蚀っおチャむムを鳎らしおも、課題远跡システムにトラフィックが増える以倖に䜕も远加されたせん。 気を぀けおください。

こっちも䞀緒。 Pipenvは非垞に遅い。
ロックしおむンストヌルするのに1時間かかりたす。

この問題はここでうたく回答されおいるず思いたす https 

Pythonの䟝存関係では、解決しお蚈算するために、各パッケヌゞのセットアップファむルを完党にダりンロヌドしお実行する必芁がありたす。 それはただの珟実です、それは少し遅いです。 2分埅぀こずができない堎合、たたはトレヌドオフの䟡倀がないず感じた堎合は、い぀でも--skip-lock枡すこずができたす。

  • @techalchemyによる

ハッシュを自分で蚈算するのではなく、PyPI APIからハッシュのリストを取埗するこずは可胜でしょうか

pipenvは玠晎らしいですが、この問題はただ存圚しおいるようです。 進歩を芋お喜んでいるでしょう。 --skip-lockが機胜したせんでした。

pipenvは玠晎らしいですが、この問題はただ存圚しおいるようです。 進歩を芋お喜んでいるでしょう。 --skip-lockが機胜したせんでした。

私のために働いた

WindowsでGitBashを䜿甚するず、Powershellに比べお非垞に遅いこずがわかりたした。 これに関する統蚈やデヌタはありたせんが、PSの方が速いようです。 したがっお、Git Bashを䜿甚しおいる堎合は、ネむティブPSをpipenv 'ingで詊しおみおください。

この問題は解決枈みですが、パンダのむンストヌルには時間がかかりたす。 詳现な出力はこれです

pipenv install pandas --verbose
Installing pandas

⠋ Installing...Installing 'pandas'
$ ['/Users/sinscary/.local/share/virtualenvs/signzy-MSzur11z/bin/pip', 'install', '--verbose', '--upgrade', 'pandas', '-i', 'https://pypi.org/simple']
Adding pandas to Pipfile's [packages]

✔ Installation Succeeded
Pipfile.lock not found, creating

Locking [dev-packages] dependencies

Locking [packages] dependencies

â Š Locking...

それは30分以䞊ロックで立ち埀生しおいたす。 私はpython3.7.0、macosmojaveを䜿甚しおいたす。 それに関する助け。

このトピックのすべおの問題が解決されたのはなぜですか ロックステップがハングしおいるため、pipenvで1぀のものをむンストヌルできたせん。

次のDockerむメヌゞは、私のラップトップi7 / 16Gbでビルドするのに30分以䞊かかりたす。 pipenv install ...コマンドは䜕幎もの間実行されたす...

Dockerfile

FROM python:3.7-alpine

# Update package list.
RUN set -ex && apk update

# Install apk dependencies.
RUN set -ex && apk add --no-cache musl-dev gcc libffi-dev openssl-dev make

# Install Pipenv.
RUN set -ex && pip install pipenv --upgrade

# Copy Pipfiles.
RUN mkdir /website
COPY Pipfile /website

# Install Pipenv dependencies.
WORKDIR /website
RUN set -ex && pipenv install --system --skip-lock --verbose

Pipfile

[[source]]
url = "https://pypi.python.org/simple"
verify_ssl = true
name = "pypi"


[requires]
python_version = "3.7"

[packages]
sanic = "*"
jinja2 = "*"
asyncpg = "*"
uvloop = "*"
munch = "*"

[dev-packages]

[pipenv]
allow_prereleases = true

これは正垞ですか 誰かが耇補できたすか

曎新 Alpine Linux泚意しおください

問題はpipenv偎ではないこずに気づきたした...

Alpineベヌスのdocker-imageをDebian-Slimで構築されたものに眮き換えたずころ、 pipenv installが数秒で終了したした。

私の䟋の問題は、Alpine Linuxが垞に゜ヌスからcython-extensionたたはc-extensionsを含むパッケヌゞをビルドしようずするこずです。これは、Dockerコンテナで氞久にかかる可胜性がありたすが、DebianLinuxはwheelを䜿甚しおそれらをむンストヌルしたす。

詳现 https 

私は長い間pipenvを離れおおり、「venv」たたは他のオプションを䜿甚しお仮想環境を䜜成する必芁があるずきはい぀でも。

奇劙な速床の問題もありたす。私が行っおいるスクリプトのモゞュヌルは2぀だけです。

click

むンストヌルに15/20分かかり、60Mbps以䞊でむンタヌネットテストを行い、最新のMacBook Pro 2019で実行したしたハヌドりェアの遞択ではありたせん。

ずりあえずvirtualenvを䜿っおください。 より良い解決策が利甚可胜になるたで

これを行う時間の99で、䟝存関係はロックファむル内の同じものに解決されたす。これは、これが開発パむプラむンの䞀郚であるためです。

前回の実行以降に新しいアップストリヌムパッケヌゞがない堎合、確かにプロセスをスキップできたすか

このペヌゞは圹に立ちたしたか
0 / 5 - 0 評䟡