Githubがリポジトリ上の生のコンテンツへのアクセスをダウン/ブロックしているようです。

一方、一時的な解決策は次のようなものです。

PATH_TO_NLTK_DATA=/home/username/nltk_data/
wget https://github.com/nltk/nltk_data/archive/gh-pages.zip
unzip gh-pages.zip
mv nltk_data-gh-pages/ $PATH_TO_NLTK_DATA

現在、 gh-pages.zipをダウンロードし、 nltk_dataディレクトリを置き換えることが、現時点で機能するソリューションです。

nltk_dataを配布する別のチャネルを見つける前に、上記のソリューションを使用してください。

〜不思議なことに、それはnltkユーザーアカウントにのみ影響するようです。 フォークでは正常に機能します： https ：

〜これを行うことも機能します：〜

@alvationsどうもありがとうございました！

このようなコマンドラインダウンロードの代替手段はありますか？
python -m nltk.downloader -d ./nltk_data punkt

@plaihonen python -m nltk.downloader -u https://pastebin.com/raw/D3TBY4Mj punktようなことをすることで、この代替インデックスを使用できるはずです。

@rvauseは完全に機能します。 ありがとうございました！

+1。 これは今朝数時間の驚きでした。 今のところnltkダウンロードを完全にバイパスして行きました

「ユーザーがファイルを要求する帯域幅を非常に大量に消費している」ため、GitHubは現在アクセスをブロックしています。 彼らはまた、S3などのデータパッケージを配布する別の方法を検討する必要があることを示唆しています。

代替インデックスを使用しても、一部のパッケージがまだ機能しないことに気付いた人はいますか？

具体的には、私にとって、stopwordsパッケージは405を提供しますが、他のパッケージ（brown、wordnet、punktなど）は提供しません。

はい、nltkストップワードもダウンロードできません。 > python -m nltk.downloader -u http://nltk.github.com/nltk_data/を実行すると、405エラーが発生します。

ねえ、私はpython -m nltk.downloader stopwordsを実行しようとしていますが、405エラーが発生します。 誰かが私を正しい方向に向けることができますか？

@ dfridman1 @ prakruthi-karuna上記の問題を読んでください。 回避策は次のとおりです。

python -m nltk.downloader -u https://pastebin.com/raw/D3TBY4Mj all

ciシステムでこれを使用するプロジェクトがいくつかあります。 それらすべてを-uパラメーターで更新するのではなく、そのデータを指定する別の方法があります。 多分環境変数または設定ファイル？

@alvationsフォークされたバージョンも禁止されているため、ソリューションが機能しなくなったようです。 これについて現在githubサポートに連絡している人はいますか？

>>> import nltk
>>> dler = nltk.downloader.Downloader('https://pastebin.com/raw/D3TBY4Mj')
>>> dler.download('punkt')
[nltk_data] Downloading package punkt to /home/zeryx/nltk_data...
[nltk_data] Error downloading u'punkt' from
[nltk_data]     <https://raw.githubusercontent.com/alvations/nltk_data
[nltk_data]     /gh-pages/packages/tokenizers/punkt.zip>:   HTTP Error
[nltk_data]     403: Forbidden.
False

連絡先ページからチケットを開いたところです。

GitHubはこの問題を認識しており、取り組んでいるようです。 これが彼らが私に言ったことです：

ご迷惑おかけして申し訳ありません。 過度の使用がGitHubサービスで問題を引き起こしていたため、nltk / nltk_dataリポジトリとそのフォークのraw.githubusercontent.comURLへのリクエストをブロックする必要がありました。 現在、問題の解決に取り組んでいますが、残念ながら現時点ではこれらのリクエストを許可することはできません。

ええ、私もこれを受け取りました：

こんにちはリリング、
私はGitHubのサポートチームで働いていますが、alvations / nltk_dataリポジトリのraw.githubusercontent.comURLsから提供されるファイルへのアクセスを一時的にブロックする必要があることをお知らせします。 現在、ユーザーはそのリポジトリからファイルを要求する非常に大量の帯域幅を消費しており、現時点での唯一のオプションはすべての要求をブロックすることです。 問題を軽減する方法に積極的に取り組んでおり、更新がありましたらフォローアップします。ご不明な点がございましたら、お気軽にお問い合わせください。
乾杯、ショーナ

@zxiirohttps ： //stackoverflow.com/questions/3522372/how-to-config-nltk-data-directory-from-codeを参照してください

@ ewan -klein nltk.downloader.py手直しが必要になります。

いくつかの提案：

• https://zenodo.org/
• https://www.kaggle.com/datasets/new#
• https://github.com/ayemos/akagiおよびhttps://speakerdeck.com/ayemos/make-your-data-grab-and-go

どうやら、データ配信チャネルを変更する以外に選択肢はありません。

こんにちはリリング、
いくつかの追加情報でこれをフォローアップしたかった。 この問題については社内で話し合っており、当面の間、nltk / nltk_dataフォークネットワーク内のリポジトリへのrawアクセスを復元しない可能性が高いです。 問題は、非常に高い頻度でnltk.download（）を呼び出しているマシンが多数あることです。 そのアクティビティが停止するまで、rawアクセスを復元することはできません。このメッセージをnltkコミュニティと自由に共有してください。 これを行っている人は誰でも問題について警告を受け、これを行っているプロセスをすべて停止することを望んでいます。
乾杯、ジェイミー

それらのIPを具体的にブロックするだけでよいと思うでしょう。 しかし、多分それ以上のものがあります。

nltk_dataをダウンロードするDockerイメージはありますが、頻繁に再構築していませんでした。 私はそれらのトラフィックの多いユーザーの一人ではなかったと思います...

githubに依存しないインストールプロセスはありますか？

誰かがAWSでスクリプトを間違って設定した可能性があります。 @everyoneは、データ配信の代替手段を見つける間、インスタンスの確認にご協力ください

こんにちはリリング、
特定の番号を共有することはできませんが、リクエストは多数のAWSインスタンスから送信されています。 スクリプトまたはビルドプロセスがうまくいかなかった可能性があります。 それ以上のことはよくわかりません。
乾杯、ジェイミー

それは安心です。私はAWSを使用していません。

：安心：

コード的には、同じパッケージがnltkdownloader.pyから更新される頻度も変更する必要があるかもしれません。 そうしないと、どの配布チャネルに移行しても、同じサービスの中断が発生します。

たぶん、急流ベースの何かがうまくいくでしょうか？

ライセンスがどのようなものかはわかりませんが、s3で公開することができます： https ：

@alvationsは、/home/username/nltk_data/フォルダーの下に移動する必要がありました。

export PATH_TO_NLTK_DATA=/home/username/nltk_data/
wget https://github.com/nltk/nltk_data/archive/gh-pages.zip
unzip gh-pages.zip
mv nltk_data-gh-pages $PATH_TO_NLTK_DATA
# add below code
mv $PATH_TO_NLTK_DATA/nltk_data-gh-pages/packages/* $PATH_TO_NLTK_DATA/

一時的な回避策はもうありますか？

@ darshanlol @ alvationsは解決策について言及しました。 Dockerを構築しようとしている場合は、次のことがうまくいきました。

ENV PATH_TO_NLTK_DATA $HOME/nltk_data/
RUN apt-get -qq update
RUN apt-get -qq -y install wget
RUN wget https://github.com/nltk/nltk_data/archive/gh-pages.zip
RUN apt-get -y install unzip
RUN unzip gh-pages.zip -d $PATH_TO_NLTK_DATA
# add below code
RUN mv $PATH_TO_NLTK_DATA/nltk_data-gh-pages/packages/* $PATH_TO_NLTK_DATA/

'nltk.downloader.py'のデフォルトのURLを変更しようとしましたが、まだ問題があります。

提案された回避策は機能しなくなりました。

python -m nltk.downloader -u https://pastebin.com/raw/D3TBY4Mj all

現在、これが唯一の有効なソリューションです。

PATH_TO_NLTK_DATA=/home/username/nltk_data/
wget https://github.com/nltk/nltk_data/archive/gh-pages.zip
unzip gh-pages.zip
mv nltk_data-gh-pages/ $PATH_TO_NLTK_DATA

@alvationsが言ったように、これが唯一の実用的な解決策です。

PATH_TO_NLTK_DATA = / home / username / nltk_data /wget https://github.com/nltk/nltk_data/archive/gh-pages.zipgh-pages.zipを解凍しますmv nltk_data-gh-pages / $ PATH_TO_NLTK_DATA

しかし、すべてのページをダウンロードした後でも、NLTKダウンローダーがダウンロードされたすべてのパッケージを検出できなかったため、問題が発生していました。コマンドを使用してダウンロードディレクトリの値を手動で変更する必要がある場合があります。

このページには、NLTKデータパッケージを構成するために使用した適切なコマンドがあります

上記のリンクをクリックして回答してください。

読んで代替案を見つけた後、この問題を解決するためのいくつかの提案があります。

コーパスをパイプ可能にする

• まず、すべてのnltk_dataがパイプ可能になるように変更します。 （したがって、すべての新しい環境では新しいpipのインストールが必要になり、物理ディレクトリに依存しなくなります）
• ダウンロードでバージョンをフェッチして追跡するには、ある種のインデックスも追跡する必要があります。

• 次に、コード、downloader.py、および関連するすべてのコーパスリーダーインターフェイスを何らかの方法でオーバーホールする必要があります。

• おそらくpip制限（PyPI側から）は、高頻度のリクエストで不正なユーザー/マシンを阻止することができます

S3 / Zenodoまたはいくつかのプライベートホストでデータをホストする

これには、index.xml内のリンクを適切なリンクに再リンクするだけで済みます。 Webホストで個々のファイルを設定した後。

しかし、インストール/自動化スクリプトが間違っているためにトラフィックが高いままである場合、あるサービスプロバイダーを別のサービスプロバイダーに盗聴することになります。

他に何か提案はありますか？
これを引き受けたい勇敢な魂はいますか？

@ harigovind511 、ええ、ダウンロードしたnltk_dataフォルダーを、nltkが検索できる標準的な場所のいずれかに配置するか、 nltk.data.pathに追加して検索場所を指定する必要があります。 自動ダウンローダーは、標準の場所を探すだけです。

不正なマシンのレート制限/解決は、これが再び醜い頭をもたげないようにするためにおそらく必要です。 ピップの大きなパッケージに問題（またはタブー）がない限り、私の投票はピップになりますか？

pipを使用すると、手動のnltk.download（）およびコード内のパッケージ管理も解決されます。

ファイルがバックアップされているように見えますか？ しかし、代替の配布メカニズムを模索し続けるのは賢明なようです。 私自身の組織では、社内でのホスティングに移行し、四半期ごとにチェックインする予定ですが

$ PATH_TO_NLTK_DATAの機能を理解したいと思います。 NLTKがデータを取得する場所の代替ローカルダウンロードURLを構成していますか？

NLTKデータのローカルキャッシュを設定したいので、これを設定するとNLTKがオフラインで動作するようになるかどうか疑問に思いました。

問題の根本は帯域幅の乱用であるため、回避策としてnltk_data 。 リソースIDがURL（ @alvations ）にどのようにマップされるかを示して、punktバンドルだけをwgetできるの

長期的な解決策は、初心者ユーザーがデータバンドル全体をフェッチするのを簡単にすることだと思います（チェックしたところ、638MB圧縮されています）。 無意味なダウンロードに浪費するためにより多くの帯域幅を配置する（そして支払う）代わりに、ダウンロードオプションとして"all"を提供するのをやめます。 代わりに、ドキュメントには、不注意なスクリプターが必要とする特定のリソースをダウンロードする方法が示されている必要があります。 それまでの間、stackoverflow（私はあなたを見ています、@ alvations）とダウンローダーのdocstringで、サンプルまたは推奨される使用法としてnltk.download("all") （または同等のもの）を書く習慣から抜け出してください。 （nltkを探索する場合、 nltk.dowload("book")ではなく"all"同様に便利で、はるかに小さくなります。）

現在、どのリソースをダウンロードする必要があるかを判断するのは困難です。 nltkをインストールしてnltk.pos_tag(["hello", "friend"])を試してみると、エラーメッセージをnltk.download(<resource id>)渡すことができるリソースIDにマップする方法がありません。 このような場合、すべてをダウンロードすることは明らかな回避策です。 このような場合にnltk.data.load()またはnltk.data.find()にパッチを適用してリソースIDを検索できるとしたら、 nltk_data使用量は長期的に大幅に減少すると思います。

@zxiiro $PATH_TO_NLTK_DATAはnltkにとって意味がなく、サンプルスクリプトの単なる変数です。 環境変数$NLTK_DATAは特別な意味があります。 http://www.nltk.org/data.htmlを参照して

@alexisdimiはnltk.download('all')同意しました。 申し訳ありませんが、それは私の初期の頃からのとても古い答えでした。 私はそれに反対するべきです。 代わりに、SOの回答をnltk.download('popular')に変更しました： https ：

パッケージに直接wgetを使用する場合の問題の1つは、それがまだgithubの生のコンテンツに依存していることです。 ダウンタイム中、 https：//github.com/nltk/nltk_data/blob/gh-pages/packages/tokenizers/punkt.zipリンクも403/405エラーを引き起こしていました。

したがって、回避策はgitツリー全体をダウンロードすることでした。 振り返ってみると、それは良い考えではないかもしれません。

ロックアウトが解除されたようです、それは素晴らしいことです！ 今、私は将来同様の問題を防ぐために働くいくつかのチケットがあることを願っています（多分私が提案した線に沿っているかもしれませんが、そうではないかもしれません）。

（ちなみに、ダウンロードが再び機能するようになったので、この問題を「クローズ」とマークする必要がありますか？）

@alexisdimiは、ユーザーに適切なモデルをダウンロードするように提案する警告を表示することをお勧めします。

CI環境でNLTKを実行している場合。 ダウンロード用の代替URLを指定できるGH-1795を提案したいと思います。 ここでの考え方は、Webサーバー（またはpython -m http.server）にnltk_dataのローカルコピーをセットアップし、ダウンロードURLをオーバーライドできるグローバル変数を持つことができるというものです。

これは、プロジェクトのローカルコマンド呼び出しを変更せずにオーバーライドして、JenkinsなどのCIシステムからの-uを含めることができるようにするためです。

リリースとpipインストールを使用したpipデータ配布に関するGithubへの質問：

ジェイミー、サポートしてくれてありがとう！

nltk_dataをホストするための代替手段を探しています。その1つは、SpaCyが行う方法と同じようにリポジトリリリースとしてホストすることですhttps://github.com/explosion/spacy-models/releases

リポジトリリリースに対して同様の高頻度のリクエストが行われた場合に同じブロックが実行されるかどうかを確認できますか？ または、リポジトリのリリースはGithubの生のコンテンツとは異なる方法で処理されますか？

よろしく、
ライリング

Github側のいくつかの更新：

こんにちはリリング、

リリースを使用すると、リクエストがインフラストラクチャの別の部分に移動するだけです。 そのボリュームの帯域幅が再び起動した場合、リリースに対するものであっても、それらの要求をブロックする必要があります。

データパッケージをGitHubに残す方法をいくつか考えようとしましたが、正直なところ、良い解決策はありません。 大量のCDNになるように設定されていないだけです。

乾杯、
ジェイミー

@owaaa / @zxiiroCIの内部ホスティングで+1。 現在これを行っています。EC2/ S3ユーザーにとっての利点は、マシンを構築する場所の近くにデータ（または必要なデータのサブセット）を配置できることです。 アベイラビリティーゾーンにまたがっている場合は、必要な場所にバケットを複製するだけで、AWSの外部で起こっていることにさらに堅牢になります。

@alvations私はspaCyの_data / model as package_アイデアがとても好きですが、結果の1つは、 virtualenvを使用すると、パッケージがそこにあるときに環境ディレクトリのサイズが膨らむ可能性があることです。 もちろん、これにより、完全に分離された監査可能なデータ/モデルバージョンが購入されます。これは、spaCyのようにモデルが頻繁に更新されるプロジェクトにとっては価値がありますが、無料のランチではありません😕