ऐसा लगता है जैसे गितुब रेपो पर कच्चे माल तक पहुंच को अवरुद्ध / अवरुद्ध कर रहा है।

इस बीच अस्थायी समाधान कुछ इस तरह है:

PATH_TO_NLTK_DATA=/home/username/nltk_data/
wget https://github.com/nltk/nltk_data/archive/gh-pages.zip
unzip gh-pages.zip
mv nltk_data-gh-pages/ $PATH_TO_NLTK_DATA

वर्तमान में gh-pages.zip डाउनलोड करना और nltk_data निर्देशिका को प्रतिस्थापित करना अब के लिए कार्यशील समाधान है।

इससे पहले कि हम nltk_data वितरित करने के लिए किसी अन्य चैनल पर मिलें, कृपया उपरोक्त समाधान का उपयोग करें।

~ अजीब, यह केवल nltk उपयोगकर्ता खाते को प्रभावित करता है। यह कांटा पर ठीक काम करता है: https://raw.githubusercontent.com/alvations/nltk_data/gh-pages/index.xml~

~ ऐसा करना भी काम करेगा: ~

@alvations बहुत बहुत धन्यवाद!

क्या इस तरह कमांड लाइन डाउनलोड का कोई विकल्प है?
python -m nltk.downloader -d ./nltk_data punkt

@plaihonen आपको python -m nltk.downloader -u https://pastebin.com/raw/D3TBY4Mj punkt जैसा कुछ करके इस वैकल्पिक सूचकांक का उपयोग करने में सक्षम होना चाहिए

@ श्रवण पूरी तरह से काम करता है। धन्यवाद!

+1। आज सुबह कई घंटे आश्चर्य हुआ। अब के लिए पूरी तरह से nltk डाउनलोड को दरकिनार करके चला गया

GitHub वर्तमान में पहुंच को रोक रहा है क्योंकि "एक उपयोगकर्ता बड़ी मात्रा में बैंडविड्थ का अनुरोध कर रहा है जो फ़ाइलों का अनुरोध कर रहा है"। उन्होंने यह भी सुझाव दिया है कि हमें डेटा पैकेजों के वितरण के एक अलग तरीके पर ध्यान देना चाहिए, जैसे एस 3।

वैकल्पिक सूचकांक के साथ भी, किसी को भी लगता है कि कुछ पैकेज अभी भी काम नहीं करते हैं?

विशेष रूप से, मेरे लिए, स्टॉपवार्ड पैकेज मुझे 405 देता है, अन्य (भूरा, वर्डनेट, पंकट, आदि) नहीं करते हैं।

हाँ, Im nltk stopwords को डाउनलोड करने में सक्षम नहीं है। जब मैं करता हूं मुझे 405 त्रुटि मिलती है> python -m nltk.downloader -u http://nltk.github.com/nltk_data/

अरे, मैं python -m nltk.downloader stopwords चलाने की कोशिश कर रहा हूं, लेकिन 405 त्रुटि हो रही है। क्या कोई मुझे सही दिशा दिखा सकता है?

@ dfridman1 @ prakruthi-karuna ने उपरोक्त मुद्दे को पढ़ा। आसपास काम है:

python -m nltk.downloader -u https://pastebin.com/raw/D3TBY4Mj all

हमारे ci सिस्टम में इसका उपयोग करते हुए हमारे पास कुछ प्रोजेक्ट हैं। -U पैरामीटर के साथ उन सभी को अपडेट करने के बजाय एक और तरीका है जिससे हम उस डेटा को निर्दिष्ट कर सकते हैं। शायद एक पर्यावरण चर या विन्यास फ़ाइल?

@alvations ऐसा लगता है कि आपका समाधान अब काम नहीं करता क्योंकि

>>> import nltk
>>> dler = nltk.downloader.Downloader('https://pastebin.com/raw/D3TBY4Mj')
>>> dler.download('punkt')
[nltk_data] Downloading package punkt to /home/zeryx/nltk_data...
[nltk_data] Error downloading u'punkt' from
[nltk_data]     <https://raw.githubusercontent.com/alvations/nltk_data
[nltk_data]     /gh-pages/packages/tokenizers/punkt.zip>:   HTTP Error
[nltk_data]     403: Forbidden.
False

मैंने अभी संपर्क पृष्ठ के माध्यम से उनके साथ एक टिकट खोला है।

ऐसा लगता है कि GitHub जागरूक है और इस मुद्दे पर काम कर रहा है। यहाँ उन्होंने मुझसे क्या कहा:

परेशानी के लिए खेद हैं। हमें nltk / nltk_data रेपो और इसके कांटे के लिए raw.githubusercontent.com URL के अनुरोधों को रोकना पड़ा क्योंकि अत्यधिक उपयोग GitHub सेवा के साथ समस्या पैदा कर रहा था। हम समस्या को हल करने के लिए काम कर रहे हैं, लेकिन दुर्भाग्य से हम इस समय उन अनुरोधों की अनुमति नहीं दे सकते।

हाँ, मुझे यह भी मिला है:

हाय अस्तर,
मैं GitHub में सपोर्ट टीम पर काम करता हूं, और मैं आपको सूचित करना चाहता था कि हमें अल्वेशन / nltk_datao के लिए कच्चे। Githubusercontent.comURL से दी जा रही फाइलों तक पहुंच को अस्थायी रूप से रोकना है। वर्तमान में, एक उपयोगकर्ता उस रेपो से फ़ाइलों का अनुरोध करने वाले बैंडविड्थ की एक बड़ी मात्रा का उपभोग कर रहा है, और इस समय हमारा एकमात्र विकल्प सभी अनुरोधों को अवरुद्ध करना है। हमने समस्या को कम करने के तरीकों पर सक्रिय रूप से काम किया है, और जब हमारे पास अपडेट होगा, तो हम आपके साथ अनुसरण करेंगे। कृपया हमें बताएं कि क्या आपका कोई प्रश्न है।
चीयर्स, शवाना

@zxiiro देखें https://stackoverflow.com/questions/3522372/how-to-config-nltk-data-directory-from-code

@ ewan-klein @stevenbird मुझे लगता है कि हमें डेटा वितरित करने के लिए एक नए तरीके की आवश्यकता है, लेकिन इसके लिए nltk.downloader.py कुछ कार्यों की आवश्यकता होगी।

कुछ सुझाव:

• https://zenodo.org/
• https://www.kaggle.com/datasets/new#
• https://github.com/ayemos/akagi और https://speakerdeck.com/ayemos/make-your-data-grab-and-go

लगता है, हमारे पास डेटा वितरण चैनल को बदलने के अलावा कोई विकल्प नहीं है:

हाय अस्तर,
कुछ अतिरिक्त जानकारी के साथ इस पर चलना चाहता था। हम इस मुद्दे पर आंतरिक रूप से चर्चा कर रहे हैं, और यह अत्यधिक संभावना है कि हम भविष्य के भविष्य के लिए nltk / nltk_data कांटा नेटवर्क में रिपोज के लिए कच्ची पहुंच बहाल नहीं करेंगे। मुद्दा यह है कि बहुत अधिक आवृत्ति पर nltk.download () कॉल करने वाली कई मशीनें हैं। हम उस गतिविधि को रोकने तक कच्ची पहुंच को पुनर्स्थापित नहीं कर सकते। इस संदेश को nltk समुदाय के साथ साझा करने के लिए स्वतंत्र रहें। हम उम्मीद कर रहे हैं कि जो कोई भी ऐसा कर रहा है वह समस्या के प्रति सतर्क हो जाएगा, और जो भी प्रक्रिया यह कर रही है उसे रोक दें।
चीयर्स, जेमी

एक को लगता है कि वे विशेष रूप से उन आईपी को ब्लॉक कर सकते हैं। लेकिन शायद इससे कहीं ज्यादा है।

मेरी एक डॉकटर छवि है जो nltk_data डाउनलोड करती है, लेकिन मैं इसे बार-बार पुनर्निर्माण नहीं कर रहा था। मुझे आशा है कि मैं उन उच्च यातायात उपयोगकर्ताओं में से एक नहीं था ...

क्या कोई स्थापना प्रक्रिया है जो गितुब पर भरोसा नहीं करती है?

हो सकता है कि किसी ने अपनी स्क्रिप्ट को AWS पर गलत तरीके से कॉन्फ़िगर किया हो। @everyone कृपया अपने उदाहरणों को जांचने में मदद करें, जबकि हम डेटा वितरण का विकल्प

हाय अस्तर,
हम विशिष्ट संख्याओं को साझा नहीं कर सकते हैं, हालांकि अनुरोध बड़ी संख्या में AWS उदाहरणों से आ रहे हैं। हमें संदेह है कि यह एक स्क्रिप्ट हो सकती है या निर्माण प्रक्रिया गड़बड़ा गई है। हम उससे आगे नहीं जानते।
चीयर्स, जेमी

वैसे यह एक राहत की बात है, मैं AWS का उपयोग नहीं करता।

:कार्य मुक्त:

कोड-वार, शायद हम बदल सकते हैं कि एक ही पैकेज को कितनी बार nltk downloader.py से अपडेट किया जा रहा है। अन्यथा कोई फर्क नहीं पड़ता कि हम किस वितरण चैनल पर माइग्रेट करते हैं, वही सेवा व्यवधान होगा।

शायद कुछ धार-आधारित काम करेगा?

यह निश्चित नहीं है कि लाइसेंस कैसा है, लेकिन आप उन्हें s3 पर सार्वजनिक कर सकते हैं: https://aws.amazon.com/datasets/

@alvations लगता है केवल gzip डाउनलोड अभी के लिए काम करता है। और संकुल को /home/username/nltk_data/ फ़ोल्डर के अंतर्गत ले जाने की आवश्यकता है।

export PATH_TO_NLTK_DATA=/home/username/nltk_data/
wget https://github.com/nltk/nltk_data/archive/gh-pages.zip
unzip gh-pages.zip
mv nltk_data-gh-pages $PATH_TO_NLTK_DATA
# add below code
mv $PATH_TO_NLTK_DATA/nltk_data-gh-pages/packages/* $PATH_TO_NLTK_DATA/

क्या हमारे पास अभी तक कोई अस्थायी काम है?

@darshanlol @alvations ने एक समाधान का उल्लेख किया। यदि आप एक डॉकटर बनाने की कोशिश कर रहे हैं, तो निम्नलिखित मेरे लिए काम करते हैं:

ENV PATH_TO_NLTK_DATA $HOME/nltk_data/
RUN apt-get -qq update
RUN apt-get -qq -y install wget
RUN wget https://github.com/nltk/nltk_data/archive/gh-pages.zip
RUN apt-get -y install unzip
RUN unzip gh-pages.zip -d $PATH_TO_NLTK_DATA
# add below code
RUN mv $PATH_TO_NLTK_DATA/nltk_data-gh-pages/packages/* $PATH_TO_NLTK_DATA/

मैं डिफ़ॉल्ट यूआरएल को 'nltk.downloader.py' में बदलने की कोशिश करता हूं। लेकिन अभी भी समस्या मौजूद है।

अब सुझाया गया वर्कअराउंड काम नहीं कर रहा है:

python -m nltk.downloader -u https://pastebin.com/raw/D3TBY4Mj सभी

वर्तमान में यह एकमात्र कार्यशील समाधान है:

PATH_TO_NLTK_DATA=/home/username/nltk_data/
wget https://github.com/nltk/nltk_data/archive/gh-pages.zip
unzip gh-pages.zip
mv nltk_data-gh-pages/ $PATH_TO_NLTK_DATA

जैसा कि @alvations ने कहा कि यह एकमात्र कार्यशील समाधान है।

PATH_TO_NLTK_DATA = / होम / उपयोगकर्ता नाम / nltk_data /wget https://github.com/nltk/nltk_data/archive/gh-pages.zipunzip gh-pages.zipmv nltk_data-gh-pages / $ PATH_TO_NLTK_DATA

लेकिन सभी पृष्ठों को डाउनलोड करने के बाद भी मैं मुद्दों का सामना कर रहा था क्योंकि मेरा एनएलटीके डाउनलोडर डाउनलोड किए गए सभी पैकेजों का पता लगाने में सक्षम नहीं था, इसके लिए आपको मैन्युअल रूप से कमांड के माध्यम से डाउनलोड निर्देशिका मान को बदलना पड़ सकता है।

इस पृष्ठ में उचित कमांड है जिसका उपयोग मैंने एनएलटीके डेटा पैकेजों को कॉन्फ़िगर करने के लिए किया था

उत्तर के लिए उपरोक्त लिंक पर क्लिक करें।

आसपास पढ़ने और विकल्प खोजने के बाद इस समस्या को हल करने के लिए कुछ प्रस्ताव दिए गए हैं।

कॉर्पोरा को पीने योग्य बनाएं

• पहले, हम इसे ऐसे बदलेंगे कि सभी nltk_data पाइप-सक्षम हों। (इसलिए हर नए वातावरण के लिए एक नई पाइप स्थापित करने की आवश्यकता होगी और हम अब भौतिक निर्देशिका पर भरोसा नहीं करते हैं)
• हमें संस्करणों को लाने और ट्रैक करने के लिए कुछ प्रकार के सूचकांक का भी ध्यान रखना होगा।

• फिर हमें कोड, डाउनलोडरहोम और सभी संबंधित कॉर्पस रीडर इंटरफ़ेस पर कुछ प्रकार के ओवरहाल की आवश्यकता है

• संभवतः pip सीमाएं (PyPI की ओर से) दुष्ट उपयोगकर्ताओं / मशीनों को उच्च आवृत्ति अनुरोधों के साथ रोक सकती हैं

डेटा को S3 / Zenodo या कुछ निजी होस्ट पर होस्ट करना

इसके लिए हमें इंडेक्स.एक्सएमएल में लिंक को केवल उचित लिंक से रिंकल करना होगा। वेब होस्ट पर अलग-अलग फ़ाइलों को सेट करने के बाद।

लेकिन अगर कुछ इंस्टॉलेशन / ऑटोमेशन स्क्रिप्ट गलत होने के कारण ट्रैफिक अधिक रहता है, तो हम एक सर्विस प्रोवाइडर को दूसरे पर बैन लगाते हैं।

कोई अन्य सुझाव?
कोई बहादुर आत्मा जो इस पर लेना चाहती है?

@ harigovind511 , हाँ, आपको या तो डाउनलोड किए गए nltk_data फ़ोल्डर को उन मानक स्थानों में से एक में रखना होगा जहाँ nltk इसे देखना चाहता है, या nltk.data.path को यह बताने के लिए अपील करता है कि इसे कहाँ देखना है। स्वचालित डाउनलोडर सिर्फ एक मानक स्थान की तलाश करता है।

बदमाश मशीनों के लिए दर सीमित / हल करना शायद यह जरूरी है कि यह फिर से अपने बदसूरत सिर को पीछे न करे। मेरा वोट पाइप के लिए होगा जब तक कि पाइप पर बड़े पैकेज के साथ कुछ समस्या (या वर्जित) नहीं है?

पाइप का उपयोग करना मैनुअल nltk.download () और इन-कोड पैकेज प्रबंधन को भी हल करेगा।

फाइलें वापस लगती हैं? लगता है हालांकि वैकल्पिक वितरण तंत्र की तलाश जारी है। अपने स्वयं के संगठन में हालांकि हम आंतरिक रूप से होस्टिंग की ओर बढ़ने और तिमाही में जांच करने की योजना बना रहे हैं

मैं समझना चाहता हूं कि $ PATH_TO_NLTK_DATA क्या करता है। क्या यह एक वैकल्पिक स्थानीय डाउनलोड URL को कॉन्फ़िगर कर रहा है जहां NLTK का डेटा है?

मैं एनएलटीके डेटा का एक स्थानीय कैश सेटअप करना चाहता हूं इसलिए अगर मैं यह सोच रहा था कि क्या यह एनएलटीके ऑफ़लाइन काम करता है?

चूंकि समस्या की जड़ बैंडविड्थ का दुरुपयोग है, इसलिए यह काम के आसपास के रूप में पूरे nltk_data पेड़ के मैनुअल लाने @alvations में संसाधन आईडी कैसे मैप करते हैं, इसलिए मैं उदाहरण के लिए wget punkt बंडल कर सकता हूं?

दीर्घकालिक समाधान, मेरा मानना ​​है कि उपयोगकर्ताओं को संपूर्ण डेटा बंडल (638MB संपीड़ित, जब मैंने जाँच किया) प्राप्त करने के लिए शुरुआत में इसे कम तुच्छ बनाना है। व्यर्थ डाउनलोड पर बर्बाद करने के लिए और अधिक बैंडविड्थ की व्यवस्था करने (और भुगतान करने) के बजाय, "all" एक डाउनलोड विकल्प के रूप में प्रदान करना बंद करें; इसके बजाय दस्तावेज़ीकरण को असंगत चाल दिखाना चाहिए कि उन्हें किस विशिष्ट संसाधन को डाउनलोड करना है। और इस बीच, स्टैम्पओवरफ़्लो (मैं आपको देख रहा हूं, @alvations) और डाउनलोडर डॉकस्ट्रिंग्स में nltk.download("all") (या समतुल्य) को नमूना या अनुशंसित उपयोग के रूप में लिखने की आदत से बाहर निकलता हूं। (Nltk की खोज के लिए, nltk.dowload("book") , "all" , बस उतना ही छोटा और अधिक उपयोगी है।)

वर्तमान में यह पता लगाना मुश्किल है कि किस संसाधन को डाउनलोड करने की आवश्यकता है; यदि मैं nltk स्थापित करता हूं और nltk.pos_tag(["hello", "friend"]) प्रयास करता हूं, तो संसाधन आईडी में त्रुटि संदेश को मैप करने का कोई तरीका नहीं है जिसे मैं nltk.download(<resource id>) पास कर सकता हूं। सब कुछ डाउनलोड करना इस तरह के मामलों का स्पष्ट कार्य है। यदि ऐसे मामलों में संसाधन आईडी को देखने के लिए nltk.data.load() या nltk.data.find() जा सकते हैं, तो मुझे लगता है कि आप nltk_data पर अपने उपयोग को दीर्घकालिक रूप से काफी नीचे जाते देखेंगे।

@zxiiro $PATH_TO_NLTK_DATA का nltk से कोई मतलब नहीं है, यह नमूना स्क्रिप्ट में केवल एक चर है। पर्यावरण चर $NLTK_DATA का विशेष अर्थ है। Http://www.nltk.org/data.html देखें, सभी विकल्पों को समझाया गया है।

@alexisdimi ने nltk.download('all') पर सहमति व्यक्त की। क्षमा करें कि मेरे शुरुआती दिनों से ऐसा पुराना उत्तर था। मुझे इसके खिलाफ सलाह देनी चाहिए। मैंने SO उत्तर को nltk.download('popular') बदले में बदल दिया है: https://stackoverflow.com/questions/22211525/how-do-i-download-nltk-data

सीधे पैकेज में wget की समस्या यह है कि यह अभी भी गीथब पर कच्चे माल पर निर्भर है। डाउन समय के दौरान, https://github.com/nltk/nltk_data/blob/gh-pages/packages/tokenizers/punkt.zip लिंक भी 403/405 त्रुटि के लिए अग्रणी था।

इस प्रकार चारों ओर का काम पूरे गिट पेड़ को डाउनलोड कर रहा था। पूर्वव्यापी में, यह एक अच्छा विचार नहीं हो सकता है।

लगता है कि तालाबंदी हटा दी गई है, यह बहुत अच्छा है! अब मुझे उम्मीद है कि कुछ टिकट हैं जो भविष्य में इसी तरह की समस्याओं को रोकने की दिशा में काम करेंगे (शायद मेरे द्वारा सुझाई गई लाइनों के साथ, शायद नहीं)।

(क्या _this_ मुद्दे को "बंद" चिह्नित किया जाना चाहिए, वैसे, अब डाउनलोड फिर से काम करते हैं?)

@alexisdimi चेतावनी देना जो उपयोगकर्ताओं को उचित मॉडल डाउनलोड करने का सुझाव देता है, एक अच्छा विचार है।

एक एनआई वातावरण में एनएलटीके चलाने वालों के लिए। मैं GH-1795 का प्रस्ताव करना चाहता हूं जो डाउनलोड के लिए वैकल्पिक URL निर्दिष्ट करने की अनुमति देता है। यहाँ एक विचार यह है कि एक वेबसर्वर (या यहां तक ​​कि pmthon -m http.server) पर nltk_data की एक स्थानीय प्रति सेटअप कर सकते हैं और फिर एक वैश्विक चर है जो डाउनलोड URL को ओवरराइड कर सकते हैं।

ऐसा इसलिए है कि हम जेनकिन्स जैसे CI सिस्टम से -u को शामिल करने के लिए परियोजनाओं को संशोधित करने के बिना ओवरराइड कर सकते हैं।

रिलीज और पाइप स्थापना का उपयोग करके पाइप डेटा वितरण के बारे में गितुब का प्रश्न:

समर्थन के लिए जेमी धन्यवाद!

हम nltk_data को होस्ट करने के विकल्प की तलाश कर रहे हैं और उनमें से एक को रिपॉजिटरी रिलीज़ के रूप में होस्ट करना है जैसे कि स्पासी कैसे करता है https://github.com/explosion/spacy-models/releases

क्या हम आपके साथ जांच कर सकते हैं कि क्या समान ब्लॉक को निष्पादित किया जाएगा यदि समान उच्च आवृत्ति अनुरोध रिपॉजिटरी रिलीज के लिए किए गए थे? या गितुब पर कच्चे माल से अलग तरीके से इलाज किया गया रिलीज है?

सादर,
अस्तर

Github की ओर से कुछ अपडेट:

हाय अस्तर,

रिलीज़ का उपयोग करना हमारे अनुरोधों को हमारे बुनियादी ढांचे के एक अलग हिस्से में ले जाता है। यदि बैंडविड्थ की मात्रा फिर से शुरू होनी थी, तो हमें अभी भी उन अनुरोधों को रोकना होगा, भले ही वे रिहा ही क्यों न हों।

हमने कुछ तरीकों के बारे में सोचने की कोशिश की है कि डेटा पैकेज GitHub पर बने रह सकते हैं, लेकिन ईमानदारी से एक अच्छा समाधान नहीं है। हम सिर्फ एक उच्च मात्रा CDN होने के लिए सेट नहीं हैं।

चीयर्स,
जेमी

CI के लिए आंतरिक रूप से होस्ट करने पर @owaaa / @zxiiro +1। अब हम यह कर रहे हैं, और EC2 / S3 उपयोगकर्ताओं के लिए लाभ यह है कि आप डेटा (या इसके लिए आपको आवश्यक उपसमूह) डालते हैं जहाँ आप मशीनों का निर्माण करना चाहते हैं। यदि आप उपलब्धता क्षेत्रों में हैं, तो आप बस बाल्टी को दोहरा सकते हैं, जहाँ आपकी ज़रूरत है और AWS के बाहर क्या हो रहा है, इसके लिए और अधिक मजबूत होना चाहिए।

@alvations मैं virtualenv , तो आपके पैकेज के जीवन के रूप में आपकी पर्यावरण निर्देशिकाएं गुब्बारे में बदल सकती हैं। बेशक, यह आपको पूरी तरह से अलग और श्रव्य डेटा / मॉडल संस्करणों को खरीदता है, जो कि स्पासी जैसे लगातार मॉडल अपडेट के साथ एक परियोजना के लिए मूल्यवान है, लेकिन मुफ्त लंच नहीं ys