Nltk: मल्टीप्रोसेसिंग और nltk एक साथ अच्छी तरह से नहीं खेलते हैं

को निर्मित 16 अप्रैल 2015 · 22टिप्पणियाँ · स्रोत: nltk/nltk

ईमानदारी से, यह मुद्दा उतना गंभीर नहीं है जितना कि यह उत्सुक है। मुझे पता चला है कि जब एनएलटीके आयात किया जाता है, तो यह किसी भी कॉल को समय से पहले समाप्त करने के लिए किसी भी पायथन उपप्रकार का कारण होगा। उदाहरण कोड:

from multiprocessing import Process
import nltk
import time


def child_fn():
    print "Fetch URL"
    import urllib2
    print urllib2.urlopen("https://www.google.com").read()[:100]
    print "Done"


while True:
    child_process = Process(target=child_fn)
    child_process.start()
    child_process.join()
    print "Child process returned"
    time.sleep(1)

इसे आयातित NLTK के साथ चलाएं, और आप देखेंगे कि urlopen () कॉल कभी भी निष्पादित नहीं होता है। import nltk लाइन पर टिप्पणी करें, और यह ठीक निष्पादित करता है।

क्यों?

* संपादित करें: यह पायथन 2 के लिए है। मैंने इसे अभी तक 3 पर परीक्षण नहीं किया है।

admin bug inactive multithread / multiprocessing pythonic

स्रोत

oxymor0n

👍1

सबसे उपयोगी टिप्पणी

मैं nltk से अविश्वसनीय रूप से परिचित नहीं हूं, लेकिन मैंने यह देखने के लिए थोड़ा अंधा प्रहार किया कि टेस्ट पास / फेल होने का कारण क्या था। टेस्ट पास करने के लिए मुझे पैकेज __init__.py का करना होगा:

विवरण (विस्तार के लिए क्लिक करें)

###########################################################
# TOP-LEVEL MODULES
###########################################################

# Import top-level functionality into top-level namespace

from nltk.collocations import *
from nltk.decorators import decorator, memoize
# from nltk.featstruct import *
# from nltk.grammar import *
from nltk.probability import *
from nltk.text import *
# from nltk.tree import *
from nltk.util import *
from nltk.jsontags import *

# ###########################################################
# # PACKAGES
# ###########################################################

# from nltk.chunk import *
# from nltk.classify import *
# from nltk.inference import *
from nltk.metrics import *
# from nltk.parse import *
# from nltk.tag import *
from nltk.tokenize import *
from nltk.translate import *
# from nltk.sem import *
# from nltk.stem import *

# Packages which can be lazily imported
# (a) we don't import *
# (b) they're slow to import or have run-time dependencies
#     that can safely fail at run time

from nltk import lazyimport
app = lazyimport.LazyModule('nltk.app', locals(), globals())
chat = lazyimport.LazyModule('nltk.chat', locals(), globals())
corpus = lazyimport.LazyModule('nltk.corpus', locals(), globals())
draw = lazyimport.LazyModule('nltk.draw', locals(), globals())
toolbox = lazyimport.LazyModule('nltk.toolbox', locals(), globals())

# Optional loading

try:
    import numpy
except ImportError:
    pass
else:
    from nltk import cluster

# from nltk.downloader import download, download_shell
# try:
#     from six.moves import tkinter
# except ImportError:
#     pass
# else:
#     try:
#         from nltk.downloader import download_gui
#     except RuntimeError as e:
#         import warnings
#         warnings.warn("Corpus downloader GUI not loaded "
#                       "(RuntimeError during import: %s)" % str(e))

# explicitly import all top-level modules (ensuring
# they override the same names inadvertently imported
# from a subpackage)

# from nltk import ccg, chunk, classify, collocations
# from nltk import data, featstruct, grammar, help, inference, metrics
# from nltk import misc, parse, probability, sem, stem, wsd
# from nltk import tag, tbl, text, tokenize, translate, tree, treetransforms, util

दिलचस्प बात यह है कि सभी अक्षम आयात अंततः tkinter आयात करने के लिए आगे बढ़ते हैं, जो मुझे लगता है कि मूल कारण है। यदि मैं परीक्षण स्क्रिप्ट में import nltk import tkinter import nltk साथ प्रतिस्थापित करता हूं, तो मुझे एक बहुत ही समान दुर्घटना रिपोर्ट मिलती है, दोनों संदर्भित टिंकर।

मैं जो बता सकता हूं, उससे ये पैकेज सीधे tkinter आयात करते हैं:

nltk.app
nltk.draw
nltk.sem

उपरोक्त परिवर्तनों से लेकर मुख्य पैकेज __init__ , ये समस्यात्मक आयात हैं, और वे कैसे टंकी आयात करने के लिए वापस ट्रेस करते हैं

nltk.featstruct ( sem )
nltk.grammar ( featstruct )
nltk.tree ( grammar )
nltk.chunk ( chunk.named_entity > tree )
nltk.parse ( parse.bllip > tree )
nltk.tag ( tag.stanford > parse )
nltk.classify ( classify.senna > tag )
nltk.inference ( inference.discourse > sem , tag )
nltk.stem ( stem.snowball > corpus > corpus.reader.timit > tree )

rpkilby 12 मई 2018

👍3

सभी 22 टिप्पणियाँ

क्या आपको कोई अपवाद मिलता है?

dimazest 16 अप्रैल 2015

नहीं। मैं एक डाल try .. except: चारों ओर खंड import urllib2; print... लेकिन यह कुछ भी न मिला।

oxymor0n 16 अप्रैल 2015

मैं ठीक उसी समस्या में चल रहा हूँ। मैंने अभी एक SO प्रश्न खोला है जो यहां से जुड़े होने के लिए उपयोगी हो सकता है: http://stackoverflow.com/questions/30766419/python-child-process-silently-crashes-when-issuing-an-ttp-request

बच्चे की प्रक्रिया वास्तव में आगे की सूचना के बिना चुपचाप दुर्घटनाग्रस्त हो रही है।

मैं आपसे @ oxymor0n से असहमत

Hiestaa 10 जून 2015

👍1

The child process is indeed crashing silently without further notice.

हम इस मुद्दे को भी अनुभव कर रहे हैं: nltk, gunicorn (प्रीफ़ॉर्क के माध्यम से लोड किए गए nltk के साथ), और फ्लास्क।

Nltk आयात निकालें, और सब कुछ काम करता है। सिवाय nltk।

/ cc @escherba

ninowalker 5 अग॰ 2015

👍2

@ninowalker , @ oxymor0n यह अजीब है, मेरी प्रक्रियाएं कोड के साथ ठीक चलती हैं, मुझे मिलती हैं:

Fetch URL
<!doctype html><html itemscope="" itemtype="http://schema.org/WebPage" lang="de"><head><meta content
Done
Child process returned
Fetch URL
<!doctype html><html itemscope="" itemtype="http://schema.org/WebPage" lang="de"><head><meta content
Done
Child process returned
Fetch URL
<!doctype html><html itemscope="" itemtype="http://schema.org/WebPage" lang="de"><head><meta content
Done
Child process returned
Fetch URL
<!doctype html><html itemscope="" itemtype="http://schema.org/WebPage" lang="de"><head><meta content
Done
Child process returned
Fetch URL
<!doctype html><html itemscope="" itemtype="http://schema.org/WebPage" lang="de"><head><meta content
Done
Child process returned
Fetch URL
<!doctype html><html itemscope="" itemtype="http://schema.org/WebPage" lang="de"><head><meta content
Done
Child process returned
Fetch URL
<!doctype html><html itemscope="" itemtype="http://schema.org/WebPage" lang="de"><head><meta content
Done
Child process returned

यह अपेक्षित आउटपुट है, है ना?

इससे मेरा अनुरोध भी नहीं टूटता:

alvas<strong i="13">@ubi</strong>:~$ python
Python 2.7.6 (default, Jun 22 2015, 17:58:13) 
[GCC 4.8.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> from multiprocessing import Process
>>> import requests
>>> from pprint import pprint
>>> Process(target=lambda: pprint(
...         requests.get('https://api.github.com'))).start()
>>> <Response [200]>

>>> import nltk
>>> Process(target=lambda: pprint(
...         requests.get('https://api.github.com'))).start()
>>> <Response [200]>

मैं उपयोग कर रहा हूं:

अजगर 2.7.6
nltk 3.0.3
ubuntu 14.04

alvations 6 अग॰ 2015

मैं उसी समस्या में भाग गया, जो @Hiestaa के पास थी। मेरे पास सहायक फ़ाइल string_util.python है जो nltk आयात करता है, लेकिन इसका उपयोग मुख्य अजगर फ़ाइल में नहीं किया जाता है जो मल्टी-प्रोसेस क्रॉलर को शुरू करने के लिए मल्टीप्रोसेसिंग मॉड्यूल का उपयोग करता है। लक्षण यह है कि बच्चे की प्रक्रिया बस अटक जाती है और कोई त्रुटि संदेश नहीं है (अपवाद संदेश भी नहीं)।
Nltk- संबंधित आयात और कार्यों पर टिप्पणी करने के बाद, समस्या हल हो गई।

विवरण:
ओएस: योसेमाइट 10.10.5
अजगर: 2.7.10
पृष्ठ की सामग्री पुनः प्राप्त करें: मैंने शुरू में urllib2 का उपयोग किया, फिर बाद में अनुरोधों पर स्विच किया।

यह एक बहुत ही गंभीर बग है, और मुझे आशा है कि कोई इसमें कदम रख सकता है और इसे ठीक कर सकता है। धन्यवाद!

wenbowang 5 मार्च 2016

मुझे लगता है कि यह एक गंभीर समस्या है यदि आप उत्पादन स्तर एनएलपी कर रहे हैं। हम Rq (http://python-rq.org/) श्रमिकों का उपयोग कर रहे हैं, कई एनएलपी पाइपलाइनों को चलाने के लिए, जो नेटवर्क कॉल करते समय चुपचाप मारे जाते हैं। उम्मीद है कि जल्द ही कोई सुधार होगा। धन्यवाद!

sasinda 13 अक्तू॰ 2016

👍2

@ ससिंडा : आप nltk-dev मेलिंग सूची पर एक कॉल डालना पसंद कर सकते हैं यह देखने के लिए कि क्या आप इस मुद्दे पर कुछ ध्यान दे सकते हैं।

stevenbird 13 अक्तू॰ 2016

@sasinda मुझे यकीन नहीं है कि Rq बिल्कुल कैसे काम करता है, लेकिन अपने उत्पादन स्तर NLP प्रोजेक्ट में मैं इस प्रक्रिया को एक अलग और पृथक अजगर इंटरप्रेटर में प्रत्येक प्रक्रिया को शुरू करने के लिए शुरू करने के लिए एक शेल स्क्रिप्ट का उपयोग करके उन्हें हल करने में कामयाब रहा। इस मामले में अजगर को कभी कांटा नहीं लगता है और नेल्टक से मूक दुर्घटना कभी नहीं होती है। शायद इस बीच मदद मिल सकती है।

Hiestaa 13 अक्तू॰ 2016

मैंने पाया है कि फ़ंक्शन स्तर पर आयात करने से समस्या से बचा जाता है।

दूसरे शब्दों में, यह काम करता है:

def split(words):
    import nltk
    return nltk.word_tokenize(words)

और यह नहीं है:

import nltk
def split(words):
    return nltk.word_tokenize(words)

mpenkov 27 दिस॰ 2016

👍2

धन्यवाद @mpenkov। क्या यह समस्या को हल करता है?

stevenbird 4 जन॰ 2017

@stevenbird मुझे ऐसा नहीं लगता। यह एक समाधान है, लेकिन यह एक ठीक नहीं है।

IMHO, यदि किसी थर्ड-पार्टी लाइब्रेरी को आयात करना पायथन स्टैंडर्ड लाइब्रेरी घटक को तोड़ता है, तो कुछ अपवित्र हो रहा है, और इसे ठीक करने की आवश्यकता है।

mpenkov 5 जन॰ 2017

👍1

@mpenkov मुझे पूरी तरह से यकीन नहीं है कि यह क्यों काम करता है, लेकिन यहां एक और समाधान मुझे काम करता है। मूल प्रक्रिया में एक सलामी बल्लेबाज का निर्माण इसे ठीक करने के लिए प्रकट होता है। @ Oxymor0n का मूल कोड संशोधित करना:

from multiprocessing import Process
import nltk
import time
import urllib2

# HACK
urllib2.build_opener(urllib2.HTTPHandler())

def child_fn():
    print "Fetch URL"
    import urllib2
    print urllib2.urlopen("https://www.google.com").read()[:100]
    print "Done"


while True:
    child_process = Process(target=child_fn)
    child_process.start()
    child_process.join()
    print "Child process returned"
    time.sleep(1)

sudowork 5 जन॰ 2017

@mpenkov @ninowalker , @ oxymor0n @sasinda @wenbowang क्या आप सभी अभी भी एक ही मुद्दे का सामना कर रहे हैं?

मैं अपनी मशीन पर समस्या को दोहरा नहीं सकता:

from multiprocessing import Process
import nltk
import time

def child_fn():
    print "Fetch URL"
    import urllib2
    print urllib2.urlopen("https://www.google.com").read()[:100]
    print "Done"


while True:
    child_process = Process(target=child_fn)
    child_process.start()
    child_process.join()
    print "Child process returned"
    time.sleep(1)

मुझे देता है:

Fetch URL
<!doctype html><html itemscope="" itemtype="http://schema.org/WebPage" lang="en-SG"><head><meta cont
Done
Child process returned
Fetch URL
<!doctype html><html itemscope="" itemtype="http://schema.org/WebPage" lang="en-SG"><head><meta cont
Done
Child process returned
Fetch URL
<!doctype html><html itemscope="" itemtype="http://schema.org/WebPage" lang="en-SG"><head><meta cont
Done

मैं चालू हूँ:

पायथन 2.7.12
एनएलटीके 3.2.5
उबंटू 16.04.3

alvations 14 अक्तू॰ 2017

@alvations मुझे इस मुद्दे को
मैं यह भी भूल गया कि किस प्रोजेक्ट का आधार यह समस्या है, इसलिए मैं आपको यह नहीं बता सकता कि मुझे अभी भी समस्या है या नहीं।
माफ़ करना!

wenbowang 14 अक्तू॰ 2017

👍1

@alvations मुझे यह भी याद नहीं है कि मेरी कौन सी परियोजनाएं इस विशिष्ट मुद्दों से पीड़ित हैं।

मैंने आपकी मशीन पर अपना कोड चलाया और समस्या को दोहरा नहीं सका।

पायथन 2.7.12
nltk 3.2.1
macOS 10.12.6

mpenkov 14 अक्तू॰ 2017

👍1

@alvations मैं भी अब उस प्रोजेक्ट पर काम नहीं कर रहा हूं। लेकिन उन वर्कअराउंड में से एक का इस्तेमाल किया।
मैंने आपके कोड की कोशिश की, लेकिन फिर भी मेरे लिए चाइल्ड प्रोसेस सेगमेंट फॉल्ट (एक्जिट कोड 11) से बाहर निकलता है (लाइन पर बाहर निकलता है: urllib2.urlopen ("https://www.google.com") .read () [: 100])

हालांकि यह urllib3 (https://urllib3.readthedocs.io/en/latest/) के साथ काम किया।

nltk (3.2.5)
urllib3 (1.22)
मैक OSX 10.12.16
पायथन 2.7.13 | कॉन्टिनम एनालिटिक्स, इंक (डिफ़ॉल्ट, 20 दिसंबर 2016, 23:05:08)
[GCC 4.2.1 डार्विन पर संगत Apple LLVM 6.0 (क्लैंग -600.0.57)]

sasinda 18 अक्तू॰ 2017

जहां तक मैं बता सकता हूं, यह मुद्दा macOS को प्रभावित करता है। पायथन का उपयोग 3.6 अब तक,

MacOS 10.13 (विफल)
सेंटोस 7.2 (सफल)
Ubuntu 16.04 (सफल)

Python3 के लिए संशोधित ओपी की स्क्रिप्ट:

from multiprocessing import Process
import nltk
import time


def child_fn():
    from urllib.request import urlopen
    print("Fetch URL")
    print(urlopen("https://www.google.com").read()[:100])
    print("Done")


child_process = Process(target=child_fn)
child_process.start()
child_process.join()
print("Child process returned")
time.sleep(1)

आउटपुट:

Fetch URL
Child process returned

उपप्रकार अप्रत्याशित रूप से क्विट करता है, जो इस स्टैक ओवरफ्लो पोस्ट में देखे गए समान आउटपुट प्राप्त करता है।

rpkilby 12 मई 2018

👍1

मुझे लगता है कि यह काफी दिमाग वाला है। यह MacOS पर थ्रेड हैंडलिंग के साथ कुछ करने के लिए हो सकता है।

alvations 12 मई 2018

👍1

विवरण (विस्तार के लिए क्लिक करें)

###########################################################
# TOP-LEVEL MODULES
###########################################################

# Import top-level functionality into top-level namespace

from nltk.collocations import *
from nltk.decorators import decorator, memoize
# from nltk.featstruct import *
# from nltk.grammar import *
from nltk.probability import *
from nltk.text import *
# from nltk.tree import *
from nltk.util import *
from nltk.jsontags import *

# ###########################################################
# # PACKAGES
# ###########################################################

# from nltk.chunk import *
# from nltk.classify import *
# from nltk.inference import *
from nltk.metrics import *
# from nltk.parse import *
# from nltk.tag import *
from nltk.tokenize import *
from nltk.translate import *
# from nltk.sem import *
# from nltk.stem import *

# Packages which can be lazily imported
# (a) we don't import *
# (b) they're slow to import or have run-time dependencies
#     that can safely fail at run time

from nltk import lazyimport
app = lazyimport.LazyModule('nltk.app', locals(), globals())
chat = lazyimport.LazyModule('nltk.chat', locals(), globals())
corpus = lazyimport.LazyModule('nltk.corpus', locals(), globals())
draw = lazyimport.LazyModule('nltk.draw', locals(), globals())
toolbox = lazyimport.LazyModule('nltk.toolbox', locals(), globals())

# Optional loading

try:
    import numpy
except ImportError:
    pass
else:
    from nltk import cluster

# from nltk.downloader import download, download_shell
# try:
#     from six.moves import tkinter
# except ImportError:
#     pass
# else:
#     try:
#         from nltk.downloader import download_gui
#     except RuntimeError as e:
#         import warnings
#         warnings.warn("Corpus downloader GUI not loaded "
#                       "(RuntimeError during import: %s)" % str(e))

# explicitly import all top-level modules (ensuring
# they override the same names inadvertently imported
# from a subpackage)

# from nltk import ccg, chunk, classify, collocations
# from nltk import data, featstruct, grammar, help, inference, metrics
# from nltk import misc, parse, probability, sem, stem, wsd
# from nltk import tag, tbl, text, tokenize, translate, tree, treetransforms, util

मैं जो बता सकता हूं, उससे ये पैकेज सीधे tkinter आयात करते हैं:

nltk.app
nltk.draw
nltk.sem

nltk.featstruct ( sem )
nltk.grammar ( featstruct )
nltk.tree ( grammar )
nltk.chunk ( chunk.named_entity > tree )
nltk.parse ( parse.bllip > tree )
nltk.tag ( tag.stanford > parse )
nltk.classify ( classify.senna > tag )
nltk.inference ( inference.discourse > sem , tag )
nltk.stem ( stem.snowball > corpus > corpus.reader.timit > tree )

rpkilby 12 मई 2018

👍3

धन्यवाद @rpkilby , यह बहुत उपयोगी है!

यह समस्या इस तरह दिखती है https://stackoverflow.com/questions/16745507/tkinter-how-to-use-threads-to-preventing-main-event-loop-from-freezing

मुझे लगता है कि टिंकर काफी समय से हमारे लिए एक दर्द बिंदु रहा है। शायद, यह अच्छा होगा अगर हम इसका विकल्प खोज सकें।

alvations 13 मई 2018

👍1

मैं सहमत हूं। एक छोटी अवधि के समाधान के लिए वर्गों और विधियों कि tkinter की जरूरत के अंदर tkinter आयात को दफनाने के लिए होगा, और इसे उन कार्यक्रमों द्वारा आयात करने से बचें जिन्हें इसकी आवश्यकता नहीं है। हमने पहले ही सुन्न के लिए कुछ ऐसा ही किया है।

stevenbird 13 मई 2018

👍2

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स

Nltk: मल्टीप्रोसेसिंग और nltk एक साथ अच्छी तरह से नहीं खेलते हैं

सबसे उपयोगी टिप्पणी

सभी 22 टिप्पणियाँ

संबंधित मुद्दों