Nltk: 다중 처리와 nltk가 함께 잘 작동하지 않습니다.

에 만든 2015년 04월 16일 · 22코멘트 · 출처: nltk/nltk

솔직히이 문제는 호기심만큼 심각하지 않습니다. NLTK를 가져올 때 모든 Python 하위 프로세스가 네트워크 호출에서 조기에 종료된다는 것을 발견했습니다. 예제 코드 :

from multiprocessing import Process
import nltk
import time


def child_fn():
    print "Fetch URL"
    import urllib2
    print urllib2.urlopen("https://www.google.com").read()[:100]
    print "Done"


while True:
    child_process = Process(target=child_fn)
    child_process.start()
    child_process.join()
    print "Child process returned"
    time.sleep(1)

가져온 NLTK로 실행하면 urlopen () 호출이 실행되지 않는 것을 볼 수 있습니다. import nltk 줄을 주석 처리하면 제대로 실행됩니다.

왜?

* 편집 : 이것은 Python 2 용입니다. 아직 3에서 테스트하지 않았습니다.

admin bug inactive multithread / multiprocessing pythonic

출처

oxymor0n

👍1

가장 유용한 댓글

나는 nltk에 대해 믿을 수 없을 정도로 익숙하지 않지만 테스트가 통과 / 실패한 원인을 확인하기 위해 약간 눈을 멀게했다. 테스트를 통과하기 위해 __init__.py 패키지에 수행해야하는 작업은 다음과 같습니다.

세부 정보 (확장하려면 클릭)

###########################################################
# TOP-LEVEL MODULES
###########################################################

# Import top-level functionality into top-level namespace

from nltk.collocations import *
from nltk.decorators import decorator, memoize
# from nltk.featstruct import *
# from nltk.grammar import *
from nltk.probability import *
from nltk.text import *
# from nltk.tree import *
from nltk.util import *
from nltk.jsontags import *

# ###########################################################
# # PACKAGES
# ###########################################################

# from nltk.chunk import *
# from nltk.classify import *
# from nltk.inference import *
from nltk.metrics import *
# from nltk.parse import *
# from nltk.tag import *
from nltk.tokenize import *
from nltk.translate import *
# from nltk.sem import *
# from nltk.stem import *

# Packages which can be lazily imported
# (a) we don't import *
# (b) they're slow to import or have run-time dependencies
#     that can safely fail at run time

from nltk import lazyimport
app = lazyimport.LazyModule('nltk.app', locals(), globals())
chat = lazyimport.LazyModule('nltk.chat', locals(), globals())
corpus = lazyimport.LazyModule('nltk.corpus', locals(), globals())
draw = lazyimport.LazyModule('nltk.draw', locals(), globals())
toolbox = lazyimport.LazyModule('nltk.toolbox', locals(), globals())

# Optional loading

try:
    import numpy
except ImportError:
    pass
else:
    from nltk import cluster

# from nltk.downloader import download, download_shell
# try:
#     from six.moves import tkinter
# except ImportError:
#     pass
# else:
#     try:
#         from nltk.downloader import download_gui
#     except RuntimeError as e:
#         import warnings
#         warnings.warn("Corpus downloader GUI not loaded "
#                       "(RuntimeError during import: %s)" % str(e))

# explicitly import all top-level modules (ensuring
# they override the same names inadvertently imported
# from a subpackage)

# from nltk import ccg, chunk, classify, collocations
# from nltk import data, featstruct, grammar, help, inference, metrics
# from nltk import misc, parse, probability, sem, stem, wsd
# from nltk import tag, tbl, text, tokenize, translate, tree, treetransforms, util

흥미롭게도 모든 비활성화 된 수입은 궁극적으로 tkinter 수입으로 돌아가는데 이것이 근본 원인 import nltk 를 import tkinter 로 바꾸면 tkinter를 참조하는 매우 유사한 충돌 보고서가 표시됩니다.

내가 알 수 있듯이이 패키지는 tkinter 직접 가져옵니다.

nltk.app
nltk.draw
nltk.sem

위의 기본 패키지 __init__ 변경 사항에서 문제가있는 가져 오기와 tkinter 가져 오기를 추적하는 방법

nltk.featstruct ( sem )
nltk.grammar ( featstruct )
nltk.tree ( grammar )
nltk.chunk ( chunk.named_entity > tree )
nltk.parse ( parse.bllip > tree )
nltk.tag ( tag.stanford > parse )
nltk.classify ( classify.senna > tag )
nltk.inference ( inference.discourse > sem , tag )
nltk.stem ( stem.snowball > corpus > corpus.reader.timit > tree )

rpkilby 에 2018년 05월 12일

👍3

모든 22 댓글

예외가 있습니까?

dimazest 에 2015년 04월 16일

아니. import urllib2; print... 주위에 try .. except: 절을 두었지만 아무것도 얻지 못했습니다.

oxymor0n 에 2015년 04월 16일

나는 똑같은 문제에 직면하고 있습니다. 여기에 링크하는 데 유용 할 수있는 SO 질문을 방금 열었습니다. http://stackoverflow.com/questions/30766419/python-child-process-silently-crashes-when-issuing-an-http-request

자식 프로세스는 실제로 추가 통지없이 조용히 충돌합니다.

@ oxymor0n에 동의하지

Hiestaa 에 2015년 06월 10일

👍1

The child process is indeed crashing silently without further notice.

nltk, gunicorn (prefork를 통해로드 된 nltk 포함) 및 flask의 조합에서도이 문제가 발생합니다.

nltk 가져 오기를 제거하면 모든 것이 작동합니다. nltk를 제외하고.

/ cc @escherba

ninowalker 에 2015년 08월 05일

👍2

@ninowalker , @ oxymor0n 이상합니다. 내 프로세스가 코드로 잘 실행됩니다.

Fetch URL
<!doctype html><html itemscope="" itemtype="http://schema.org/WebPage" lang="de"><head><meta content
Done
Child process returned
Fetch URL
<!doctype html><html itemscope="" itemtype="http://schema.org/WebPage" lang="de"><head><meta content
Done
Child process returned
Fetch URL
<!doctype html><html itemscope="" itemtype="http://schema.org/WebPage" lang="de"><head><meta content
Done
Child process returned
Fetch URL
<!doctype html><html itemscope="" itemtype="http://schema.org/WebPage" lang="de"><head><meta content
Done
Child process returned
Fetch URL
<!doctype html><html itemscope="" itemtype="http://schema.org/WebPage" lang="de"><head><meta content
Done
Child process returned
Fetch URL
<!doctype html><html itemscope="" itemtype="http://schema.org/WebPage" lang="de"><head><meta content
Done
Child process returned
Fetch URL
<!doctype html><html itemscope="" itemtype="http://schema.org/WebPage" lang="de"><head><meta content
Done
Child process returned

그게 예상되는 결과 죠?

이것도 내 요청을 깨지 않습니다.

alvas<strong i="13">@ubi</strong>:~$ python
Python 2.7.6 (default, Jun 22 2015, 17:58:13) 
[GCC 4.8.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> from multiprocessing import Process
>>> import requests
>>> from pprint import pprint
>>> Process(target=lambda: pprint(
...         requests.get('https://api.github.com'))).start()
>>> <Response [200]>

>>> import nltk
>>> Process(target=lambda: pprint(
...         requests.get('https://api.github.com'))).start()
>>> <Response [200]>

나는 사용하고있다 :

파이썬 2.7.6
nltk 3.0.3
우분투 14.04

alvations 에 2015년 08월 06일

@Hiestaa 와 동일한 문제가 발생했습니다. nltk를 가져 오는 도우미 파일 string_util.python이 있지만 다중 프로세스 크롤러를 시작하기 위해 다중 처리 모듈을 사용하는 기본 Python 파일에서는 사용되지 않습니다. 증상은 자식 프로세스가 막히고 오류 메시지 (예외 메시지도 아님)가 없다는 것입니다.
nltk 관련 가져 오기 및 함수를 주석 처리 한 후 문제가 해결되었습니다.

세부:
운영체제 : Yosemite 10.10.5
Python : 2.7.10
페이지 콘텐츠 검색 : 처음에는 urllib2를 사용한 다음 나중에 요청으로 전환했습니다.

이것은 매우 심각한 버그이며 누군가가 개입하여 수정할 수 있기를 바랍니다. 감사!

wenbowang 에 2016년 03월 05일

프로덕션 수준의 NLP를 수행하는 경우 이것이 심각한 문제라고 생각합니다. 우리는 Rq (http://python-rq.org/) 작업자를 사용하여 여러 NLP 파이프 라인을 실행합니다. 네트워크 호출을 할 때 조용히 죽습니다. 곧 수정되기를 바랍니다. 감사!

sasinda 에 2016년 10월 13일

👍2

@sasinda : nltk-dev 메일 링리스트에 전화를 걸어이 문제에 대해 관심을 가질 수 있는지 알아보세요.

stevenbird 에 2016년 10월 13일

@sasinda Rq가 정확히 어떻게 작동하는지 잘 모르겠지만 프로덕션 수준의 NLP 프로젝트에서 각 프로세스를 분리되고 격리 된 Python 인터프리터에서 시작하여 시작시 생성하는 쉘 스크립트를 사용하여이 문제를 해결할 수있었습니다. 이 경우 파이썬은 포크 할 필요가 없으며 nltk에서 자동 충돌이 발생하지 않습니다. 그동안 도움이 될 수 있습니다.

Hiestaa 에 2016년 10월 13일

함수 수준에서 가져 오기를 수행하면 문제가 발생하지 않는 것으로 나타났습니다.

즉, 다음과 같이 작동합니다.

def split(words):
    import nltk
    return nltk.word_tokenize(words)

그리고 이것은 :

import nltk
def split(words):
    return nltk.word_tokenize(words)

mpenkov 에 2016년 12월 27일

👍2

@mpenkov에게 감사드립니다. 문제가 해결 되었습니까?

stevenbird 에 2017년 01월 04일

@stevenbird 나는 그렇게 생각하지 않는다. 해결 방법이지만 수정이 아닙니다.

IMHO, 타사 라이브러리를 가져 오는 것이 Python 표준 라이브러리 구성 요소를 손상시키는 경우 어딘가에서 부정한 일이 발생하고 수정해야합니다.

mpenkov 에 2017년 01월 05일

👍1

@mpenkov 나는 이것이 왜 작동하는지 완전히 모르겠지만 여기에 내가 찾은 또 다른 해결 방법이 있습니다. 부모 프로세스에서 오프너를 구축하면 문제가 해결되는 것으로 보입니다. @ oxymor0n 의 원래 코드 수정 :

from multiprocessing import Process
import nltk
import time
import urllib2

# HACK
urllib2.build_opener(urllib2.HTTPHandler())

def child_fn():
    print "Fetch URL"
    import urllib2
    print urllib2.urlopen("https://www.google.com").read()[:100]
    print "Done"


while True:
    child_process = Process(target=child_fn)
    child_process.start()
    child_process.join()
    print "Child process returned"
    time.sleep(1)

sudowork 에 2017년 01월 05일

@mpenkov @ninowalker , @ oxymor0n @sasinda @wenbowang 여러분 모두 여전히 같은 문제에 직면하고 있습니까?

내 컴퓨터에서 문제를 복제 할 수 없습니다.

from multiprocessing import Process
import nltk
import time

def child_fn():
    print "Fetch URL"
    import urllib2
    print urllib2.urlopen("https://www.google.com").read()[:100]
    print "Done"


while True:
    child_process = Process(target=child_fn)
    child_process.start()
    child_process.join()
    print "Child process returned"
    time.sleep(1)

나에게 준다 :

Fetch URL
<!doctype html><html itemscope="" itemtype="http://schema.org/WebPage" lang="en-SG"><head><meta cont
Done
Child process returned
Fetch URL
<!doctype html><html itemscope="" itemtype="http://schema.org/WebPage" lang="en-SG"><head><meta cont
Done
Child process returned
Fetch URL
<!doctype html><html itemscope="" itemtype="http://schema.org/WebPage" lang="en-SG"><head><meta cont
Done

나는 :

파이썬 2.7.12
NLTK 3.2.5
우분투 16.04.3

alvations 에 2017년 10월 14일

@alvations 이 문제를 발견 한 지 오래되었습니다.
이 문제가있는 프로젝트 기반을 잊어 버려서 여전히 문제가 있는지 여부를 말할 수 없었습니다.
죄송합니다!

wenbowang 에 2017년 10월 14일

👍1

@alvations 저도이 특정 문제로 인해 고통을 겪은 프로젝트를 기억하지 못합니다.

내 컴퓨터에서 코드를 실행했지만 문제를 복제 할 수 없습니다.

파이썬 2.7.12
nltk 3.2.1
macOS 10.12.6

mpenkov 에 2017년 10월 14일

👍1

@alvations 나도 더 이상 그 프로젝트에서 일하고 있지 않습니다. 그러나 이러한 해결 방법 중 하나를 사용했습니다.
코드를 시도했지만 여전히 하위 프로세스가 세그먼트 오류 (종료 코드 11)로 종료됩니다 (종료 : urllib2.urlopen ( "https://www.google.com") .read () [: 100]).

그래도 urllib3 (https://urllib3.readthedocs.io/en/latest/)와 함께 작동했습니다.

nltk (3.2.5)
urllib3 (1.22)
Mac OSX 10.12.16
Python 2.7.13 | Continuum Analytics, Inc. | (기본값, 2016 년 12 월 20 일, 23:05:08)
[GCC 4.2.1 호환 Apple LLVM 6.0 (clang-600.0.57)] on darwin

sasinda 에 2017년 10월 18일

내가 말할 수있는 한,이 문제는 macOS에 영향을 미치는 것 같습니다. 지금까지 Python 3.6을 사용하여

macOS 10.13 (실패)
Centos 7.2 (성공)
Ubuntu 16.04 (성공)

python3에 대한 수정 된 OP 스크립트 :

from multiprocessing import Process
import nltk
import time


def child_fn():
    from urllib.request import urlopen
    print("Fetch URL")
    print(urlopen("https://www.google.com").read()[:100])
    print("Done")


child_process = Process(target=child_fn)
child_process.start()
child_process.join()
print("Child process returned")
time.sleep(1)

산출:

Fetch URL
Child process returned

하위 프로세스가 예기치 않게 종료되어이 Stack Overflow 게시물에 표시된 것과 유사한 출력을 수신합니다.

rpkilby 에 2018년 05월 12일

👍1

나는 이것이 상당히 마음이 흔들리는 것이라고 생각합니다. MacOS에서 스레드 처리와 관련이있을 수 있습니다.

alvations 에 2018년 05월 12일

👍1

세부 정보 (확장하려면 클릭)

###########################################################
# TOP-LEVEL MODULES
###########################################################

# Import top-level functionality into top-level namespace

from nltk.collocations import *
from nltk.decorators import decorator, memoize
# from nltk.featstruct import *
# from nltk.grammar import *
from nltk.probability import *
from nltk.text import *
# from nltk.tree import *
from nltk.util import *
from nltk.jsontags import *

# ###########################################################
# # PACKAGES
# ###########################################################

# from nltk.chunk import *
# from nltk.classify import *
# from nltk.inference import *
from nltk.metrics import *
# from nltk.parse import *
# from nltk.tag import *
from nltk.tokenize import *
from nltk.translate import *
# from nltk.sem import *
# from nltk.stem import *

# Packages which can be lazily imported
# (a) we don't import *
# (b) they're slow to import or have run-time dependencies
#     that can safely fail at run time

from nltk import lazyimport
app = lazyimport.LazyModule('nltk.app', locals(), globals())
chat = lazyimport.LazyModule('nltk.chat', locals(), globals())
corpus = lazyimport.LazyModule('nltk.corpus', locals(), globals())
draw = lazyimport.LazyModule('nltk.draw', locals(), globals())
toolbox = lazyimport.LazyModule('nltk.toolbox', locals(), globals())

# Optional loading

try:
    import numpy
except ImportError:
    pass
else:
    from nltk import cluster

# from nltk.downloader import download, download_shell
# try:
#     from six.moves import tkinter
# except ImportError:
#     pass
# else:
#     try:
#         from nltk.downloader import download_gui
#     except RuntimeError as e:
#         import warnings
#         warnings.warn("Corpus downloader GUI not loaded "
#                       "(RuntimeError during import: %s)" % str(e))

# explicitly import all top-level modules (ensuring
# they override the same names inadvertently imported
# from a subpackage)

# from nltk import ccg, chunk, classify, collocations
# from nltk import data, featstruct, grammar, help, inference, metrics
# from nltk import misc, parse, probability, sem, stem, wsd
# from nltk import tag, tbl, text, tokenize, translate, tree, treetransforms, util

내가 알 수 있듯이이 패키지는 tkinter 직접 가져옵니다.

nltk.app
nltk.draw
nltk.sem

위의 기본 패키지 __init__ 변경 사항에서 문제가있는 가져 오기와 tkinter 가져 오기를 추적하는 방법

nltk.featstruct ( sem )
nltk.grammar ( featstruct )
nltk.tree ( grammar )
nltk.chunk ( chunk.named_entity > tree )
nltk.parse ( parse.bllip > tree )
nltk.tag ( tag.stanford > parse )
nltk.classify ( classify.senna > tag )
nltk.inference ( inference.discourse > sem , tag )
nltk.stem ( stem.snowball > corpus > corpus.reader.timit > tree )

rpkilby 에 2018년 05월 12일

👍3

감사합니다 @rpkilby , 그것은 매우 도움이됩니다!

이 문제처럼 보입니다 https://stackoverflow.com/questions/16745507/tkinter-how-to-use-threads-to-preventing-main-event-loop-from-freezing

나는 팅크 터가 꽤 오랫동안 우리에게 고통 포인트라고 생각합니다. 아마도 대안을 찾을 수 있다면 좋을 것입니다.

alvations 에 2018년 05월 13일

👍1

나는 동의한다. 단기적인 해결책은 tkinter가 필요한 클래스와 메소드 안에 tkinter 가져 오기를 묻고 필요하지 않은 프로그램에서 가져 오는 것을 피하는 것입니다. 우리는 이미 numpy에 대해 비슷한 작업을 수행했습니다.

stevenbird 에 2018년 05월 13일

👍2

이 페이지가 도움이 되었나요?

0 / 5 - 0 등급

Nltk: 다중 처리와 nltk가 함께 잘 작동하지 않습니다.

가장 유용한 댓글

모든 22 댓글

관련 문제