Nltk: 불용어 말뭉치의 닫히지 않은 파일

안녕하세요,이 문제를 받아도 될까요?

@iliaschalkidis @alvations 리눅스에서 경고를 어떻게 재현 할 수 있습니까?

@ sks4903440 버전 3.2.5를 사용하여 명령 줄에서 다음 스크립트를 실행할 수 있습니다.

test.py

import warnings
import nltk
warnings.filterwarnings('error', category=ResourceWarning)
stop_words = nltk.corpus.stopwords.words('english')

$ python test.py

다음을 받아야합니다.

ResourceWarning: unclosed file <_io.BufferedReader name='/Users/kiddo/nltk_data/corpora/stopwords/english'>

# 1945에서 수정 됨

Hmmm .. io.BufferedReader 을 StreamCorpusReader에 상속하는 것은 흥미로운 해결책이지만 컨텍스트 관리자 with 범위를 사용하여 파일을 제대로 닫는 것이 더 나은 해결책 일 수 있습니다.

그리고 Python3.6에는 이전 버전과 다른 파일에 대한 몇 가지 특별한 요구 사항이 있다고 생각합니다. 우리가하고있는 일이 단순한 반창고가 아닌지 확인하기 위해 CPython에서 변경 로그를 읽어야합니다 =)

@alvations with 것은 확실히 좋은 생각입니다. 나는 그것을 통합하려고 노력할 것입니다. CPython에서 가비지 수집기는 참조 횟수가 0이면 자동으로 파일을 닫으므로 사용하지 않았습니다. 또한 with 문이 작동하려면 io.BufferedReader 하거나 __enter__ 및 __exit__ 메서드를 구현해야합니다. 무엇이 더 낫다고 생각하십니까?

~ BufferedReader에서 상속하지 않고 컨텍스트를 사용하여 열고 닫은 다음 io 모듈이 gc (가비지 수집)를 처리하도록하기 때문에 enter / exit 메서드를 구현할 필요가 없다고 생각합니다. ). ~

이것은 까다 롭습니다. io.BufferedReader 에는 이미 seek() like 함수가 있으며 SeekableUnicodeStreamReader 수퍼 __init__() 를 수행하지 않고 상속 할 때 정확히 모르겠습니다. BufferedReader에서 가져 오는 것.

그리고 실제로 with 컨텍스트 내에서 버퍼를 해킹하지 않는 한 탐색 및 지시 함수가 작동하지 않기 때문에 실제로 with 를 read() with 안에 래핑 할 수 없습니다. 흠 ...

이것에 대한 소식이 있습니까? Python 3.6은 거의 모든 리소스에서 NLTK 3.3에 대해 여전히 불평합니다.

/home/user/py36/lib/python3.6/site-packages/nltk/corpus/reader/wordnet.py:1107: ResourceWarning: unclosed file <_io.BufferedReader name='/home/user/nltk_data/corpora/wordnet/lexnames'>
  for i, line in enumerate(self.open('lexnames')):
/home/user/py36/lib/python3.6/site-packages/nltk/corpus/reader/wordnet.py:1159: ResourceWarning: unclosed file <_io.BufferedReader name='/home/user/nltk_data/corpora/wordnet/index.adj'>
  for i, line in enumerate(self.open('index.%s' % suffix)):
/home/user/py36/lib/python3.6/site-packages/nltk/corpus/reader/wordnet.py:1159: ResourceWarning: unclosed file <_io.BufferedReader name='/home/user/nltk_data/corpora/wordnet/index.adv'>
  for i, line in enumerate(self.open('index.%s' % suffix)):
/home/user/py36/lib/python3.6/site-packages/nltk/corpus/reader/wordnet.py:1159: ResourceWarning: unclosed file <_io.BufferedReader name='/home/user/nltk_data/corpora/wordnet/index.noun'>
  for i, line in enumerate(self.open('index.%s' % suffix)):
/home/user/py36/lib/python3.6/site-packages/nltk/corpus/reader/wordnet.py:1159: ResourceWarning: unclosed file <_io.BufferedReader name='/home/user/nltk_data/corpora/wordnet/index.verb'>
  for i, line in enumerate(self.open('index.%s' % suffix)):
/home/user/py36/lib/python3.6/site-packages/nltk/corpus/reader/wordnet.py:1209: ResourceWarning: unclosed file <_io.BufferedReader name='/home/user/nltk_data/corpora/wordnet/adj.exc'>
  for line in self.open('%s.exc' % suffix):
/home/user/py36/lib/python3.6/site-packages/nltk/corpus/reader/wordnet.py:1209: ResourceWarning: unclosed file <_io.BufferedReader name='/home/user/nltk_data/corpora/wordnet/adv.exc'>
  for line in self.open('%s.exc' % suffix):
/home/user/py36/lib/python3.6/site-packages/nltk/corpus/reader/wordnet.py:1209: ResourceWarning: unclosed file <_io.BufferedReader name='/home/user/nltk_data/corpora/wordnet/noun.exc'>
  for line in self.open('%s.exc' % suffix):
/home/user/py36/lib/python3.6/site-packages/nltk/corpus/reader/wordnet.py:1209: ResourceWarning: unclosed file <_io.BufferedReader name='/home/user/nltk_data/corpora/wordnet/verb.exc'>

제안 된 수정 : https://github.com/nltk/nltk/pull/2165

완료된 것으로 보이는 또 다른 문제는 문제를 종결하는 것이 좋습니다.

문제를 제기 해 주신 모든 분들께 감사 드리며, 수정 사항에 대해