Nltk: 파이썬에서 nltk의 corpus panlex_lite 패키지를 다운로드하는 방법

파이썬 내에서 시도:

>>> import nltk
>>> nltk.download('panlex_lite')

또는 명령줄에서:

$ python -m nltk.downloader panlex_lite

참고: 데이터를 다운로드하는 데 시간이 걸릴 수 있습니다.

이렇게 하려면 NLTK 의

이 URL [http://dev.panlex.org/db/panlex_lite.zip]을 사용하여 수동으로 다운로드하십시오.

NLTK v3.2를 기다리고 https://github.com/nltk/nltk/issues/1283에서 광범위한 토론을

안녕하세요 panlex_lite가 수동으로 다운로드되면 nltk_data 내 어디에 넣어야 합니까?
감사 해요

http://www.nltk.org/data.html을 참조하십시오

corpora , 내 전체 경로는 /usr/local/share/nltk_data/corpora

------------------ 원래의 ------------------
보낸 사람: "racekiller" 알림 @github.com
날짜: 2016년 5월 21일 토요일 오후 8:53
받는 사람: "nltk/nltk" [email protected];
참조: "肖宗阳" [email protected]; "댓글" [email protected];
제목: Re: [nltk/nltk] nltk inpython에서 corpus panlex_lite 패키지를 다운로드하는 방법(#1253)

안녕하세요 panlex_lite가 수동으로 다운로드되면 nltk_data 내 어디에 넣어야 합니까?
감사 해요

—
당신이 댓글을 달았기 때문에 이것을 받는 것입니다.
이 이메일에 직접 답장하거나 GitHub에서 확인하세요.

안녕하세요,
다운로드가 왜 그렇게 느린지 아는 사람이 있습니까? 내 끝에는 20시간이 표시됩니다. 나머지 패키지가 다운로드되었습니다.

@deepp 이 zip 파일을
링크: https://pan.baidu.com/s/1kVavU7d 비밀번호: 7b5n

@XiaoZYang 응답

@깊은 기쁨. 당신을 도와 기쁘게 생각합니다

https://dev.panlex.org/db/ 에서 panlex_lite.zip을 다운로드하고 "/nltk_data/corpora/"에 넣을 수 있습니다.

nltk 다운로더로 panlex를 다운로드하는 동안 내 전체 시스템이 멈췄습니다. 내 키보드의 Caps Lock 표시등도 더 이상 작동하지 않았습니다. 컴퓨터를 다시 시작하고 다시 시도했지만 동일한 현상이 발생했습니다.
이에 대한 자세한 정보를 제공하는 로그 파일이 있습니까?
참고: AMD64 시스템의 KDE Neon에서 idle3/nltk3/python 3.5.2를 실행하고 있습니다.

zip 파일을 수동으로 다운로드하겠습니다.

nltk.download('all')가 주어졌을 때 나머지 패키지가 다운로드되도록 panlex_lite의 zip을 다운로드한 후 무엇을 해야 합니까? panlex_lite 다운로드를 건너뛰도록? zip 폴더의 압축을 풀었지만 나머지 패키지를 다운로드하려고 할 때 panlex_lite 다운로드가 표시됩니다... 도와주세요.

@eupherntech 같은 문제입니다.

나는 또한 같은 문제에 직면하고 있습니다.

BTW, panlex_lite 데이터를 수동으로 다운로드했습니다.

@eupherntech @stevealbertwong nltk.download('all', halt_on_error=False) 사용할 수 있으므로 패키지 다운로드에 실패한 후 다운로드를 다시 시도할 것인지 묻는 메시지가 표시됩니다. n 를 누르면 나머지 패키지가 다운로드됩니다.

여기에서도 동일한 문제가 발생합니다. 수동으로도 최대 8시간이 걸립니다. 그것에 대해 어떻게든 해주세요!

위에서 언급 한 파일을 기준으로 보면 2.2GB 파일로 보입니다. 그래서 당신은 단단히 매달려 기다려야 할 수도 있습니다!

그 동안 더 많은 정보를 얻기 위해 할 수 있는 한 가지는 다음과 같이 nltk_data/corpora/에 있는 panlex_lite.zip 파일의 파일 크기와 마지막 수정 시간을 확인하는 것입니다.

$ ls -lh nltk_data/corpora/ | grep panlex_lite
-rw-r--r--     1 username  1607558449   2.1G Mar  4 10:51 panlex_lite.zip

같은 문제가 있습니다. panlex_lite가 (http://dev.panlex.org/db/panlex_lite.zip에서) 성공적으로 다운로드되었고 올바른 디렉토리에 있지만 nltk.download()가 호출되면 다시 다운로드를 시도합니다. 말뭉치가 제자리에 있음을 나타내기 위해 업데이트해야 하는 다른 파일이 있습니까?

참고: @cimarie 의 제안을 시도할 것이지만 문제는 풀 요청을 제출하기 전에 tox를 사용하여 분기를 테스트하려고 하고 tox가 내부적으로 nltk.download를 호출하기 때문에 제 생각에는 그렇지 않다는 것입니다. 이러한 옵션을 포함할 수 있습니다.

체크섬을 업데이트했으므로 다시 시도해 주세요.

@stevenbird 어떤 체크섬인가요?

어쨌든 작동하지 않은 것 같습니다. nltk.download('all')는 위 링크에 첨부된 파일을 내 ~/nltk_data/corpora 폴더에 넣었음에도 불구하고 여전히 panlex light 다운로드를 시도합니다.

또한 다운로더는 매번 panlex_swadesh를 다운로드하려고 시도합니다(panlex_lite보다 다운로드가 훨씬 짧음). panlex_swadesh.zip이 corpora 폴더에 있다는 것을 알았고 수동으로 압축을 풀려고 시도하면

Arthurs-MacBook- Pro:corpora aetilley$ 압축 해제 panlex_swadesh.zip
아카이브: panlex_swadesh.zip
중앙 디렉토리 끝 서명을 찾을 수 없습니다. 이 파일이 아니거나
zip 파일이거나 여러 부분으로 구성된 아카이브의 디스크 하나를 구성합니다. 에서
후자의 경우 중앙 디렉토리와 zipfile 주석은 다음 위치에서 찾을 수 있습니다.
이 아카이브의 마지막 디스크입니다.
압축 해제: panlex_swadesh.zip 중 하나에서 zipfile 디렉토리를 찾을 수 없거나
panlex_swadesh.zip.zip이며 panlex_swadesh.zip.ZIP, 마침표를 찾을 수 없습니다.

@aetilley - 체크섬이 이 페이지에 게시됨 - "소스 보기"가 필요할 수 있습니다.

이 파일의 출처 :

불행히도 다운로드할 대역폭이 없습니다.

시도할 수 있는 두 가지가 있습니다. 아마도 당신은 이미 첫 번째 작업을 수행했을 수 있으며, 이 경우 두 번째 작업이 가치가 있을 수 있습니다.

1. sudo 파이썬 -m nltk.downloader panlex_lite
2. CD PATH_TO_NLTK_DATA; wget https://dev.panlex.org/db/panlex_lite-20170401.zip; panlex_lite-20170401.zip의 압축을 풉니다.

@stevenbird

이 두 가지(둘 다 성공적으로)를 실행한 후에도 nltk.download('all') 여전히 panlex_lite를 볼 수 없습니다.

다시 말하지만, 여기서 가장 큰 문제는 톡스를 사용하기 어렵게 만든다는 것입니다.

그럼 저만 이런 문제가 있는건가요?

nltk.download('all') 가 이러한 문제의 주요 원인입니까? 그렇다면 nltk/nltk_data#69를 고려해야 할 것 같습니다.

그렇지 않으면 해결 방법은 다음과 같습니다.

>>> import nltk
>>> dler = nltk.downloader.Downloader()
>>> dler._update_index()
>>> dler._status_cache['panlex_lite'] = 'installed' # Trick the index to treat panlex_lite as it's already installed.
>>> dler.download('all')

@alvations

더 구체적으로 말하면, nltk.download('all')는 내가 이미 가지고 있는 다른 모든 말뭉치를 올바르게 건너뛰지만 어떤 이유로 매번 panlex_lite를 얻으려고 시도합니다.

또한 tox는 nltk.download('all')를 호출하므로 pull 요청을 하기 전에 로컬에서 테스트하기가 어렵습니다.

nltk/nltk_data#75가 일부 문제를 해결할 수 있기를 바랍니다. 그리고 그것이 병합된 후 사용자는 큰 panlex_lite 파일을 다운로드하기를 기다리지 않으려면 nltk.download('all') 대신 nltk.download('all-nltk') 를 수행할 수 있어야 합니다.

@alvations

그리고 tox는 무엇을 부를까요?

다시 말하지만, 나는 큰 파일을 한 번 다운로드하게 되어 기쁩니다. 그러나 다운로더는 내가 이미 가지고 있는 것 같지 않아 매번 다운로드를 시도합니다.

그리고 다시 말하지만, 저만 이 문제를 겪고 있다면 문제가 아닐 수도 있지만 저는 당황스럽습니다.

@aetilley : 아직도 이런 일이? NLTK 코퍼스 컬렉션에서 panlex-lite를 삭제했으므로 이제 수정해야 한다고 생각합니다.

@stevenbird , @alvations

예, 현재 tox가 효과가 있는 것 같습니다. 죄송합니다. 수정했는지 확인하지 못했습니다.