Nltk: 문장 토크나이저가 올바르게 분할되지 않음

S. Fits가 사람의 성과 이름일 수 있다는 점을 고려하면 문장 토크나이저에서 수정하기가 매우 어려워 보입니다.

갈 방법은 기본 NLTK 문장 토크나이저를 하위 클래스화하거나 복사하여 붙여넣고 응용 프로그램에 맞게 수정하는 것입니다. 예를 들어 텍스트에서 이러한 사람 이름이 필요하지 않은 경우 사람 이름을 처리하는 규칙을 제거하십시오. 또 다른 옵션은 토큰화 전에 size <X> 를 size_<X> 바꾸고 텍스트가 문장으로 분할된 후 다시 바꾸는 것과 같은 해결 방법을 사용하는 것입니다.

흠. 방금 다시 시도했습니다. 그래서 제가 제시한 첫 번째 사례는 올바르게 분할되지 않습니다. 그러나 다른 문자를 사용하면 때때로 분할됩니다! 이것이 내가 이 빠른 테스트를 작성한 이유입니다.

import nltk
import pprint

pp = pprint.PrettyPrinter(indent=4)
s = 'Test {}. Test {}.'
[nltk.sent_tokenize(s.format(char, char)) for char in 'abcdefghijklmnopqrstuvwxyz']
[pp.pprint(nltk.sent_tokenize(s.format(char, char))) for char in 'abcdefghijklmnopqrstuvwxyz']

산출:

['Test a.', 'Test a.']
['Test b.', 'Test b.']
['Test c. Test c.']
['Test d. Test d.']
['Test e. Test e.']
['Test f. Test f.']
['Test g. Test g.']
['Test h. Test h.']
['Test i.', 'Test i.']
['Test j.', 'Test j.']
['Test k. Test k.']
['Test l. Test l.']
['Test m. Test m.']
['Test n. Test n.']
['Test o.', 'Test o.']
['Test p. Test p.']
['Test q.', 'Test q.']
['Test r. Test r.']
['Test s. Test s.']
['Test t. Test t.']
['Test u.', 'Test u.']
['Test v. Test v.']
['Test w. Test w.']
['Test x.', 'Test x.']
['Test y.', 'Test y.']
['Test z.', 'Test z.']

@kmike ,

@JernejJerin 규칙 기반 토크나이저가 아니므로 정규식과 같은 설명을 사용하여 분할의 "규칙"을 제어/설명할 수 없습니다.

sent_tokenizer 훈련에 사용된 알고리즘은 Kiss and Strunk(2006) punkt 알고리즘 입니다. 문장 경계를 학습하려고 시도하는 통계 시스템이므로 완벽하지는 않지만 모델에서 생성된 확률과 일치합니다(그러나 인간과 같은 규칙은 필요하지 않음).

Smashwords의 Mike Suttons가 발행한 "Three Plays"에서 추출한 BookCorpus 의 실제 예제를 추가하고 싶습니다.

sent_tokenize('The weather is terrible, and my day was ok. You are supposed to take your medicine.')

산출

['The weather is terrible, and my day was ok. You are supposed to take your medicine.']

nltk가 k. 를 문장 구분자로 인식하지 못하는 것을 확인했습니다.