Nltk: 일부 코너 케이스에서 문장 분할 실패

나는 약어가 포함된 문장을 분할하는 것이 얼마나 어려운지와 #2154에 잘 설명되어 있는 것처럼 약어를 추가하면 함정이 있을 수 있다는 것을 이해합니다. 그러나, 나는 내가 묻고 싶은 몇 가지 코너 케이스를 우연히 발견했습니다. 다음 중 하나를 사용하는 것처럼 보입니다.

• 예
• 즉
• et al.

문장에서 잘못된 방식으로 문장을 분할합니다.

ie 및 eg의 예

>>> sentence = ("Even though exempli gratia and id est are both Latin "
                "(and therefore italicized), no need to put e.g. or i.e. in "
                "italics when they’re in abbreviated form.")
>>> sent_tokenize_list = sent_tokenize(sentence)                                                                                                                           

>>> sent_tokenize_list                                                                                                                                            
['Even though exempli gratia and id est are both Latin (and therefore italicized), no need to put e.g.',
 'or i.e.',
 'in italics when they’re in abbreviated form.']

et al.

>>> from nltk.tokenize import sent_tokenize
>>> sentence = ("If David et al. get the financing, we can move forward "
                "with the prototype. However, this is very unlikely be cause "
                "they did not publish sufficiently last year.")
>>> sent_tokenize_list = sent_tokenize(sentence)
>>> sent_tokenize_list
['If David et al.',
 'get the financing, we can move forward with the prototype.',
 'However, this is very unlikely because they did not publish sufficiently last year.']

내 노트북에서 nltk.__version__ 3.4.5를 사용하고 있습니다.

내가 보기에 이 문제는 잘 알려져 있고 일반적으로 사용되는 약어(특히 학계에서) 때문에 #2154와 다릅니다.