Nltk: 一部のコーナーケースで文の分割が失敗する

＃2154でうまく説明されているように、略語を含む文を分割するのがいかに難しいか、および略語を追加すると落とし穴が生じる可能性があることを理解しています。 しかし、私が聞きたいいくつかのコーナーケースに出くわしました。 次のいずれかを使用しているようです

• 例えば
• すなわち
• etal。

文中の文は間違った方法で分割されます。

ieとegの例

>>> sentence = ("Even though exempli gratia and id est are both Latin "
                "(and therefore italicized), no need to put e.g. or i.e. in "
                "italics when they’re in abbreviated form.")
>>> sent_tokenize_list = sent_tokenize(sentence)                                                                                                                           

>>> sent_tokenize_list                                                                                                                                            
['Even though exempli gratia and id est are both Latin (and therefore italicized), no need to put e.g.',
 'or i.e.',
 'in italics when they’re in abbreviated form.']

etal。の例

>>> from nltk.tokenize import sent_tokenize
>>> sentence = ("If David et al. get the financing, we can move forward "
                "with the prototype. However, this is very unlikely be cause "
                "they did not publish sufficiently last year.")
>>> sent_tokenize_list = sent_tokenize(sentence)
>>> sent_tokenize_list
['If David et al.',
 'get the financing, we can move forward with the prototype.',
 'However, this is very unlikely because they did not publish sufficiently last year.']

私のラップトップでは、 nltk.__version__ 3.4.5を使用しています。

私が見ているように、この問題は＃2154とは異なります。これは、これらがよく知られており、一般的に使用されている略語であるためです（特に学界で）。