Nltk: कुछ कोने के मामलों में बंटवारे के वाक्य विफल हो जाते हैं

मैं समझता हूं कि संक्षिप्ताक्षरों वाले वाक्यों को विभाजित करना कितना मुश्किल है और संक्षिप्ताक्षरों को जोड़ने से नुकसान हो सकते हैं, जैसा कि #2154 में अच्छी तरह से समझाया गया है। हालाँकि, मैंने कुछ कोने के मामलों पर ठोकर खाई है जिनके बारे में मैं पूछना चाहता हूँ। ऐसा लगता है कि निम्न में से किसी का उपयोग किया जा रहा है

• जैसे
• अर्थात
• और अन्य।

वाक्य में वाक्य को गलत तरीके से विभाजित करेगा।

उदाहरण के लिए और उदाहरण के लिए

>>> sentence = ("Even though exempli gratia and id est are both Latin "
                "(and therefore italicized), no need to put e.g. or i.e. in "
                "italics when they’re in abbreviated form.")
>>> sent_tokenize_list = sent_tokenize(sentence)                                                                                                                           

>>> sent_tokenize_list                                                                                                                                            
['Even though exempli gratia and id est are both Latin (and therefore italicized), no need to put e.g.',
 'or i.e.',
 'in italics when they’re in abbreviated form.']

एट अल के लिए उदाहरण।

>>> from nltk.tokenize import sent_tokenize
>>> sentence = ("If David et al. get the financing, we can move forward "
                "with the prototype. However, this is very unlikely be cause "
                "they did not publish sufficiently last year.")
>>> sent_tokenize_list = sent_tokenize(sentence)
>>> sent_tokenize_list
['If David et al.',
 'get the financing, we can move forward with the prototype.',
 'However, this is very unlikely because they did not publish sufficiently last year.']

अपने लैपटॉप पर मैं nltk.__version__ 3.4.5 का उपयोग कर रहा हूं।

जैसा कि मैं देख रहा हूं कि यह मुद्दा #2154 से अलग है क्योंकि ये जाने-माने और आमतौर पर इस्तेमाल किए जाने वाले संक्षिप्ताक्षर हैं (विशेषकर अकादमिक मंडलियों में)।