Nltk: वाक्य टोकननाइज़र सही ढंग से विभाजित नहीं हो रहा है

को निर्मित 23 नव॰ 2015 · 5टिप्पणियाँ · स्रोत: nltk/nltk

मुझे लगता है कि मानक वाक्य टोकननाइज़र sent_tokenize में एक बग है। समस्या यह है कि यह कुछ मामलों में पाठ को वाक्यों में विभाजित नहीं कर रहा है। यहाँ यह मामला है, जहाँ टोकननाइज़र पाठ को दो वाक्यों में विभाजित करने में विफल रहता है:

[sent for sent in nltk.sent_tokenize('Model wears size S. Fits size.')]

यह रिटर्न ['Model wears size S. Fits size.'] , के बजाय ['Model wears size S.', 'Fits size.'] । समस्या तब प्रकट होती है, जब . से पहले की अंतिम स्ट्रिंग में केवल एक वर्ण होता है। यदि वर्णों की संख्या >= 2 , तो यह पाठ को सही ढंग से विभाजित करता है।

inactive tokenizer

स्रोत

jeryini

👍1

सबसे उपयोगी टिप्पणी

स्मैशवर्ड्स पर माइक सटन द्वारा प्रकाशित "थ्री BookCorpus से एक वास्तविक दुनिया का उदाहरण जोड़ना चाहते हैं।

sent_tokenize('The weather is terrible, and my day was ok. You are supposed to take your medicine.')

उत्पादन

['The weather is terrible, and my day was ok. You are supposed to take your medicine.']

इसने पुष्टि की कि nltk ने k. को वाक्य विभाजक के रूप में नहीं पहचाना।

yoquankara 12 फ़र॰ 2019

👍3

सभी 5 टिप्पणियाँ

यदि आप मानते हैं कि S. Fits किसी व्यक्ति का पहला और अंतिम नाम हो सकता है, तो वाक्य टोकननाइज़र में इसे ठीक करना बहुत कठिन लगता है।

kmike 23 नव॰ 2015

मुझे लगता है कि जाने का तरीका डिफ़ॉल्ट एनएलटीके वाक्य टोकननाइज़र को उप-वर्ग या कॉपी-पेस्ट करना है और इसे अपने आवेदन में फिट करने के लिए संशोधित करना है। उदाहरण के लिए यदि आप टेक्स्ट में ऐसे व्यक्ति के नामों की अपेक्षा नहीं करते हैं तो उन नियमों को हटा दें जो व्यक्ति के नामों को संभालते हैं। एक अन्य विकल्प यह है कि टोकन से पहले size <X> को size_<X> बदलने और टेक्स्ट को वाक्यों में विभाजित करने के बाद उन्हें फिर से बदलने जैसे वर्कअराउंड का उपयोग करना है।

kmike 23 नव॰ 2015

हम्म। बस फिर से कोशिश की। तो मैंने जो पहला मामला प्रस्तुत किया वह सही ढंग से विभाजित नहीं हो रहा है। लेकिन अगर मैं अलग-अलग पात्रों का उपयोग करता हूं तो यह कभी-कभी विभाजित हो जाता है! इसलिए मैंने यह त्वरित परीक्षण लिखा है:

import nltk
import pprint

pp = pprint.PrettyPrinter(indent=4)
s = 'Test {}. Test {}.'
[nltk.sent_tokenize(s.format(char, char)) for char in 'abcdefghijklmnopqrstuvwxyz']
[pp.pprint(nltk.sent_tokenize(s.format(char, char))) for char in 'abcdefghijklmnopqrstuvwxyz']

आउटपुट:

['Test a.', 'Test a.']
['Test b.', 'Test b.']
['Test c. Test c.']
['Test d. Test d.']
['Test e. Test e.']
['Test f. Test f.']
['Test g. Test g.']
['Test h. Test h.']
['Test i.', 'Test i.']
['Test j.', 'Test j.']
['Test k. Test k.']
['Test l. Test l.']
['Test m. Test m.']
['Test n. Test n.']
['Test o.', 'Test o.']
['Test p. Test p.']
['Test q.', 'Test q.']
['Test r. Test r.']
['Test s. Test s.']
['Test t. Test t.']
['Test u.', 'Test u.']
['Test v. Test v.']
['Test w. Test w.']
['Test x.', 'Test x.']
['Test y.', 'Test y.']
['Test z.', 'Test z.']

@kmike , जैसा कि आप देख सकते हैं कि यह बहुत असंगत है।

jeryini 23 नव॰ 2015

@JernejJerin यह नियम-आधारित

sent_tokenizer को प्रशिक्षित करने के लिए प्रयुक्त एल्गोरिथम किस एंड स्ट्रंक (2006) पंकट एल्गोरिथम है । यह एक सांख्यिकीय प्रणाली है जो वाक्य सीमा सीखने की कोशिश करती है, इसलिए यह सही नहीं है लेकिन यह मॉडल से उत्पन्न संभावनाओं के अनुरूप है (लेकिन आवश्यक मानव-समान नियम नहीं)।

alvations 23 नव॰ 2015