Nltk: पोर्टर स्टेमर का आउटपुट संदर्भ कार्यान्वयन के साथ असंगत है

को निर्मित 17 जन॰ 2012 · 8टिप्पणियाँ · स्रोत: nltk/nltk

मैंने हाल ही में एनएलटीके के पोर्टर स्टेमर का उपयोग किया है और इसके आउटपुट और पोर्टर स्टेमर के दूसरे संस्करण के बीच कुछ विसंगतियों की खोज की है जिसका मैंने उपयोग किया है। इन विसंगतियों के बाद, मैंने पाया कि एनएलटीके के कार्यान्वयन में कुछ समस्याएं हो सकती हैं।

मार्टिन पोर्टर द्वारा स्वयं यहां एकत्र किए गए पोर्टर स्टेमर के विभिन्न संदर्भ कार्यान्वयन हैं:

http://tartarus.org/~martin/PorterStemmer/

मैंने रूबी के लिए एनएलटीके की जांच करने के लिए एक कोशिश की (यह मानक से एक शब्द लेता है और तुरंत अपने स्टेमड फॉर्म को मानक आउट पर भी थूकता है):

स्क्रिप्ट $ रूबी porter_stemmer.rb
चमकदार
शिनी

मैंने इसे एनएलटीके के खिलाफ चेक किया:

स्क्रिप्ट $ पायथन
पायथन २.६.१ (आर २६१:६७५१५, २४ जून २०१०, २१:४७:४९)
[जीसीसी ४.२.१ (ऐप्पल इंक. बिल्ड ५६४६)] डार्विन पर
अधिक जानकारी के लिए "सहायता", "कॉपीराइट", "क्रेडिट" या "लाइसेंस" टाइप करें।

        import nltk
        nltk.stem.porter.PorterStemmer().stem_word('shiny')

'शिनी'

अब तक सब ठीक है। और अगर मैं इन परिणामों की तुलना एक नमूना उपयोगकर्ता dict फ़ाइल (voc.txt) के लिए एक ही पृष्ठ पर प्रदान किए गए अपेक्षित परिणामों (output.txt) से करता हूं, तो वे सही दिखते हैं:

स्क्रिप्ट $ egrep -n '^ चमकदार$' voc.txt
१८३३३: चमकदार
स्क्रिप्ट $ egrep -n '^shini$' output.txt
१८३३३: शिनी

लेकिन अगर मैं अपेक्षित परिणाम फ़ाइल में उन लोगों के खिलाफ व्यवस्थित रूप से एनएलटीके परिणामों की तुलना करता हूं, तो मुझे बहुत सी विसंगतियां दिखाई देती हैं (प्रारूप: शब्द, उचित अपेक्षित स्टेमिंग, खराब एनएलटीके तारांकन द्वारा चिह्नित):

स्क्रिप्ट $ ./show_bad_stemming_in_nltk.py voc.txt output.txt
अभय अभय *अभय
अभय अभय *अभय
अबेद अब * अबे
अबसी अबसी
[...]
Wrying Wry * wri
कल कल * कल
परसों कल * कल
योंग्रे योंग्रेई *योंग्रे

रूबी संदर्भ कार्यान्वयन के खिलाफ स्पॉट चेकिंग पुष्टि करता है कि एनएलटीके परिणाम वास्तव में समस्या है:

स्क्रिप्ट $ रूबी porter_stemmer.rb
बौद्ध मठ
अब्बेई
अभय
अब्बेई
एक बिस्तर
अब
अभय
अबसी
रोना
राइ
बीता हुआ कल
कल
कल
कल
योंगरे
योंगरेई

मैंने शब्दों की पूरी सूची संलग्न की है जिसके लिए एनएलटीके का पोर्टर स्टेमर अप्रत्याशित परिणाम प्रदान करता है।

(यह बग संस्करण 2.0b9 से संबंधित है। मुझे संदेह है कि यह पिछले सभी संस्करणों में मौजूद है, लेकिन मैंने इसकी पुष्टि नहीं की है।)

http://code.google.com/p/nltk/issues/detail?id=625 से माइग्रेट किया गया

पहले की टिप्पणियाँ

gregg.lind ने कहा, 2011-02-09T20:22:57.000Z पर:

अगर कोई और इसे नहीं चाहे तो मुझे इसे (शुक्रवार तक) लेने में खुशी होगी। मैंने इस मॉड्यूल का बहुत उपयोग किया है। ग्रेग लिंड

स्टीवनबर्ड1 ने कहा, 2011-02-14T07:14:49.000Z पर:

संलग्न है स्टुअर्ट रॉबिन्सन के सुधार, nltk-dev को भेजे गए। ऐसा लगता है कि मूल रूप से चर्चा किए गए रूबी संस्करण के एक नए बंदरगाह के बजाय पिछले संस्करण में और संपादन किया गया है। इससे पहले कि इस नए संस्करण को शामिल किया जा सके, हमें परीक्षण/stem.doctest में जोड़े गए परीक्षण मामलों के एक सेट की आवश्यकता है।

goodfirstbug

स्रोत

alexrudnick

सबसे उपयोगी टिप्पणी

@paulproteus - अंत में हल हो गया

stevenbird 11 सित॰ 2016

🎉1 👍1

सभी 8 टिप्पणियाँ

मैंने अभी इस पर "गुडफर्स्टबग" लेबल लगाया है। "अच्छा पहला बग" स्टेम.doctest (https://github.com/nltk/nltk/blob/master/nltk/test/stem.doctest) में परीक्षण मामलों का एक समूह जोड़ रहा होगा - यदि आप विलय करने की तरह महसूस करते हैं स्टुअर्ट के सुधारों में भी, यह बहुत अच्छा होगा!

alexrudnick 15 सित॰ 2012

हे सब, विशेष रूप से @alexrudnick , क्या इसे अब हल के रूप में चिह्नित किया जाना चाहिए?

paulproteus 19 सित॰ 2013

एक स्किम पर, ऐसा लगता है कि नहीं, यह अभी तक हल नहीं हुआ है। लेकिन एक अनुरक्षक से सुनना चाहेंगे।

paulproteus 19 सित॰ 2013

@paulproteus - अंत में हल हो गया

stevenbird 11 सित॰ 2016

🎉1 👍1

ध्यान दें कि मेरे पीआर के रूप में _default_ स्टेमर व्यवहार जो स्टीवन ने अभी विलय किया है वह अपरिवर्तित है; मार्टिन के संदर्भ कार्यान्वयन (जो स्वयं मार्टिन के मूल एल्गोरिदम के साथ असंगत हैं) के अनुरूप व्यवहार प्राप्त करने के लिए आपको mode=PorterStemmer.MARTIN_EXTENSIONS को PorterStemmer कन्स्ट्रक्टर को स्पष्ट रूप से पास करने की आवश्यकता है।

यकीनन, डिफ़ॉल्ट मोड के रूप में MARTIN_EXTENSIONS (संदर्भ कार्यान्वयन के साथ स्थिरता के लिए) बेहतर होगा, क्योंकि उपयोगकर्ता मार्टिन के संदर्भ कार्यान्वयन जैसे बॉक्स से बाहर व्यवहार करने के लिए PorterStemmer नामक किसी चीज़ की अपेक्षा करने जा रहे हैं। परेशानी यह है कि यह एक पिछड़ा संगतता ब्रेक होगा, और एक स्पष्ट रूप से स्पष्ट नहीं होगा; एनएलटीके के पिछले कार्यान्वयन का उपयोग करने वाला कोई व्यक्ति जो एनएलटीके को अपग्रेड करता है, लंबे समय तक यह नोटिस करने में विफल हो सकता है कि उनके कुछ उपजी बदल गए हैं, संभवतः उनके उपयोग के मामले के आधार पर सूक्ष्म बग पेश कर रहे हैं। एक अन्य विकल्प यह है कि कोई डिफ़ॉल्ट मान बिल्कुल न हो, और प्रत्येक उपयोगकर्ता को विभिन्न मोड पर दस्तावेज़ों को पढ़ने और स्पष्ट रूप से यह चुनने की आवश्यकता होती है कि किसका उपयोग करना है। यह पीछे की ओर-संगतता को भी तोड़ देगा, लेकिन ऐसा _obvious_ तरीके से करेगा (बस पुराने तरीके से स्टेमर को तुरंत चालू करने की कोशिश कर रहा है) ताकि रिलीज नोट्स को पढ़े बिना अपग्रेड करने वाले लोग पकड़े नहीं जाएंगे। यह दृष्टिकोण ऊपर दिए गए किसी भी बुरे परिदृश्य से बच जाएगा, लेकिन स्टेमर के प्रत्येक नए उपयोगकर्ता से अधिक अप-फ्रंट काम की मांग की कीमत पर।

कोई भी विकल्प सही नहीं है। मैंने डिफ़ॉल्ट के रूप में NLTK_EXTENSIONS रखने का विकल्प चुना है, लेकिन असहमत होने की गुंजाइश है। किसी की राय है?

ExplodingCabbage 11 सित॰ 2016

@ExplodingCabbage : मैं आपके अंतिम विकल्प का समर्थन करता हूं, कोई डिफ़ॉल्ट नहीं, और अगली प्रमुख रिलीज के साथ ऐसा करना (मामूली रिलीज नहीं जहां आपका काम पहली बार दिखाई देगा), रिलीज नोट्स में उपयुक्त चेतावनियों के साथ। मुझे लगता है कि लोगों के लिए दस्तावेज़ों को पढ़ने और आपके काम से लाभान्वित होने के लिए मजबूर होना अच्छा होगा। मैं यह जानने के लिए उत्सुक हूं कि दूसरे क्या सोचते हैं।

stevenbird 11 सित॰ 2016

👍1

हाय दोस्तों,

मैं एनएलटीके में डिफ़ॉल्ट पोर्टरस्टेमर के साथ एक खोज इंजन बैकएंड लिख रहा हूं, यह नहीं जानता कि यह कई अन्य पोर्टर स्टेमर कार्यान्वयन के समान व्यवहार नहीं करता है। अब जब मैं जावास्क्रिप्ट का उपयोग करके फ्रंट-एंड पर काम कर रहा हूं, तो मैं बग में भाग रहा हूं जहां फ्रंटएंड और मेरे बैकएंड शब्द अलग-अलग हैं। मैं सोच रहा था कि अगर मुझे जावास्क्रिप्ट में एनएलटीके के डिफ़ॉल्ट पोर्टरस्टेमर व्यवहार को फिर से बनाने की ज़रूरत है तो मुझे क्या देखना चाहिए ताकि मैं इसे ब्राउज़र में चला सकूं। मैं उम्मीद कर रहा था कि शायद कोई जहां (शायद @ExplodingCabbage ?) मुझे सही दिशा में इंगित कर सके।

मेरे पास वास्तव में MARTIN_EXTENSIONS मोड के साथ सब कुछ पुन: अनुक्रमित करने का समय नहीं है क्योंकि इसे करने में सप्ताह लगेंगे...

josephcc 28 मार्च 2018

@josephcc porter.py मूल रूप से कोई निर्भरता नहीं है और कुछ भी गहरा या जादुई नहीं कर रहा है, केवल स्ट्रिंग PorterStemmer वर्ग को जावास्क्रिप्ट में पोर्ट करना चाहते हैं, केवल if self.mode == self.NLTK_EXTENSIONS शाखाओं को संरक्षित करना और दूसरों से तर्क को दूर करना।

5 मिनट का कार्य या मूर्खतापूर्ण कार्य नहीं, बेशक, लेकिन करने योग्य। https://github.com/nltk/nltk/blob/develop/nltk/test/unit/test_stem.py में PorterTest भी देखें और शुद्धता की जांच के लिए अपने जावास्क्रिप्ट कार्यान्वयन के खिलाफ परीक्षण मामलों को चलाने पर विचार करें। आपके काम का।

ExplodingCabbage 28 मार्च 2018

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स

Nltk: पोर्टर स्टेमर का आउटपुट संदर्भ कार्यान्वयन के साथ असंगत है

पहले की टिप्पणियाँ

सबसे उपयोगी टिप्पणी

सभी 8 टिप्पणियाँ

संबंधित मुद्दों