Nltk: अरेबस्टरस्ट्रीम एट्रीब्यूट

को निर्मित 11 अक्तू॰ 2017 · 7टिप्पणियाँ · स्रोत: nltk/nltk

मैं स्नोबॉलस्टमर का उपयोग करके कुछ अरबी शब्दों को स्टेम करने में विफल रहा हूं। कई शर्तों को सफलतापूर्वक पूरा किया जाता है, लेकिन कुछ शर्तों के कारण एट्रीब्यूटर को उठाया जाता है। कृपया एक न्यूनतम उदाहरण के लिए नीचे देखें जो 'से' शब्द पर विफल होता है।

(anaconda2-4.4.0) richard-balmer-macbook:~ richardbalmer$ pip freeze | grep nltk
nltk==3.2.5
(anaconda2-4.4.0) richard-balmer-macbook:~ richardbalmer$ ipython
Python 2.7.13 |Anaconda custom (x86_64)| (default, Dec 20 2016, 23:05:08)
Type "copyright", "credits" or "license" for more information.

IPython 5.3.0 -- An enhanced Interactive Python.
?         -> Introduction and overview of IPython's features.
%quickref -> Quick reference.
help      -> Python's own help system.
object?   -> Details about 'object', use 'object??' for extra details.

In [1]: from nltk.stem.snowball import SnowballStemmer

In [2]: stemmer = SnowballStemmer('arabic')

In [3]: stemmer.stem(u'تسدد')
Out[3]: u'\u062a\u0633\u062f\u062f'

In [4]: stemmer.stem(u'من')
---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
<ipython-input-4-ffa733106049> in <module>()
----> 1 stemmer.stem(u'من')

/Users/richardbalmer/.pyenv/versions/anaconda2-4.4.0/lib/python2.7/site-packages/nltk/stem/snowball.pyc in stem(self, word)
    762                 modified_word = self.__Suffix_Verb_Step2b(modified_word)
    763                 if not self.suffix_verb_step2b_success:
--> 764                     modified_word = self.__Suffix_Verb_Step2a(modified_word)
    765         if self.is_noun:
    766             modified_word = self.__Suffix_Noun_Step2c2(modified_word)

/Users/richardbalmer/.pyenv/versions/anaconda2-4.4.0/lib/python2.7/site-packages/nltk/stem/snowball.pyc in __Suffix_Verb_Step2a(self, token)
    533                     break
    534
--> 535                 if suffix in self.__conjugation_suffix_verb_present and len(token) > 5:
    536                     token = token[:-2]  # present
    537                     self.suffix_verb_step2a_success = True

AttributeError: 'ArabicStemmer' object has no attribute '_ArabicStemmer__conjugation_suffix_verb_present'

bug pleaseverify resolved tests

स्रोत

richbalmer

👍2

सबसे उपयोगी टिप्पणी

@richbalmer मुद्दे की रिपोर्टिंग के लिए धन्यवाद।

@LBenzahia आप इस पर गौर करने में मदद कर सकता है? अग्रिम में धन्यवाद!

alvations 13 अक्तू॰ 2017

👍2

सभी 7 टिप्पणियाँ

@richbalmer मुद्दे की रिपोर्टिंग के लिए धन्यवाद।

@LBenzahia आप इस पर गौर करने में मदद कर सकता है? अग्रिम में धन्यवाद!

alvations 13 अक्तू॰ 2017

👍2

हाय @richbalmer रिपोर्टिंग के लिए धन्यवाद, पहला शब्द 'تسدد' सबसे अच्छा संभव स्टेम है क्योंकि स्नोबॉल अरबी स्टेमर लाइट उपमा एल्गोरिथ्म पर आधारित उपसर्गों / प्रत्ययों के साथ काम करता है, यदि आप "تددد" की जड़ की तलाश में हैं तो आप ISRI (रूट) का उपयोग कर सकते हैं -स्टेड स्टेमर / डीप स्टैमिंग), दूसरा शब्द 'من' एक स्टॉप वर्ड है, आपको स्नोबॉल अरेस्टमेमर का उपयोग शुरू करने से पहले स्टॉप वर्ड फिल्टर का उपयोग करना चाहिए, साथ ही यह स्टेमर केस से निपटता नहीं है जब शब्द में 2 अक्षर होते हैं।
वैसे भी, मैंने इस PR # 1856 में समस्या को ठीक कर दिया है।
फिर से धन्यवाद !

LBenzahia 13 अक्तू॰ 2017

@LBenzahia इतनी जल्दी इसे

  File "/Users/richardbalmer/src/nltk/nltk/stem/util.py", line 24
    arabic_stopwords = ['إذ',
                             ^
SyntaxError: Non-ASCII character '\xd8' in file /Users/richardbalmer/src/nltk/nltk/stem/util.py on line 24, but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details

जो जेनकिंस (https://nltk.ci.cloudbees.com/job/pull_request_tests/454/TOXENV=py27-jenkins,jdk.jdkBatatestOnlineInstall/testReport/nose.failure/Failure/ पर परीक्षण विफल होने का कारण बनता है। /) है। मैं तुम सब करने की जरूरत है डाल दिया है लगता है # -*- coding: utf-8 -*- के शीर्ष पर stem/util.py ।

इसके अलावा, यह तय करने के बाद कि स्थानीय रूप से मुझे एक यूनिकोडवेयरिंग मिलती है:

/Users/richardbalmer/src/nltk/nltk/stem/snowball.py:748: UnicodeWarning: Unicode equal comparison failed to convert both arguments to Unicode - interpreting them as being unequal
  if word in arabic_stopwords:

यह उन स्टॉपवर्ड्स यूनिकोड स्ट्रिंग्स बनाने के लायक हो सकता है।

इसके अलावा यह ऐसा लगता है कि आपका फिक्स मेरे लिए अच्छी तरह से काम करता है - फिर से धन्यवाद!

ps एक अन्य सुझाव: परीक्षण समावेश को शामिल करना सूची समावेशन की तुलना में काफी तेज है, इसलिए यह संभव है कि स्टॉपवार्ड सूची के बजाय एक सेट बनाया जाए।

richbalmer 13 अक्तू॰ 2017

👍1

@richbalmer आप python2.7 का उपयोग कर रहे हैं? ,

यह उन स्टॉपवर्ड्स यूनिकोड स्ट्रिंग्स बनाने के लायक हो सकता है।

python2.7 के लिए किया गया, इसे फिर से परीक्षण करें और मुझे बताएं, यह मेरे लिए ठीक काम करता है। मैंने पीआर अपडेट किया है

LBenzahia 13 अक्तू॰ 2017

हाँ, मैं 2.7 का उपयोग कर रहा हूँ। अच्छी लग रही @Lenzahia - फिर से धन्यवाद!

richbalmer 16 अक्तू॰ 2017

👍1

अभी भी त्रुटि हो रही है:
विशेषता

मैं अजगर 3 का उपयोग कर रहा हूं

NouraAls 18 फ़र॰ 2018

@NouraAls solved in PR

LBenzahia 18 फ़र॰ 2018

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स

Nltk: अरेबस्टरस्ट्रीम एट्रीब्यूट

सबसे उपयोगी टिप्पणी

सभी 7 टिप्पणियाँ

संबंधित मुद्दों