Nltk: कुली आवाजें: स्ट्रिंग इंडेक्स सीमा से बाहर

भविष्य के संदर्भ के लिए, मैं आपके प्रश्न को यहां कॉपी/पेस्ट करता हूं:

मेरे पास मसालेदार टेक्स्ट दस्तावेज़ों का एक सेट है जिसे मैं nltk के PorterStemmer का उपयोग करके स्टेम करना चाहता हूं। मेरे प्रोजेक्ट के लिए विशिष्ट कारणों के लिए, मैं एक django ऐप व्यू के अंदर स्टेमिंग करना चाहता हूं।

हालांकि, जब django व्यू के अंदर दस्तावेज़ों को स्टेम करते हैं, तो मुझे IndexError: string index out of range स्ट्रिंग के लिए PorterStemmer().stem() से अपवाद प्राप्त होता है 'oed' । नतीजतन, निम्नलिखित चल रहा है:

# xkcd_project/search/views.py
from nltk.stem.porter import PorterStemmer

def get_results(request):
    s = PorterStemmer()
    s.stem('oed')
    return render(request, 'list.html')

उल्लिखित त्रुटि उठाता है:

Traceback (most recent call last):
  File "//anaconda/envs/xkcd/lib/python2.7/site-packages/django/core/handlers/exception.py", line 39, in inner
    response = get_response(request)
  File "//anaconda/envs/xkcd/lib/python2.7/site-packages/django/core/handlers/base.py", line 187, in _get_response
    response = self.process_exception_by_middleware(e, request)
  File "//anaconda/envs/xkcd/lib/python2.7/site-packages/django/core/handlers/base.py", line 185, in _get_response
    response = wrapped_callback(request, *callback_args, **callback_kwargs)
  File "/Users/jkarimi91/Projects/xkcd_search/xkcd_project/search/views.py", line 15, in get_results
    s.stem('oed')
  File "//anaconda/envs/xkcd/lib/python2.7/site-packages/nltk/stem/porter.py", line 665, in stem
    stem = self._step1b(stem)
  File "//anaconda/envs/xkcd/lib/python2.7/site-packages/nltk/stem/porter.py", line 376, in _step1b
    lambda stem: (self._measure(stem) == 1 and
  File "//anaconda/envs/xkcd/lib/python2.7/site-packages/nltk/stem/porter.py", line 258, in _apply_rule_list
    if suffix == '*d' and self._ends_double_consonant(word):
  File "//anaconda/envs/xkcd/lib/python2.7/site-packages/nltk/stem/porter.py", line 214, in _ends_double_consonant
    word[-1] == word[-2] and
IndexError: string index out of range

अब जो वास्तव में अजीब है वह django के बाहर एक ही स्ट्रिंग पर एक ही स्टेमर चला रहा है (चाहे वह एक अलग पायथन फ़ाइल हो या एक इंटरैक्टिव पायथन कंसोल हो) कोई त्रुटि उत्पन्न नहीं करता है। दूसरे शब्दों में:

# test.py
from nltk.stem.porter import PorterStemmer
s = PorterStemmer()
print s.stem('oed')

के बाद:

python test.py
# successfully prints 'o'

इस मुद्दे का कारण क्या है?

मैंने पाया है कि यह समस्या nltk संस्करण 3.2.2 के लिए विशिष्ट है। मूल रूप से, मैंने ऊपर बताए अनुसार ipython नहीं अजगर का उपयोग करके test.py चलाया। किसी तरह, मैं अपने मूल वातावरण //anaconda/bin/ipython में ipython स्थापना तक पहुँचने में सक्षम था, भले ही मैंने अपने django प्रोजेक्ट (सक्रिय) आभासी वातावरण //anaconda/envs/xkcd/bin/ में ipython निर्दिष्ट नहीं किया था। नतीजतन, ipython मेरे मूल वातावरण में परिभाषित nltk किस्त का उपयोग कर रहा होगा और साथ ही संस्करण 3.2.0 चलाता है।

स्पष्ट करने के लिए, मैंने पाया है कि PorterStemmer nltk संस्करण 3.2.2 में स्ट्रिंग 'oed' को स्टेम करने में विफल रहता है लेकिन nltk संस्करण 3.2.0 में नहीं। क्यों, मेरे पास कोई अंदाजा नहीं है।

एक साइड नोट के रूप में, मैं दोनों मामलों में अजगर 2 का उपयोग कर रहा था। मेरा मूल वातावरण अजगर 2.7.11 का उपयोग करता है और मेरे django प्रोजेक्ट का वातावरण अजगर 2.7.13 का उपयोग करता है

अरे,
इसके लिए क्षमा करें (समस्या)। मेरा मतलब है कि मैं कभी भी जीथब का उपयोग नहीं करता, यह था
गलती से हुआ। मुझे नहीं पता कि मैं अभी क्या ट्रिगर करता हूँ!

7 जनवरी, 2017 11:47 pm पर, "jkarimi91" [email protected] लिखा है:

मैंने पाया है कि यह समस्या nltk संस्करण 3.2.2 के लिए विशिष्ट है।
मूल रूप से, जैसा कि ऊपर बताया गया है, मैंने ipython नहीं अजगर का उपयोग करके test.py चलाया।
किसी तरह, मैं अपने रूट में ipython इंस्टॉलेशन तक पहुंचने में सक्षम था
पर्यावरण //एनाकोंडा/बिन/आईपीथॉन भले ही मैंने निर्दिष्ट नहीं किया था
मेरे वर्तमान में सक्रिय आभासी वातावरण में ipython
//एनाकोंडा/envs/xkcd/bin/. परिणामस्वरूप, ipython अवश्य ही का उपयोग कर रहा होगा
nltk किस्त मेरे मूल वातावरण में परिभाषित है और साथ ही जो संस्करण चलाता है
3.2.0.

स्पष्ट करने के लिए, मैंने पाया है कि PorterStemmer स्टेम करने में विफल रहता है
nltk संस्करण 3.2.2 में 'oed' स्ट्रिंग लेकिन nltk संस्करण 3.2.0 में नहीं। मैं क्यों
कोई पता नहीं।

-
आप इसे प्राप्त कर रहे हैं क्योंकि आपने इस थ्रेड की सदस्यता ली है।
इस ईमेल का सीधे उत्तर दें, इसे GitHub पर देखें
https://github.com/nltk/nltk/issues/1581#issuecomment-271100268 , या म्यूट करें
सूत्र
https://github.com/notifications/unsubscribe-auth/AVTBBiywlg5c81StFrrcNOsyuF610y9uks5rP9bLgaJpZM4LdV66
.

@ExplodingCabbage क्या आप कृपया इस मुद्दे की जांच कर सकते हैं? 3.2 जारी होने के बाद मैं केवल porter.py पर देख सकता हूं, d8402e3f43ce3b7a3c7ecb45c3b8b1f75c7124e2 है।

यह कोड @ jkarimi91 द्वारा प्रदान किए गए उदाहरण में उपयोग किया गया है।

from nltk.stem.porter import PorterStemmer
s = PorterStemmer()
print s.stem('oed')

कुछ पुनरावृत्तियों के बाद, pdb का उपयोग करके _apply_rule_list() में porter.py भीतर से ऊपर दिए गए कोड को डीबग करना:

>>> rule
(u'at', u'ate', None)
>>> word
u'o'

इस बिंदु पर _ends_double_consonant() विधि करने की कोशिश करता word[-1] == word[-2] और यह विफल रहता है।

अगर मैं गलत नहीं हूँ, तो NLTK 3.2 में सापेक्ष विधि निम्नलिखित थी:

def _doublec(self, word):
    """doublec(word) is TRUE <=> word ends with a double consonant"""
    if len(word) < 2:
        return False
    if (word[-1] != word[-2]):      
        return False        
    return self._cons(word, len(word)-1)

जहाँ तक मैं देख सकता हूँ, नए संस्करण में len(word) < 2 चेक गायब है।

_ends_double_consonant() को कुछ इस तरह से बदलना काम करना चाहिए:

def _ends_double_consonant(self, word):
      """Implements condition *d from the paper

      Returns True if word ends with a double consonant
      """
      if len(word) < 2:
          return False
      return (
          word[-1] == word[-2] and
          self._is_consonant(word, len(word)-1)
      )

ओह। हां, ऐसा लगता है कि मैंने इसे https://github.com/nltk/nltk/commit/d8402e3f43ce3b7a3c7ecb45c3b8b1f75c7124e2 में तोड़ा :(

क्या पीआर एक परीक्षण और एक फिक्स आज रात होगा।

धन्यवाद @jkarimi91 , @fievelk , @ExplodingCabbage

नमस्ते, मुझे आज ठीक उसी मुद्दे का सामना करना पड़ा। क्या आप कृपया सुझाव दे सकते हैं कि मैं इसे कैसे ठीक कर सकता हूं? क्या मुझे कोई पैकेज अपडेट करना चाहिए?

नमस्ते @santoshbs। आप या तो एनएलटीके के master संस्करण का उपयोग कर सकते हैं या बग से छुटकारा पाने के लिए 3.2.1 कर सकते हैं; यह केवल संस्करण 3.2.2 ।

@ExplodingCabbage मुझे लगता है कि आप develop शाखा का जिक्र कर रहे हैं ( master )। मुझे लगता है कि भ्रमित होना आसान है :)

@fievelk आप बिल्कुल सही हैं। क्षमा करें, हाँ: आप बग से छुटकारा पाने के लिए develop शाखा या 3.2.1 कर सकते हैं।

सूचक के लिए बहुत बहुत धन्यवाद।