<p>nltk.translate.bleu_score गलत परिणाम देता है जब ngram दिए गए वाक्य के अधिकतम ngrams से बड़ा होता है</p>

आप कोड के किस संस्करण का उपयोग कर रहे हैं?

$ python
>>> import nltk
>>> nltk.__version__
'3.2.1'

BLEU का क्रियान्वयन अभी हाल ही में #1330 के समाधान के साथ तय किया गया है। यदि आप develop शाखा का उपयोग कर रहे हैं nltk , तो यह आउटपुट होना चाहिए:

>>> import nltk
>>> from nltk import bleu
>>> ref = hyp = 'abc'
>>> bleu([ref], hyp)
1.0
>>> from nltk import bleu
>>> ref, hyp = 'abc', 'abd'
>>> bleu([ref], hyp)
0.7598356856515925

चूंकि एक स्ट्रिंग वर्णों की एक सूची है और nltk शीर्ष-स्तर के आयात के लिए sentence_bleu() आयात करता है, उपरोक्त कोड समान है:

>>> from nltk.translate.bleu_score import sentence_bleu
>>> sentence_bleu([['a', 'b', 'c']], ['a', 'b', 'c'])
1.0
>>> sentence_bleu([['a', 'b', 'c']], ['a', 'b', 'd'])
0.7598356856515925

नवीनतम develop शाखा स्थापित करने के लिए, प्रयास करें:

pip install https://github.com/nltk/nltk/archive/develop.zip

( ध्यान दें कि विकसित शाखा _अधिक अप्रत्याशित बगों के अधीन है और यह अनुशंसा की जाती है कि उपयोगकर्ता master या आधिकारिक रिलीज स्थापित करें )

एक संबंधित नोट पर, लेकिन bleu के वर्तमान nltk कार्यान्वयन से सीधे तौर पर शामिल नहीं है, #1330 फिक्स के बिना पिछला कार्यान्वयन लोकप्रिय multi-bleu.perl की समान खामियों के अधीन है। हो सकता है कि आपको यह जानना दिलचस्प लगे कि यह हाल के सुधार के बिना 0 क्यों लौटा: https://gist.github.com/alvations/e5922afa8c91472d25c58b2d712a93e7

धन्यवाद @अलवेशन । मैंने इस्तेमाल किए गए एनएलटीके का मूल संस्करण 3.2 था। मैंने इसे अब 3.2.1 पर अपडेट कर दिया है और अब यह ZeroDivisionError बढ़ा रहा है। और मैंने पायथन 3.5.2 . का इस्तेमाल किया

BLEU का एकमात्र स्थिर संस्करण develop शाखा में है। कृपया NLTK 3.2.2 में इसके जारी होने की प्रतीक्षा करें या develop शाखा स्थापित करें (लेकिन ध्यान दें कि विकास शाखा पर परीक्षण न किए गए बग हो सकते हैं)।

ठीक है। मैं बाहर राह देखूँगा। लेकिन जिस मामले में आपने ऊपर उल्लेख किया है, यदि वजन [0.25, 0.25, 0.25, 0.25, 0.25] है, तो वाक्य_ब्लू ([['ए', 'बी', 'सी']], ['ए', 'बी' के परिणाम ', 'सी']) और वाक्य_ब्लेयू ([['ए', 'बी', 'सी']], ['ए', 'बी', 'डी']) दोनों 0 होना चाहिए, मूल पेपर के अनुसार

मूल पेपर इस तथ्य के लिए जिम्मेदार नहीं था कि p_n 0 हो सकता है यदि संदर्भ/परिकल्पना की लंबाई n से कम है, तो http://www.aclweb की धारा 2.3 में समीकरण देखें। n लंबाई से कम संदर्भ/परिकल्पनाएं हों।

यदि हम धारा 2.3 में सूत्र को देखें, तो इसमें exp(log(p_n)) और जब p_n 0 होता है, तो यह गणित डोमेन त्रुटि में हो जाता है क्योंकि लॉगरिदम फ़ंक्शन (यानी y = log x ) x = 0 पर एक स्पर्शोन्मुख है, जैसे कि x का परिसर 0 से अधिक होना चाहिए।

इसलिए यदि हम मूल BLEU को लागू करते हैं, तो उपयोगकर्ता को एक चेतावनी प्राप्त करनी चाहिए जो कहती है कि "BLEU की गणना नहीं की जा सकती" जब भी कोई गणित डोमेन त्रुटि हो। इसलिए BLEU के बाद के संस्करण इसे कई अलग-अलग हैक्स के साथ ठीक करने का प्रयास करते हैं, संस्करणों का इतिहास https://github.com/moses-smt/mosesdecoder/blob/master/scripts/generic/mteval-v13a पर पाया जा सकता है

कृपया ध्यान दें कि BLEU का नवीनतम संस्करण चेन और चेरी (2014) पेपर से स्मूथिंग फ़ंक्शंस के साथ आता है, जो mteval.pl के मूसा संस्करण में नहीं है।

मुझे उम्मीद है कि स्पष्टीकरण मदद करता है।