<p>nltk.translate.bleu_score는 ngram이 주어진 문장의 최대 ngram보다 큰 경우 잘못된 결과를 제공합니다.</p>

어떤 버전의 코드를 사용하고 있습니까?

$ python
>>> import nltk
>>> nltk.__version__
'3.2.1'

BLEU 구현은 최근 #1330이 해결되어 수정되었습니다. 당신이 사용하는 경우 develop 분기 nltk ,이 출력되어야한다 :

>>> import nltk
>>> from nltk import bleu
>>> ref = hyp = 'abc'
>>> bleu([ref], hyp)
1.0
>>> from nltk import bleu
>>> ref, hyp = 'abc', 'abd'
>>> bleu([ref], hyp)
0.7598356856515925

문자열은 문자 목록이고 nltk 는 sentence_bleu() 를 최상위 가져오기로 가져오기 때문에 위의 코드는 다음과 같습니다.

>>> from nltk.translate.bleu_score import sentence_bleu
>>> sentence_bleu([['a', 'b', 'c']], ['a', 'b', 'c'])
1.0
>>> sentence_bleu([['a', 'b', 'c']], ['a', 'b', 'd'])
0.7598356856515925

최신 develop 분기를 설치하려면 다음을 시도하십시오.

pip install https://github.com/nltk/nltk/archive/develop.zip

( 개발 브랜치는 _예상치 못한 버그가 더 많이 발생하기 때문에 사용자가 master 또는 공식 릴리스를 설치하는 것이 좋습니다. )

관련 참고 사항이지만 bleu 의 현재 nltk 구현과 직접적으로 관련되지는 않았지만 #1330 수정 사항이 없는 이전 구현은 인기 있는 multi-bleu.perl 의 동일한 결함에 노출됩니다. 최근 수정 없이 0을 반환한 이유를 아는 것이 흥미로울 수도 있습니다. https://gist.github.com/alvations/e5922afa8c91472d25c58b2d712a93e7

@alvations 감사

BLEU의 유일한 안정적인 버전은 develop 분기에 있습니다. NLTK 3.2.2에서 릴리스될 때까지 기다리거나 develop 분기를 설치하십시오(그러나 개발 분기는 테스트되지 않은 버그의 영향을 받을 수 있습니다).

확인. 기다릴게. 그러나 위에서 언급한 경우 가중치가 [0.25, 0.25, 0.25, 0.25]인 경우 문장_bleu([['a', 'b', 'c']], ['a', 'b ', 'c']) 및 sentence_bleu([['a', 'b', 'c']], ['a', 'b', 'd'])는 원본 논문에 따르면 둘 다 0이어야 합니다.

원본 논문은 참조/가설의 길이가 n 보다 작으면 p_n 가 0이 될 수 있다는 사실을 설명하지 않았습니다 . http://www.aclweb 섹션 2.3의 방정식 참조 n 보다 작은 참조/가설이 있을 가능성은 논문에서 다루지 않았습니다.

2.3절의 공식을 보면 exp(log(p_n)) 취하고 p_n 가 0일 때 대수 함수(예: y = log x ) 때문에 수학 영역 오류가 발생합니다. x = 0 에 점근선이 있으므로 x 범위는 0보다 커야 합니다.

따라서 원래 BLEU를 구현하는 경우 사용자는 수학 도메인 오류가 발생할 때마다 "BLEU를 계산할 수 없습니다"와 같은 경고를 받아야 합니다. 따라서 BLEU의 최신 버전은 여러 가지 다른 해킹으로 이 문제를 해결하려고 합니다. 버전 기록은 https://github.com/moses-smt/mosesdecoder/blob/master/scripts/generic/mteval-v13a 에서 찾을 수 있습니다

BLEU의 최신 버전은 Chen and Cherry(2014) 논문의 스무딩 기능과 함께 제공되며 mteval.pl 의 Moses 버전에는 없습니다.

설명이 도움이 되었으면 합니다.