Nltk: Porter 형태소 분석기는 소문자 대신 대문자를 반환합니다.

형태소 분석의 경우 먼저 정규화의 일부로 소문자로 변환해야 하지 않습니까?

Oh 사용한 대문자 출력의 또 다른 예

>>> from nltk.stem import PorterStemmer
>>> porter = PorterStemmer()
>>> porter.stem('Oh')
'Oh'

state에 대한 약어처럼 단어 길이가 2보다 작을 때 원래의 약어 형태를 유지하고자 하기 때문이라고 생각합니다.

def stem(self, word):
    stem = word.lower()

    if self.mode == self.NLTK_EXTENSIONS and word in self.pool:
        return self.pool[word]

    if self.mode != self.ORIGINAL_ALGORITHM and len(word) <= 2:
        # With this line, strings of length 1 or 2 don't go through
        # the stemming process, although no mention is made of this
        # in the published algorithm.
        return word

    stem = self._step1a(stem)
    stem = self._step1b(stem)
    stem = self._step1c(stem)
    stem = self._step2(stem)
    stem = self._step3(stem)
    stem = self._step4(stem)
    stem = self._step5a(stem)
    stem = self._step5b(stem)

    return stem

'In'과 'Oh'라는 단어는 모두 self.pool 및 len(word)<=2 에 있지 않습니다. 즉, 여기에서 줄기 조건을 충족하지 않으므로 동일하게 유지됩니다.

할당되지 않은 경우 이 작업을 수행해도 됩니까? 프로젝트에 기여한 것은 처음입니다.

@PhanatosZou 자유롭게 변경하고 풀 리퀘스트를 생성하세요. 변경해야 하는 주요 코드는 다음과 같습니다.

if self.mode != self.ORIGINAL_ALGORITHM and len(word) <= 2:
    # With this line, strings of length 1 or 2 don't go through
    # the stemming process, although no mention is made of this
    # in the published algorithm.
    return stem

그러나 self.pool 모든 키를 확인하고 대문자가 아닌 경우 이것도 변경하는 것이 좋습니다.

if self.mode == self.NLTK_EXTENSIONS and word in self.pool:
    return self.pool[stem]

좋은 소리! 작업하겠습니다.