Nltk: ポーターステマーの出力がリファレンス実装の出力と一致していません

これに「goodfirstbug」というラベルを貼っただけです。 「最初の良いバグ」は、stem.doctest（https://github.com/nltk/nltk/blob/master/nltk/test/stem.doctest）に一連のテストケースを追加することです。スチュアートの修正でも、それは素晴らしいことです！

ねえ、特に@alexrudnick 、これは今解決済みとしてマークする必要がありますか？

スキムすると、いいえのように見えますが、まだ解決されていません。 しかし、メンテナから聞きたいです。

@paulproteus –最終的に解決

スティーブンがマージしたばかりの私のPRの時点での_default_ステマーの動作は変更されていないことに注意してください。 マーティンのリファレンス実装（マーティンの元のアルゴリズムとは矛盾している）と一貫性のある動作を得るには、 mode=PorterStemmer.MARTIN_EXTENSIONSをPorterStemmerコンストラクターに明示的に渡す必要があります。

間違いなく、デフォルトモードとしてMARTIN_EXTENSIONSを使用すると（リファレンス実装との一貫性を保つため）、ユーザーはPorterStemmerと呼ばれるものがMartinのリファレンス実装のようにすぐに動作することを期待するためです。 問題は、それが下位互換性の破れであり、ひどく非自明なものになるということです。 NLTKをアップグレードするNLTKの以前の実装を使用している人は、ステムの一部が変更されたことに長い間気付かず、ユースケースによっては微妙なバグが発生する可能性があります。 もう1つのオプションは、デフォルト値をまったく持たず、すべてのユーザーがさまざまなモードのドキュメントを読み、使用するモードを明示的に選択することを要求することです。 これは下位互換性も損なうでしょうが、_明らかな_方法でそうするので（古い方法でステマーをインスタンス化しようとすると爆発します）、リリースノートを読まずにアップグレードを行う人々が追い出されることはありません。 そのアプローチは、上記の悪いシナリオのいずれかを回避しますが、ステマーのすべての新しいユーザーに、より多くの先行作業を要求するという犠牲を払って行われます。

どのオプションも完璧ではありません。 デフォルトとしてNLTK_EXTENSIONSを選択しましたが、反対する余地があります。 誰か意見がありますか？

@ExplodingCabbage ：私はあなたの最後のオプションを好みます。デフォルトはありません。リリースノートに適切な警告を付けて、次のメジャーリリース（作業が最初に表示されるマイナーリリースではありません）でそれを行います。 人々がドキュメントを読むことを余儀なくされ、あなたの仕事から利益を得るのは良いことだと思います。 他の人の考えを知りたいです。

こんにちは、みんな、

私はnltkでデフォルトのPorterStemmerを使用して検索エンジンバックエンドを作成してきましたが、他の多くのPorterステマー実装と同じように動作しないことを知りませんでした。 Javascriptを使用してフロントエンドで作業しているので、フロントエンドとバックエンドの語幹が異なるバグが発生しています。 nltkのデフォルトのPorterStemmerの動作をJavascriptで再作成して、ブラウザーで実行できるようにする必要がある場合は、何を確認する必要があるのか​​疑問に思いました。 私はおそらく誰か（多分@ExplodingCabbage ？）が私を正しい方向に向けることができることを望んでいました。

MARTIN_EXTENSIONSモードですべてのインデックスを再作成する時間は本当にありません。それを行うには数週間かかるからです...

@josephcc porter.pyには基本的に依存関係がなく、深遠なことや魔法のようなことは何もしていません。長い一連の文字列操作だけです。 PorterStemmerクラスをJavaScriptに移植し、 if self.mode == self.NLTK_EXTENSIONSブランチのみを保持し、他のブランチからロジックを破棄するだけです。

確かに、5分間のタスクや絶対確実なタスクではありませんが、実行可能です。 また、 https：//github.com/nltk/nltk/blob/develop/nltk/test/unit/test_stem.pyでPorterTestをチェックし、JavaScript実装に対してテストケースを実行して正しいことを確認することを検討してください。あなたの仕事の。