Scikit-learn: CountVectorizerとTfidfVectorizerのドキュメントには、カスタムトークナイザーを渡すときにtoken_patternが無視されるとは記載されていません

説明

CountvectorizerとTfidfVectorizerのドキュメントは、 token_patternとカスタムtokenizer受け渡しの間の相互作用について明確ではありません。 現在、 tokenizerが渡されると、 token_patternは無視されます。 ただし、tokenizerパラメーターのdocstringエントリには、 Override the string tokenization step while preserving the preprocessing and n-grams generation steps.しか記載されていません。 私には、これがtoken_patternがまったく使用されなかったことを意味することはすぐにはわかりませんでした。

これによってスローされたユーザーは次のとおりです： Stackoverflow

私が考えることができるいくつかのこと：

• ユーザーが（非標準の）トークンパターンとカスタムトークナイザーを渡すと、警告が表示されます
• 相互作用について明示的になるようにdocstringを更新します