Scikit-learn: CountVectorizer- und TfidfVectorizer-Dokumente erwähnen nicht, dass token_pattern ignoriert wird, wenn ein benutzerdefinierter Tokenizer übergeben wird

Beschreibung

Die Dokumentation für den Countvectorizer und TfidfVectorizer ist nicht klar über die Interaktion zwischen token_pattern und der Übergabe eines benutzerdefinierten tokenizer . Wenn ein tokenizer wird, wird derzeit das token_pattern ignoriert. Aber der Docstring-Eintrag für den Tokenizer-Parameter erwähnt nur Override the string tokenization step while preserving the preprocessing and n-grams generation steps. . Für mich war nicht sofort klar, dass damit token_pattern nicht verwendet wurde.

Hier ist ein Benutzer, der davon geworfen wurde: Stackoverflow

Einige Dinge fallen mir ein:

• eine Warnung ausgeben, wenn der Benutzer ein (nicht standardmäßiges) Token-Muster und einen benutzerdefinierten Tokenizer übergibt
• Aktualisieren Sie den Docstring, um die Interaktion explizit anzugeben