Scikit-learn: В документах CountVectorizer и TfidfVectorizer не упоминается, что token_pattern игнорируется при передаче пользовательского токенизатора

Описание

В документации для Countvectorizer и TfidfVectorizer неясно взаимодействие между token_pattern и передачей пользовательского tokenizer . В настоящее время, когда передается tokenizer , token_pattern игнорируется. Но в строке документации для параметра токенизатора упоминается только Override the string tokenization step while preserving the preprocessing and n-grams generation steps. . Для меня не сразу было ясно, что это означает, что token_pattern вообще не используется.

Вот пользователь, которого это бросило :

Некоторые вещи, о которых я могу думать:

• генерировать предупреждение, если пользователь передает (нестандартный) шаблон токена и настраиваемый токенизатор
• обновить строку документации, чтобы она была явной о взаимодействии