Scikit-learn: Os documentos CountVectorizer e TfidfVectorizer não mencionam que token_pattern é ignorado ao passar um tokenizer personalizado

Descrição

A documentação do Countvectorizer e do TfidfVectorizer não é clara sobre a interação entre token_pattern e a passagem de um tokenizer . Atualmente, quando um tokenizer é passado, o token_pattern é ignorado. Mas a entrada docstring para o parâmetro tokenizer menciona apenas Override the string tokenization step while preserving the preprocessing and n-grams generation steps. . Para mim, não ficou imediatamente claro se isso significava que token_pattern não foi usado.

Aqui está um usuário que ficou surpreso com isso: Stackoverflow

Algumas coisas em que posso pensar:

• gerar um aviso se o usuário passar um padrão de token (não padrão) e um tokenizer personalizado
• atualize a docstring para ser explícito sobre a interação