Scikit-learn: Los documentos CountVectorizer y TfidfVectorizer no mencionan que token_pattern se ignora al pasar un tokenizador personalizado

Descripción

La documentación para Countvectorizer y TfidfVectorizer no es clara sobre la interacción entre token_pattern y pasar un tokenizer . Actualmente, cuando un tokenizer se pasa, el token_pattern se ignora. Pero la entrada de la cadena de documentos para el parámetro del tokenizador solo menciona Override the string tokenization step while preserving the preprocessing and n-grams generation steps. . Para mí, no quedó claro de inmediato que esto significara que token_pattern no se usó en absoluto.

Aquí 'un usuario que fue arrojado por esto: Stackoverflow

Algunas cosas en las que puedo pensar:

• generar una advertencia si el usuario pasa un patrón de token (no estándar) y un tokenizador personalizado
• actualice la cadena de documentos para que sea explícito sobre la interacción