Scikit-learn: لا تذكر مستندات CountVectorizer و TfidfVectorizer أنه يتم تجاهل token_pattern عند تمرير رمز مميز مخصص

وصف

وثائق Countvectorizer و TfidfVectorizer ليست واضحة بشأن التفاعل بين token_pattern وتمرير tokenizer مخصص. حاليا، عندما tokenizer يتم تمريرها، و token_pattern يتم تجاهل. لكن إدخال docstring لمعلمة tokenizer يذكر فقط Override the string tokenization step while preserving the preprocessing and n-grams generation steps. . بالنسبة لي ، لم يكن واضحًا على الفور أن هذا يعني أنه لم يتم استخدام token_pattern على الإطلاق.

هنا 'المستخدم الذي تم طرحه بواسطة هذا: Stackoverflow

بعض الأشياء التي يمكنني التفكير فيها:

• رفع تحذير إذا قام المستخدم بتمرير نمط رمزي (غير قياسي) ورمز مميز مخصص
• تحديث docstring ليكون صريحًا بشأن التفاعل