Scikit-learn: CountVectorizer 및 TfidfVectorizer 문서에는 사용자 정의 토크나이저를 전달할 때 token_pattern이 무시된다는 언급이 없습니다.

설명

Countvectorizer 및 TfidfVectorizer에 대한 문서는 token_pattern 와 사용자 정의 tokenizer 전달 간의 상호 작용에 대해 명확하지 않습니다. 현재 tokenizer 가 전달되면 token_pattern 는 무시됩니다. 그러나 토크나이저 매개변수에 대한 docstring 항목은 Override the string tokenization step while preserving the preprocessing and n-grams generation steps. 만 언급합니다. 나에게는 이것이 token_pattern 가 전혀 사용되지 않았다는 것을 의미하는지 즉시 명확하지 않았습니다.

다음은 이것으로 인해 발생한 사용자입니다. Stackoverflow

내가 생각할 수 있는 몇 가지:

• 사용자가 (비표준) 토큰 패턴과 사용자 정의 토크나이저를 전달하면 경고 발생
• 상호 작용에 대해 명시적으로 docstring을 업데이트합니다.