Scikit-learn: Dokumen CountVectorizer dan TfidfVectorizer tidak menyebutkan token_pattern diabaikan saat melewati tokenizer khusus

Keterangan

Dokumentasi untuk Countvectorizer dan TfidfVectorizer tidak jelas tentang interaksi antara token_pattern dan meneruskan tokenizer kustom. Saat ini, ketika tokenizer dilewatkan, token_pattern diabaikan. Tetapi entri docstring untuk parameter tokenizer hanya menyebutkan Override the string tokenization step while preserving the preprocessing and n-grams generation steps. . Bagi saya, tidak segera jelas bahwa ini berarti token_pattern tidak digunakan sama sekali.

Inilah pengguna yang terlempar oleh ini: Stackoverflow

Beberapa hal yang dapat saya pikirkan:

• berikan peringatan jika pengguna melewati pola token (non-standar) dan tokenizer khusus
• perbarui docstring agar eksplisit tentang interaksi