Scikit-learn: CountVectorizer और TfidfVectorizer डॉक्स का उल्लेख नहीं है कि एक कस्टम टोकनर पास करते समय टोकन_पैटर्न को अनदेखा कर दिया जाता है

को निर्मित 29 नव॰ 2019 · 3टिप्पणियाँ · स्रोत: scikit-learn/scikit-learn

विवरण

काउंटवेक्टराइज़र और TfidfVectorizer के दस्तावेज़ token_pattern बीच की बातचीत और एक कस्टम tokenizer बारे में स्पष्ट नहीं है। वर्तमान में, जब tokenizer पारित किया जाता है, तो token_pattern को अनदेखा कर दिया जाता है। लेकिन टोकननाइज़र पैरामीटर के लिए डॉकस्ट्रिंग प्रविष्टि में केवल Override the string tokenization step while preserving the preprocessing and n-grams generation steps. का उल्लेख है। मेरे लिए, यह तुरंत स्पष्ट नहीं था कि इसका मतलब यह था कि token_pattern का बिल्कुल भी उपयोग नहीं किया गया था।

यहां 'एक उपयोगकर्ता जो इसके द्वारा फेंक दिया गया है: स्टैक ओवरफ्लो

कुछ चीजें जिनके बारे में मैं सोच सकता हूं:

यदि उपयोगकर्ता एक (गैर-मानक) टोकन पैटर्न और एक कस्टम टोकननाइज़र पास करता है, तो चेतावनी दें
बातचीत के बारे में स्पष्ट होने के लिए डॉकस्ट्रिंग को अपडेट करें

स्रोत

stephantul

सबसे उपयोगी टिप्पणी

चेतावनी नई है। चलो यह कैसे जाता है देखते हैं

jnothman 1 दिस॰ 2019

👍3

सभी 3 टिप्पणियाँ

चेतावनी 0.23rc3 में मौजूद होनी चाहिए। हमारे लिए कोशिश करो?

jnothman 30 नव॰ 2019

ज़रूर। चेतावनी ( UserWarning: The parameter 'token_pattern' will not be used since 'tokenizer' is not None' ) वास्तव में दिखाई देती है, पहले इसकी जांच न करने के लिए मेरा बुरा। यदि आप चाहें, तो मैं कुछ दस्तावेज़ संपादनों के साथ एक पीआर बना सकता हूं जो बताता है कि क्या हो रहा है, लेकिन शायद चेतावनी पर्याप्त है।

stephantul 30 नव॰ 2019

चेतावनी नई है। चलो यह कैसे जाता है देखते हैं

jnothman 1 दिस॰ 2019

👍3

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स