Nltk: word_tokenize वर्णों की जगह लेता है

को निर्मित 15 फ़र॰ 2017 · 5टिप्पणियाँ · स्रोत: nltk/nltk

Word_tokenize फ़ंक्शन का उपयोग करते समय उद्धरण चिह्नों को अलग-अलग उद्धरण चिह्नों से बदल दिया जाता है।

उदाहरण (जर्मन):

import nltk
sentence = "\"Ja.\"" # sentence[0] = "
tokens = nltk.word_tokenize(sentence) #tokens[0] = ``
print(tokens[0] == sentence[0]) # Prints false.

क्या यह एक बग है या इस व्यवहार के पीछे कोई तर्क है?

स्रोत

mwess

👍1

सबसे उपयोगी टिप्पणी

@mwess कुछ जाँच के बाद, " से `` में रूपांतरण मूल पेन ट्रीबैंक शब्द टोकनिज़र का एक आर्टिफैक्ट है।

यह केवल तब होता है जब डबल कोट्स होते हैं, रेगेक्स नियम जो प्रतिस्थापन करते हैं https://github.com/nltk/nltk/blob/develop/nltk/tokenize/treebank.py#L49 हैं

और जहां तक सिंगल कोट्स का सवाल है, ट्रीबैंक टोकेनाइज़र STARTING_QUOTES रेगेक्स हम देखते हैं कि यह दिशात्मकता का संकेत नहीं देता है। मुझे लगता है कि इसे पेन ट्रीबैंक एनोटेशन के अनुरूप रखा गया है।

मुझे उम्मीद है कि स्पष्टीकरण मदद करता है।

alvations 5 मई 2017

👍2

सभी 5 टिप्पणियाँ

हां, यह अपेक्षित आउटपुट है। डबल कोट्स विराम चिह्न स्पष्ट रूप से डबल कोट्स खोलने और बंद करने को दर्शाने के लिए बदलते हैं। शुरुआती " को 2x बैकटिक्स में बदल दिया जाता है और 2x सिंगल कोट्स में बंद कर दिया जाता है।

>>> from nltk import word_tokenize
>>> sent = '"this is a sentence inside double quotes."'
>>> word_tokenize(sent)
['``', 'this', 'is', 'a', 'sentence', 'inside', 'double', 'quotes', '.', "''"]
>>> word_tokenize(sent)[0]
'``'

>>> len(word_tokenize(sent)[0])
2
>>> word_tokenize(sent)[0] == '`'*2
True

>>> len(word_tokenize(sent)[-1])
2
>>> word_tokenize(sent)[-1] == "'" * 2
True

मुझे यकीन नहीं है कि व्यवहार का कारण क्या है। संभवतः, उद्घाटन/समापन उद्धरणों की पहचान करते समय यह स्पष्ट होना चाहिए।

alvations 15 फ़र॰ 2017

स्पष्टीकरण के लिए धन्यवाद।
लेकिन जब मैं डबल कोट्स को एक (या दो) सिंगल कोट्स या बैकटिक्स के साथ बदलता हूं तो यह व्यवहार नहीं होता है।
और मुझे लगता है कि यह थोड़ा अजीब है कि टोकननाइज़र मूल पाठ के कुछ हिस्सों को बदल देता है, क्योंकि इससे समस्याएं हो सकती हैं और यह वास्तव में पारदर्शी नहीं है।

मुझे लगता है कि मुझे इसे ध्यान में रखना होगा, लेकिन मैं पसंद करूंगा कि स्ट्रिंग के मूल तत्व वही रहें।

mwess 21 फ़र॰ 2017

👍1

मुझे उम्मीद है कि स्पष्टीकरण मदद करता है।

alvations 5 मई 2017

👍2

आपका बहुत बहुत धन्यवाद। यह वास्तव में बहुत मदद करता है।

mwess 5 मई 2017

कई अनुप्रयोगों में मूल पाठ को बदलने की अनुशंसा नहीं की जाती है। मेरी इच्छा है कि word_tokenize में पाठ को बदलना बंद करने के लिए एक ध्वज हो।

kovvalsky 12 अप्रैल 2020

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स

Nltk: word_tokenize वर्णों की जगह लेता है

सबसे उपयोगी टिप्पणी

सभी 5 टिप्पणियाँ

संबंधित मुद्दों