Ctags: यूनिवर्सल ctags कुछ फ़ाइलों के लिए अमान्य `utf-8` वर्ण सम्मिलित करता है

मेरे लिए #1275 जैसा लगता है: नया pattern-length-limit विकल्प एक मनमाना बाइट स्थिति में काट रहा है, जो एक चरित्र अनुक्रम के बीच में होता है। #163, #640 और #1018 देखें।

इसे ठीक करने के लिए https://github.com/universal-ctags/ctags/issues/1275#issuecomment -274489859 जैसा कुछ लागू किया जाना चाहिए।

@alphaCTzo7G #1807 देखें, क्या यह आपके लिए इसे ठीक करता है?

@ बी 4 एन , आपकी त्वरित प्रतिक्रिया के लिए धन्यवाद ...

फ़ाइल पर जिसे मैंने यहां पोस्ट किया है _identifier.py , #1805 कमिट का उपयोग करते हुए, ctags अब मनमाने स्थान पर अमान्य वर्ण/कटौती सम्मिलित नहीं करता है।

मैं अगले कुछ दिनों में इस पीआर को अपने वास्तविक सिस्टम पर आज़माउंगा यह देखने के लिए कि क्या यह मेरे पूरे भंडार के लिए काम करता है या अन्य त्रुटियों का उत्सर्जन करता है

चूंकि ctrlp और ctrlp-py-matcher बहुत लोकप्रिय प्लगइन्स हैं, यह बहुत अच्छा होगा यदि #1807 को मर्ज कर दिया जाए तो vim और अन्य टेक्स्ट-एडिटर उपयोगकर्ता ctrlp उपयोग कर सकते हैं और ctrlp-py-matcher इस मुद्दे के बारे में चिंता किए बिना।

एक और फ़ाइल थी जो मुझे मिली थी, जो vim.eval साथ समस्याएं पैदा कर रही थी, और इसमें grep -axv '.*' misc.html ( misc.html https:/ द्वारा निर्धारित अमान्य utf-8 वर्ण शामिल थे। /github.com/alphaCTzo7G/test)। मैंने जो देखा वह यह है कि ctags अमान्य utf-8 वर्णों को टैग फ़ाइल में misc.html सम्मिलित करेगा।

क्या यह ctags लिए फाइलों में अमान्य वर्णों का पता लगाने के लिए समझ में आता है और इसके बजाय उन्हें कुछ इस तरह से प्रतिस्थापित करता है जैसे @tonymec ने यहां सुझाव दिया था? (अवैध अनुक्रम को वर्ण के एक या अधिक उदाहरणों से बदलें - (U+FFFD प्रतिस्थापन वर्ण) जो ठीक उसी उद्देश्य के लिए है।): https://github.com/vim/vim/issues/3213#issuecomment -405211243 ?

IIUC, ctags (विपुल ctags, मेरा मतलब है, जो उपलब्ध ctags प्रोग्रामों में से केवल एक है) विम से अलग से वितरित किया जाता है (भले ही इसके लेखक ब्रैम को जानते हों और भले ही वे कभी-कभी विम और ctags को एक साथ बेहतर काम करने के लिए मिलकर काम करते हों।

ctags के दृष्टिकोण से, प्रोग्राम टेक्स्ट को केवल बाइट्स के स्ट्रिंग्स के रूप में मानना ​​वैध है: चाहे वह UTF-8, लैटिन1, लैटिन9 या कोई अन्य ISO 8859 वर्णसेट हो, एक स्पेस 0x20 है, एक हार्ड टैब 0x09 है, एक लाइन ब्रेक 0x0A है संभवतः 0x0D, आदि से पहले; और एक अशक्त बाइट, जो 0x00 होगी, किसी पाठ फ़ाइल में प्रकट नहीं होनी चाहिए। Ctags प्रत्येक प्रोग्राम को उसी तरह से व्यवहार करता है, भले ही वह ASCII-संगत एन्कोडिंग में लिखा गया हो, और इसलिए उसे इस बात की परवाह करने की आवश्यकता नहीं है कि कौन सा है। केवल EBCDIC जैसे कुछ बाहरी वर्णों के लिए इसे पाठ को निश्चित रूप से गैर-ASCII (EBCDIC, IIRC, AI में 0xC1-0xC9, JR 0xD1-0xD9, SZ 0xE2-0xE9, 0-9 0xF0-0xF9 हैं) के रूप में व्यवहार करने की आवश्यकता है। , और मुझे याद नहीं है कि किसी स्पेस, टैब, लाइन ब्रेक, डैश, अंडरस्कोर आदि के लिए कोड क्या हैं; लेकिन आप देखते हैं कि ASCII के दृष्टिकोण से यह वास्तव में अजीब है)।

आईएमएचओ, सीटीएजी के मामले में, अच्छा पुराना सिद्धांत लागू होता है: कचरा अंदर, कचरा बाहर।

सादर,
टोनी।

@tonymec .. समझ में आता है .. मुझे एहसास है कि अन्य टैग जनरेशन प्रोग्राम हो सकते हैं, लेकिन universal-ctags सबसे लोकप्रिय है, और universal-ctags का उपयोग करने वाले लोगों में मेरा अनुमान है कि एक बड़ा हिस्सा होगा vim उपयोगकर्ता हैं।

तो मैं सोच रहा था कि क्या ये 2 काम कर सकते हैं या आपके पास कोई अन्य विचार है कि अवैध utf-8 वर्णों वाली फ़ाइलों को कैसे संभालना है?

1. मैं यह भी देखा कि ctags के इस विकल्प है +iconv , जिनमें से उपयोग में सक्षम बनाता है libiconv । जब कमांड लाइन पर उपयोग किया जाता है तो iconv अवैध utf8 वर्णों को हटा सकता है। तो मुझे आश्चर्य है कि अगर मैं --input-enconding=utf-8 और --output-encoding=utf-8 पास करता हूं, तो सभी अवैध utf-8 वर्णों को कानूनी utf-8 वर्णों में बदल दिया जाएगा।

इसे https://media.readthedocs.org/pdf/ctags/latest/ctags.pdf के खंड 1.3.4 में समझाया गया है:

Two new options have been introduced (--input-encoding=IN and --output-encoding=OUT). Using the encoding specified with these options ctags converts input from IN to OUT. ctags uses the converted strings when writing the pattern parts of each tag line. As a result the tags output is encoded in OUT encoding. In addition OUT is specified at the top the tags file as the value for the TAG_FILE_ENCODING pseudo tag. The default value of OUT is UTF-8. NOTE: Converted input is NOT passed to language parsers. The parsers still deal with input as a byte sequence. With --input-encoding-<LANG>=IN, you can specify a specific input encoding for LANG. It overrides the global default value given with --input-encoding

1. अवैध utf8 वर्णों को संभालने के लिए इसे संपादक पर छोड़ दें। उस स्थिति में, या तो vim.eval को ठीक करना होगा या एक vimL फ़ंक्शन होना चाहिए जो vim.eval को पास करने से पहले अवैध utf-8 वर्णों को पार्स और हटा सकता है। vim.eval ..

@alphaCTzo7G मैं @tonymec और उनके निष्कर्ष से सहमत हूं।

दुर्भाग्य से, उचित एन्कोडिंग को पहचानने में बहुत परेशानी होती है - और मैं उचित पर जोर देता हूं, क्योंकि एक एन्कोडिंग ढूंढना आसान है जिसमें इनपुट तकनीकी रूप से मान्य होगा, अधिकांश कहें यदि सभी 8 बिट एन्कोडिंग नहीं होंगे, लेकिन यह जानना कि यह सही है या नहीं एक मुश्किल या असंभव है: कहें, आईएसओ 8859-1 और 8859-15 के बीच कोई कैसे सुनिश्चित हो सकता है? समाधानों में उपयोग आवृत्ति और संदर्भ के बारे में जटिल अनुमानी शामिल हैं; या HTML जैसी कुछ भाषाओं पर लागू होने वाला एक अधिक भोला विचार फ़ाइल के अंदर एन्कोडिंग स्टेटमेंट को निकालना होगा, लेकिन यह गलत भी हो सकता है।

इसके अलावा, ctags यहां एक कठिन स्थिति में है: कई, यदि अधिकतर नहीं, तो उपभोक्ता एन्कोडिंग को संभाल नहीं पाते हैं, और जेनरेट किए गए टैग को बाइट स्तर पर मिलान करने की आवश्यकता होती है। उदाहरण के लिए, टैग पैटर्न या यहां तक ​​कि नाम के लिए ग्रीपिंग करना आपके लिए एन्कोडिंग को रूपांतरित नहीं करेगा, इसलिए टैग को बाइट स्तर पर फ़ाइल से मेल खाना चाहिए। यह आसान था जब हमें केवल ASCII की परवाह थी, लेकिन अब हम इतने भाग्यशाली नहीं हैं ... UTF-8 को जल्दी से अपनाया नहीं गया था।
यह प्लेसहोल्डर वर्णों के साथ बदलने के विचार पर भी लागू होता है: उपभोक्ता ऐसे प्रतिस्थापन चरित्र के साथ क्या कर सकता है? इसे कम से कम इसे एक विशिष्ट तरीके से संभालना होगा।

हालांकि, अगर आप अमान्य UTF-8 को U+FFFD से बदलने या उन्हें अलग करने से खुश हैं, तो शायद आप ctags के आउटपुट को पोस्ट-प्रोसेस कर सकते हैं?

@ बी 4 एन , आपकी टिप्पणी की सराहना करते हैं। मैं वास्तव में ज्यादातर utf-8 एन्कोडेड फाइलों से निपटता हूं और मेरे द्वारा बनाई गई फाइलों के लिए utf-8 एन्कोडेड है। दुर्भाग्य से, जैसा कि आपने बताया है कि मैं पुस्तकालयों का उपयोग करता हूं जिनमें कभी-कभी मनमानी एन्कोडिंग होती है।

मैं vim-gutentags उपयोग करता हूं, और यह पोस्ट-प्रोसेसिंग कार्यक्षमता प्रदान करता है। मैं मैन्युअल रूप से पोस्ट-प्रक्रिया कर सकता है टैग फ़ाइल में सभी फाइलों में परिणाम की utf-8 वर्ण, जब मैं का उपयोग करने की कोशिश की post-processing में कार्यक्षमता vim-gutentags , यह काम नहीं किया . तो मैंने सोचा कि एक और मजबूत समाधान निकालना बेहतर हो सकता है .. लेकिन अगर वह अस्तित्व में नहीं है तो मुझे इसे फिर से देखना होगा ..

फ़ाइल के एन्कोडिंग का पता लगाने के लिए आप इन विकल्पों में से किसी एक के पीछे अंतर्निहित पुस्तकालयों का उपयोग नहीं कर सकते: https://stackoverflow.com/questions/805418/how-to-find-encoding-of-a-file-in-unix -के माध्यम से लिपियों

जैसे enca , file , uchardet , enguess ? ये सभी कमांड लाइन उपयोगिताएँ हैं .. लेकिन कहीं न कहीं कुछ पुस्तकालय होना चाहिए जो आंतरिक रूप से ctags द्वारा उपयोग किया जा सकता है। मेरा अनुमान एन्कोडिंग की संख्या के कारण है, जैसा कि आपने उल्लेख किया है, एन्कोडिंग की पूरी तरह से भविष्यवाणी करना कभी भी संभव नहीं हो सकता है, लेकिन इसमें से अधिकांश को कवर करने वाला एक साधारण समाधान कुछ भी नहीं से बेहतर हो सकता है ..

मैं --input-encoding (and/or --input-encoding-<LANG>) and --output-encoding options आज़माउंगा .. सुनिश्चित नहीं है कि यह हर समय काम करेगा, क्योंकि यह बहुत संभव है कि कुछ फाइलों में एक ही भंडार में अलग-अलग एन्कोडिंग होंगे, जब तक कि ctags आंकड़े नहीं बताते अलग-अलग एन्कोडिंग को सही करें और इसे वांछित प्रारूप में थूक दें।