Ctags: تُدرج علامات ctags العامة أحرف `utf-8` غير صالحة لملفات معينة

يبدو لي مثل # 1275: الخيار pattern-length-limit يتم قطعه في موضع بايت عشوائي ، والذي يحدث في منتصف تسلسل الأحرف. انظر # 163 و # 640 و # 1018.

ربما يجب تنفيذ شيء مثل https://github.com/universal-ctags/ctags/issues/1275#issuecomment -274489859 لإصلاح ذلك.

@ alphaCTzo7G انظر # 1807 ، هل هذا يصلح لك بشكل صحيح؟

@ b4n ، شكرا لاستجابتك السريعة ...

في الملف الذي قمت بنشره هنا _identifier.py ، باستخدام الالتزام # 1805 ، لم يعد ctags بإدراج أحرف / قطع غير صالحة في موقع عشوائي.

سأجرب هذا العلاقات العامة على نظامي الحقيقي خلال الأيام القليلة القادمة لمعرفة ما إذا كان يعمل مع مستودعاتي بأكملها أو ينبعث منها أخطاء أخرى

نظرًا لأن ctrlp و ctrlp-py-matcher من المكونات الإضافية الشائعة جدًا ، فسيكون رائعًا إذا تم دمج # 1807 حتى يتمكن vim ومستخدمي محرر النصوص الآخرين من استخدام ctrlp و ctrlp-py-matcher دون الحاجة إلى القلق بشأن هذه المشكلة.

كان هناك ملف آخر وجدته يسبب مشاكل ، مع vim.eval ، وكان يحتوي على أحرف utf-8 غير صالحة كما حددها grep -axv '.*' misc.html ( misc.html في https: / /github.com/alphaCTzo7G/test). ما لاحظته هو أن ctags سيُدخل الأحرف غير القانونية utf-8 في ملف العلامات من misc.html .

هل يعقل أن يقوم ctags باكتشاف الأحرف غير الصالحة في الملفات واستبدالها بشيء مثل ما اقترحهtonymec هنا؟ (استبدل التسلسل غير الصحيح بمثيل واحد أو أكثر من الحرف (U + FFFD REPLACEMENT CHARACTER) والمقصود لهذا الغرض بالضبط.): https://github.com/vim/vim/issues/3213#issuecomment -405211243 ؟

يتم توزيع IIUC ، ctags (Exuberant ctags ، أعني ، وهو واحد فقط من برامج ctags المتاحة) بشكل منفصل عن Vim (حتى لو كان مؤلفه يعرف Bram وحتى إذا كانا يعملان معًا في بعض الأحيان لجعل Vim و ctags يعملان بشكل أفضل معًا.

من وجهة نظر ctags ، من الشرعي التعامل مع نص البرنامج على أنه مجرد سلاسل من البايت: بغض النظر عما إذا كان UTF-8 أو Latin1 أو Latin9 أو أي مجموعة أحرف أخرى ISO 8859 ، فإن المسافة هي 0x20 ، وعلامة التبويب الثابتة هي 0x09 ، ربما يكون فاصل الأسطر هو 0x0A مسبوقًا بـ 0x0D ، وما إلى ذلك ؛ والبايت الفارغ ، الذي سيكون 0x00 ، يجب ألا يظهر في ملف نصي. يتعامل Ctags مع كل برنامج بنفس الطريقة بغض النظر عن الترميز المتوافق مع ASCII المكتوب فيه ، وبالتالي لا يحتاج إلى الاهتمام بأي برنامج. فقط بالنسبة لبعض مجموعات الأحرف الغريبة مثل EBCDIC ، هل تحتاج إلى التعامل مع النص على أنه غير ASCII بالتأكيد (في EBCDIC ، IIRC ، AI هي 0xC1-0xC9 ، JR هي 0xD1-0xD9 ، SZ هي 0xE2-0xE9 ، 0-9 هي 0xF0-0xF9 ، ولا أتذكر ما هي الرموز الخاصة بمسافة ، أو علامة تبويب ، أو فاصل أسطر ، أو شرطة ، أو شرطة سفلية ، وما إلى ذلك ؛ لكنك ترى أنه من وجهة نظر ASCII أمر غريب حقًا).

IMHO ، في حالة ctag ، ينطبق المبدأ القديم الجيد: القمامة في الداخل ، والقمامة.

تحياتي الحارة،
توني.

tonymec .. يبدو منطقيًا .. أدرك أنه قد تكون هناك برامج أخرى universal-ctags هو الأكثر شيوعًا ، ومن بين الأشخاص الذين يستخدمون universal-ctags أعتقد أن جزءًا كبيرًا هو vim المستخدمين.

لذا أتساءل عما إذا كان هذان العنصران قد يعملان أم أن لديك أي أفكار أخرى حول كيفية التعامل مع الملفات التي تحتوي على أحرف utf-8 غير قانونية؟

1. لقد لاحظت أيضًا أن ctags لديه هذا الخيار +iconv ، والذي يتيح استخدام libiconv . عندما تستخدم على سطر الأوامر iconv يمكن إزالة غير القانونية utf8 حرفا. لذا فإنني أتساءل إذا قمت بتمرير --input-enconding=utf-8 و --output-encoding=utf-8 ، فسيتم تغيير جميع أحرف utf-8 غير القانونية إلى أحرف utf-8 .

هذا موضح في القسم 1.3.4 من https://media.readthedocs.org/pdf/ctags/latest/ctags.pdf :

Two new options have been introduced (--input-encoding=IN and --output-encoding=OUT). Using the encoding specified with these options ctags converts input from IN to OUT. ctags uses the converted strings when writing the pattern parts of each tag line. As a result the tags output is encoded in OUT encoding. In addition OUT is specified at the top the tags file as the value for the TAG_FILE_ENCODING pseudo tag. The default value of OUT is UTF-8. NOTE: Converted input is NOT passed to language parsers. The parsers still deal with input as a byte sequence. With --input-encoding-<LANG>=IN, you can specify a specific input encoding for LANG. It overrides the global default value given with --input-encoding

1. اترك الأمر للمحرر للتعامل مع أحرف utf8 غير القانونية. في هذه الحالة ، يجب إصلاح إما vim.eval أو يجب أن تكون هناك وظيفة vimL يمكنها تحليل وإزالة الأحرف غير القانونية utf-8 قبل تمريرها إلى vim.eval ..

@ alphaCTzo7G أتفق مع tonymec واستنتاجه.

لسوء الحظ ، هناك مشكلة كبيرة في التعرف على الترميز المناسب - وأنا أصر على أنه مناسب ، لأنه من السهل العثور على ترميز يكون الإدخال فيه صالحًا تقنيًا ، على سبيل المثال ، إن لم يكن كل ترميزات 8 بت ، ولكن معرفة ما إذا كان ذلك صحيحًا واحد صعب أو مستحيل: لنفترض ، كيف يمكن للمرء أن يكون متأكدًا بين مثل ISO 8859-1 و 8859-15؟ تتضمن الحلول إرشادات معقدة حول تكرار الاستخدام والسياق ؛ أو فكرة أكثر سذاجة تنطبق على بعض اللغات مثل HTML ستكون استخراج بيان الترميز داخل الملف ، ولكن قد يكون هذا غير صحيح أيضًا.

أيضًا ، يقف ctags في وضع صعب هنا: لا يتعامل العديد من المستهلكين ، إن لم يكن معظمهم ، مع الترميزات ، ويجب أن تتطابق العلامات التي تم إنشاؤها على مستوى البايت. على سبيل المثال ، لا يؤدي استخدام نمط العلامة أو حتى الاسم إلى تحويل الترميز نيابةً عنك ، لذا يجب أن تتطابق العلامة مع الملف على مستوى البايت. كان الأمر سهلاً عندما كان كل ما كان علينا الاهتمام به هو ASCII ، لكننا لم نعد محظوظين بعد الآن ... لم يتم اعتماد UTF-8 في وقت مبكر بما فيه الكفاية.
ينطبق هذا أيضًا على فكرة الاستعاضة عن الأحرف النائبة: ما الذي يمكن أن يفعله المستهلك بهذه الشخصية البديلة؟ على الأقل يجب أن يتعامل معها بطريقة محددة.

ومع ذلك ، إذا كنت سعيدًا باستبدال UTF-8 غير الصالحة بـ U + FFFD أو تجريدها ، فربما يمكنك ببساطة إخراج ctags بعد العملية؟

@ b4n ، نقدر تعليقك. أنا أتعامل في الغالب مع ملفات utf-8 المشفرة ولديها utf-8 مشفرة للملفات التي أقوم بإنشائها. لسوء الحظ ، كما ذكرت ، فإنني أستخدم مكتبات تميل أحيانًا إلى استخدام ترميزات عشوائية.

أستخدم vim-gutentags ، وهو يوفر وظيفة ما بعد المعالجة. بينما كان بإمكاني معالجة ملف العلامات يدويًا لينتج عنه جميع الملفات بأحرف utf-8 ، عندما حاولت استخدام وظيفة post-processing في vim-gutentags ، لم تنجح . لذلك اعتقدت أنه قد يكون من الأفضل اكتشاف حل أكثر قوة .. ولكن إذا لم يكن ذلك موجودًا ، فسوف يتعين علي النظر فيه مرة أخرى ..

لاكتشاف تشفير الملف ، لا يمكنك استخدام المكتبات الأساسية خلف أحد هذه الخيارات: https://stackoverflow.com/questions/805418/how-to-find-encoding-of-a-file-in-unix عبر البرامج النصية

مثل enca ، file ، uchardet ، enguess ؟ هذه كلها أدوات مساعدة لسطر الأوامر .. ولكن يجب أن تكون هناك مكتبة في مكان ما يمكن استخدامها داخليًا بواسطة ctags ربما. أعتقد أنه بسبب عدد الترميزات ، كما ذكرت ، قد لا يكون من الممكن أبدًا توقع الترميز تمامًا ، ولكن الحل البسيط الذي يغطي معظمه قد يكون أفضل من لا شيء ..

سأحاول تجربة --input-encoding (and/or --input-encoding-<LANG>) and --output-encoding options .. لست متأكدًا مما إذا كان سيعمل طوال الوقت ، لأنه من المحتمل جدًا أن تحتوي ملفات معينة على ترميزات مختلفة في نفس المستودع ، ما لم يكتشف ctags الترميز الصحيح بشكل فردي ويبصقه بالتنسيق المطلوب.