Ctags: Ctag universal menyisipkan karakter `utf-8` yang tidak valid untuk file tertentu

Kedengarannya seperti #1275 bagi saya: opsi pattern-length-limit yang baru memotong pada posisi byte yang berubah-ubah, yang kebetulan berada di tengah urutan karakter. Lihat #163, #640 dan #1018.

Sesuatu seperti https://github.com/universal-ctags/ctags/issues/1275#issuecomment -274489859 mungkin harus diterapkan untuk memperbaikinya.

@alphaCTzo7G lihat #1807, apakah itu memperbaikinya dengan benar untuk Anda?

@b4n , terima kasih atas respon cepatnya...

Pada file yang saya posting di sini _identifier.py , menggunakan komit #1805, ctags tidak lagi menyisipkan karakter/potongan yang tidak valid di lokasi yang berubah-ubah.

Saya akan mencoba PR ini pada sistem saya yang sebenarnya selama beberapa hari ke depan untuk melihat apakah itu berfungsi untuk seluruh repositori saya atau memancarkan kesalahan lain

Karena ctrlp dan ctrlp-py-matcher adalah plugin yang sangat populer, akan sangat bagus jika #1807 digabungkan sehingga vim dan pengguna editor teks lainnya dapat menggunakan ctrlp dan ctrlp-py-matcher tanpa harus khawatir tentang masalah ini.

Ada file lain yang saya temukan menyebabkan masalah, dengan vim.eval , dan berisi karakter utf-8 tidak valid seperti yang ditentukan oleh grep -axv '.*' misc.html ( misc.html di https:/ /github.com/alphaCTzo7G/test). Apa yang saya perhatikan adalah bahwa ctags akan memasukkan karakter utf-8 valid ke dalam file tag dari misc.html .

Apakah masuk akal jika ctags mendeteksi karakter yang tidak valid dalam file dan menggantinya dengan sesuatu seperti yang disarankan @tonymec di sini? (ganti urutan yang tidak valid dengan satu atau lebih contoh karakter (U+FFFD REPLACEMENT CHARACTER) yang dimaksudkan untuk tujuan tersebut.): https://github.com/vim/vim/issues/3213#issuecomment -405211243 ?

IIUC, ctags (Ctags yang meriah, maksud saya, yang hanya merupakan salah satu program ctags yang tersedia) didistribusikan secara terpisah dari Vim (bahkan jika pembuatnya mengenal Bram dan bahkan jika mereka kadang-kadang bekerja sama untuk membuat Vim dan ctags bekerja lebih baik bersama-sama.

Dari sudut pandang ctag, adalah sah untuk memperlakukan teks program hanya sebagai string byte: terlepas dari apakah itu UTF-8, Latin1, Latin9 atau beberapa rangkaian karakter ISO 8859 lainnya, spasi adalah 0x20, tab keras adalah 0x09, jeda baris adalah 0x0A mungkin didahului oleh 0x0D, dll.; dan byte nol, yang akan menjadi 0x00, seharusnya tidak muncul dalam file teks. Ctags memperlakukan setiap program dengan cara yang sama terlepas dari pengkodean yang kompatibel dengan ASCII mana yang ditulis, dan karena itu tidak perlu peduli yang mana. Hanya untuk beberapa rangkaian karakter aneh seperti EBCDIC yang perlu memperlakukan teks sebagai non-ASCII (dalam EBCDIC, IIRC, AI adalah 0xC1-0xC9, JR adalah 0xD1-0xD9, SZ adalah 0xE2-0xE9, 0-9 adalah 0xF0-0xF9 , dan saya tidak ingat apa kode untuk spasi, tab, jeda baris, tanda hubung, garis bawah, dll.; tetapi Anda melihat bahwa dari sudut pandang ASCII itu benar-benar aneh).

IMHO, dalam kasus ctag, prinsip lama yang baik berlaku: sampah masuk, sampah keluar.

Salam,
Toni.

@tonymec .. masuk akal.. Saya menyadari bahwa mungkin ada program pembuatan tag lain, tetapi universal-ctags adalah yang paling populer, dan di antara orang-orang yang menggunakan universal-ctags tebakan saya adalah sebagian besar adalah vim pengguna.

Jadi saya ingin tahu apakah 2 ini dapat berfungsi atau Anda memiliki ide lain tentang cara menangani file yang memiliki karakter utf-8 ilegal?

1. Saya juga memperhatikan bahwa ctags memiliki opsi ini +iconv , yang memungkinkan penggunaan libiconv . Ketika digunakan pada baris perintah iconv dapat menghapus karakter ilegal utf8 . Jadi saya bertanya-tanya apakah saya melewati --input-enconding=utf-8 dan --output-encoding=utf-8 , maka semua karakter utf-8 ilegal akan diubah menjadi karakter utf-8 legal.

Ini dijelaskan di bagian 1.3.4 dari https://media.readthedocs.org/pdf/ctags/latest/ctags.pdf :

Two new options have been introduced (--input-encoding=IN and --output-encoding=OUT). Using the encoding specified with these options ctags converts input from IN to OUT. ctags uses the converted strings when writing the pattern parts of each tag line. As a result the tags output is encoded in OUT encoding. In addition OUT is specified at the top the tags file as the value for the TAG_FILE_ENCODING pseudo tag. The default value of OUT is UTF-8. NOTE: Converted input is NOT passed to language parsers. The parsers still deal with input as a byte sequence. With --input-encoding-<LANG>=IN, you can specify a specific input encoding for LANG. It overrides the global default value given with --input-encoding

1. serahkan pada editor untuk menangani karakter ilegal utf8 . Dalam hal ini, vim.eval harus diperbaiki atau harus ada fungsi vimL yang dapat mengurai dan menghapus karakter utf-8 ilegal sebelum meneruskannya ke vim.eval ..

@alphaCTzo7G Saya setuju dengan @tonymec dan kesimpulannya.

Sayangnya, banyak masalah dalam mengenali penyandian yang tepat -- dan saya bersikeras pada yang benar, karena mudah untuk menemukan penyandian di mana input akan valid secara teknis, katakanlah sebagian besar jika tidak semua penyandian 8bit akan, tetapi mengetahui apakah itu benar satu rumit atau tidak mungkin: katakanlah, bagaimana seseorang bisa yakin antara misalnya ISO 8859-1 dan 8859-15? Solusi termasuk heuristik kompleks tentang frekuensi penggunaan dan konteks; atau ide yang lebih naif yang berlaku untuk beberapa bahasa seperti HTML akan mengekstraksi pernyataan penyandian di dalam file, tetapi itu juga bisa salah.

Selain itu, ctag berada dalam posisi yang sulit di sini: banyak, jika bukan sebagian besar, konsumen tidak menangani penyandian, dan tag yang dihasilkan harus cocok pada tingkat byte. Misalnya, menangkap pola tag atau bahkan nama tidak akan mengonversi penyandian untuk Anda, jadi tag harus cocok dengan file pada tingkat byte. Itu mudah ketika semua yang kita harus pedulikan adalah ASCII, tapi kita tidak seberuntung itu lagi… UTF-8 tidak diadopsi cukup awal.
Ini juga berlaku untuk ide penggantian dengan karakter pengganti: apa yang dapat dilakukan konsumen dengan karakter pengganti seperti itu? Setidaknya harus menanganinya dengan cara tertentu.

Namun, jika Anda senang mengganti UTF-8 yang tidak valid dengan U+FFFD atau menghapusnya, mungkin Anda dapat dengan mudah memposting output ctags?

@b4n , hargai komentar Anda. Saya sebenarnya kebanyakan berurusan dengan file yang disandikan utf-8 dan memiliki utf-8 dikodekan untuk file yang saya buat. Sayangnya, seperti yang Anda sebutkan, saya menggunakan perpustakaan yang terkadang memiliki penyandian yang terkadang berubah-ubah.

Saya menggunakan vim-gutentags , dan itu menyediakan fungsionalitas pasca-pemrosesan. Meskipun saya dapat secara manual mem-posting file tag untuk menghasilkan semua file dalam karakter utf-8 , ketika saya mencoba menggunakan fungsi post-processing dalam vim-gutentags , itu tidak berhasil . Jadi saya pikir mungkin lebih baik untuk mencari solusi yang lebih kuat.. tetapi jika itu tidak ada, saya harus memeriksanya lagi..

Untuk mendeteksi penyandian file, tidak bisakah Anda menggunakan pustaka yang mendasari di balik salah satu opsi ini: https://stackoverflow.com/questions/805418/how-to-find-encoding-of-a-file-in-unix -via-skrip

seperti enca , file , uchardet , enguess ? Ini semua adalah utilitas baris perintah.. tetapi harus ada beberapa perpustakaan di suatu tempat yang dapat digunakan secara internal oleh ctags mungkin. Dugaan saya adalah karena jumlah penyandian, seperti yang Anda sebutkan, mungkin tidak akan pernah mungkin untuk memprediksi penyandian dengan sempurna, tetapi solusi sederhana yang mencakup sebagian besar mungkin lebih baik daripada tidak sama sekali..

Saya akan mencoba --input-encoding (and/or --input-encoding-<LANG>) and --output-encoding options .. Tidak yakin apakah itu akan bekerja sepanjang waktu, karena sangat mungkin bahwa file tertentu akan memiliki penyandian yang berbeda dalam repositori yang sama, kecuali ctags mengetahui pengkodean yang benar secara individual dan meludahkannya dalam format yang diinginkan.