Ctags: 범용 ctags는 특정 파일에 잘못된 'utf-8' 문자를 삽입합니다.

나에게 #1275처럼 들립니다. 새로운 pattern-length-limit 옵션은 문자 시퀀스의 중간에 있는 임의의 바이트 위치에서 절단됩니다. #163, #640 및 #1018을 참조하십시오.

https://github.com/universal-ctags/ctags/issues/1275#issuecomment -274489859와 같은 것이 이 문제를 해결하기 위해 구현되어야 합니다.

@alphaCTzo7G #1807 참조, 제대로 수정되나요?

@b4n , 빠른 답변 감사합니다...

여기에 게시한 파일 _identifier.py 에서 #1805 커밋을 사용하여 ctags 는 더 이상 임의의 위치에 잘못된 문자/컷을 삽입하지 않습니다.

앞으로 며칠 동안 실제 시스템에서 이 PR을 시도하여 전체 리포지토리에서 작동하는지 또는 다른 오류가 발생하는지 확인하겠습니다.

ctrlp 및 ctrlp-py-matcher 는 매우 인기있는 플러그인이므로 #1807이 병합되어 vim 및 기타 텍스트 편집기 사용자가 ctrlp 및 ctrlp-py-matcher 이 문제에 대해 걱정할 필요가 없습니다.

거기에 내가 함께 문제를 일으키는 발견 다른 파일이었다 vim.eval , 그것은 잘못된 포함 utf-8 의 결정에 따라 문자 grep -axv '.*' misc.html ( misc.html HTTPS에 : / /github.com/alphaCTzo7G/test). 내가 알아차린 것은 ctags 가 잘못된 utf-8 문자를 misc.html 의 태그 파일에 삽입한다는 것입니다.

ctags 가 파일에서 유효하지 않은 문자를 감지하고 대신 @tonymec 이 제안한 것과 같은 것으로 대체하는 것이 https://github.com/vim/vim/issues/3213#issuecomment -405211243 ?

IIUC, ctags(Exuberant ctags, 즉, 사용 가능한 ctags 프로그램 중 하나임)는 Vim과 별도로 배포됩니다.

ctags의 관점에서 보면 프로그램 텍스트를 바이트 문자열로 취급하는 것이 합당합니다. UTF-8, Latin1, Latin9 또는 기타 ISO 8859 charset에 관계없이 공백은 0x20, 하드 탭은 0x09, 줄 바꿈은 0x0A 앞에 0x0D 등이 올 수 있습니다. 0x00이 되는 널 바이트는 텍스트 파일에 나타나지 않아야 합니다. Ctags는 작성된 ASCII 호환 인코딩에 관계없이 모든 프로그램을 동일한 방식으로 처리하므로 어느 것이 어느 것인지 신경 쓸 필요가 없습니다. EBCDIC와 같은 일부 이상한 문자 집합의 경우에만 텍스트를 ASCII가 아닌 것으로 처리해야 합니다(EBCDIC, IIRC에서 AI는 0xC1-0xC9, JR은 0xD1-0xD9, SZ는 0xE2-0xE9, 0-9는 0xF0-0xF9). , 그리고 공백, 탭, 줄 바꿈, 대시, 밑줄 등의 코드가 무엇인지 기억나지 않지만 ASCII 관점에서 보면 정말 이상하다는 것을 알 수 있습니다.

IMHO, ctag의 경우, 가비지 인, 가비지 아웃이라는 오래된 원칙이 적용됩니다.

친애하는,
토니.

@tonymec .. 말이 universal-ctags 가 가장 인기 있고 universal-ctags 사용하는 사람들 사이에서 내 추측으로는 큰 부분이 될 것입니다. vim 사용자입니다.

그래서 이 두 가지가 작동할 수 있는지 아니면 불법 utf-8 문자가 있는 파일을 처리하는 방법에 대한 다른 아이디어가 있는지 궁금합니다.

1. 나는 또한 눈치 ctags 이 옵션이 +iconv 의 사용 가능, libiconv . iconv 명령줄에서 사용하면 잘못된 utf8 문자를 제거할 수 있습니다. 그래서 --input-enconding=utf-8 및 --output-encoding=utf-8 를 전달하면 모든 불법 utf-8 문자가 합법적인 utf-8 문자로 변경되는지 궁금합니다.

이것은 https://media.readthedocs.org/pdf/ctags/latest/ctags.pdf의 섹션 1.3.4에 설명되어

Two new options have been introduced (--input-encoding=IN and --output-encoding=OUT). Using the encoding specified with these options ctags converts input from IN to OUT. ctags uses the converted strings when writing the pattern parts of each tag line. As a result the tags output is encoded in OUT encoding. In addition OUT is specified at the top the tags file as the value for the TAG_FILE_ENCODING pseudo tag. The default value of OUT is UTF-8. NOTE: Converted input is NOT passed to language parsers. The parsers still deal with input as a byte sequence. With --input-encoding-<LANG>=IN, you can specify a specific input encoding for LANG. It overrides the global default value given with --input-encoding

1. 불법 utf8 문자를 처리하는 것은 편집기에 맡기십시오. 이 경우 vim.eval 를 수정하거나 vim.eval 전달하기 전에 잘못된 utf-8 문자를 구문 분석하고 제거할 수 있는 vimL 함수가 있어야 합니다 vim.eval ..

@alphaCTzo7G @tonymec 과 그의 결론에 동의합니다.

불행히도, 적절한 인코딩을 인식하는 것은 많은 문제가 있습니다. 그리고 입력이 기술적으로 유효한 인코딩을 찾기가 쉽기 때문에 적절하다고 주장합니다. 하나는 까다롭거나 불가능합니다. 예를 들어 ISO 8859-1과 8859-15 사이를 어떻게 확신할 수 있습니까? 솔루션에는 사용 빈도 및 컨텍스트에 대한 복잡한 휴리스틱이 포함됩니다. 또는 HTML과 같은 일부 언어에 적용할 수 있는 보다 순진한 아이디어는 파일 내부의 인코딩 문을 추출하는 것이지만, 그것도 역시 올바르지 않을 수 있습니다.

또한 ctags 는 여기서 어려운 위치에 있습니다. 대부분은 아니지만 많은 소비자가 인코딩을 처리하지 않으며 생성된 태그는 바이트 수준에서 일치해야 합니다. 예를 들어, 태그 패턴이나 이름에 대한 grepping은 인코딩을 변환하지 않으므로 태그는 바이트 수준에서 파일과 일치해야 합니다. 우리가 신경 써야 하는 것이 ASCII였을 때는 쉬웠지만 더 이상 운이 좋지 않습니다... UTF-8은 충분히 일찍 채택되지 않았습니다.
이는 자리 표시자 문자로 대체하는 아이디어에도 적용됩니다. 소비자는 대체 문자로 무엇을 할 수 있습니까? 최소한 특정 방식으로 처리해야 합니다.

그러나 유효하지 않은 UTF-8을 U+FFFD로 교체하거나 제거하는 데 만족한다면 단순히 ctags의 출력을 후처리할 수 있습니까?

@b4n , 귀하의 의견에 감사드립니다. 저는 실제로 utf-8 인코딩된 파일을 주로 처리하고 제가 만든 파일에 대해 utf-8 인코딩했습니다. 불행히도, 당신이 언급했듯이 나는 때때로 임의의 인코딩을 갖는 경향이 있는 라이브러리를 사용합니다.

저는 vim-gutentags 사용하며 후처리 기능을 제공합니다. 내가 수동으로 모든 파일에 결과에 태그 파일을 게시-처리 할 수 있지만 utf-8 내가 사용하려고 할 때 문자, post-processing 에서 기능 vim-gutentags , 그것은 작동하지 않았다 . 그래서 좀 더 강력한 솔루션을 찾는게 나을지도 모른다는 생각이 들었는데..없으면 다시 고민해봐야겠네요..

파일 인코딩을 감지하려면 다음 옵션 중 하나 뒤에 있는 기본 라이브러리를 사용할 수 없습니다. https://stackoverflow.com/questions/805418/how-to-find-encoding-of-a-file-in-unix - 스크립트를 통해

enca , file , uchardet , enguess ? 이것들은 모두 명령줄 유틸리티입니다. 그러나 ctags 내부적으로 사용할 수 있는 라이브러리가 어딘가에 있어야 합니다. 제 생각에는 인코딩 수 때문에 말씀하신 것처럼 인코딩을 완벽하게 예측하는 것은 절대 불가능할 수 있지만 대부분을 포함하는 간단한 솔루션은 없는 것보다 나을 수 있습니다.

--input-encoding (and/or --input-encoding-<LANG>) and --output-encoding options 을 사용해 보겠습니다. ctags 파악하지 않는 한 특정 파일이 동일한 저장소에서 다른 인코딩을 가질 가능성이 매우 높기 때문에 항상 작동할지 여부는 확실하지 않습니다. 인코딩을 개별적으로 수정하고 원하는 형식으로 출력합니다.