Linenoise: 멀티바이트 지원 추가

참조: http://www.cl.cam.ac.uk/~mgk25/unicode.html

utf-8을 지원하는 내 포크 https://github.com/msteveb/linenoise를 살펴보십시오.

이 모든 기능이 정말로 필요합니까? 나는 그 내용에 익숙하지 않지만 문자열의 길이가 문자열의 문자 수와 동일하다고 가정되는 strlen() 대신 mbstowcs()를 사용하여 몇 가지 이상한 문제를 쉽게 고쳤습니다. 하지만 백스페이스를 사용하여 와이드 문자 삭제를 수정하는 방법을 찾지 못했습니다.

여기서 접근 방식은 utf-8에 대한 시스템 지원에 대한 의존도를 피하는 것입니다. 예를 들어, 직렬 포트를 통해 utf-8 콘솔을 여전히 행복하게 실행할 수 있는 로케일 지원 없이 uClibc를 실행하는 시스템이 있습니다. 물론 다른 접근 방식을 취하는 것도 환영합니다.

비슷한 문제가 있습니다. 쉘 구현을 위해 라인 노이즈를 시도했습니다. 컬러 프롬프트를 원하면 이스케이프 코드가 길이 계산에 포함됩니다.

더 간단하고 쉬운 수정은 다음을 수행하는 것입니다.

1) 프롬프트의 길이를 직접 지정할 수 있습니다.
2) 프롬프트를 출력한 후 터미널 명령을 사용하여 커서의 위치를 ​​추출합니다(가능한지 확실하지 않음)

나는 이것을 mongo shell의 코드에서 찾는다. 멀티바이트 문자가 있을 때 커서가 이상하게 움직이는 CLI 도구(mongo, redis-cli, node)가 점점 더 많아지면 항상 짜증이 납니다. 다른 사람들이 linenoise나 다른 것을 사용하고 있는지는 모르겠지만 이 문제가 해결되었으면 합니다 :-)

너비를 직접 지정할 수 있도록 수정된 linenoise를 만들었으므로 응용 프로그램에 대한 추가 작업이지만 최소한 가능합니다. 약 3개월 정도 문제 없이 사용하고 있습니다. 아마도 pull request로 변환하겠습니다.

내 포크의 'utf-8 지원' 분기 는 최신 linenoise 버전 1.0에 나타나는 다음 UTF-8 문제를 수정했습니다.

• 멀티바이트 문자: ö (U+00F6)
• 다중 코드 문자: ö (U+006F U+0308)
• 와이드 문자: 日本語 ('일본어')
• 위의 문자와 ANSI 이스케이프 처리된 컬러 텍스트를 포함하는 프롬프트 텍스트.

나는 먼저 https://github.com/msteveb/linenoise를 시도했습니다

안녕하세요, 저는 이 문제로 다음과 같은 길을 갈 생각을 하고 있습니다.

1. C 일반 문자열 함수가 다중 바이트 인식 함수로 대체되어야 하는 위치를 확인하려면 @yhrose 를 참조로 사용하십시오.
2. linenoise 사용자가 문자열 길이 계산을 위한 대체 함수를 설정할 수 있는 API를 내보냅니다. 함수를 기본 C 함수로 설정합니다.
3. 멀티바이트 지원을 위해 길이 함수를 설정하기 위해 linenoise 새 함수를 호출하여 애플리케이션에 추가할 수 있는 분리된 파일로 @yrose 코드를 포함합니다.

이 방법으로 우리는 linenoise 단순성이 거의 그대로 유지된다는 것을 얻습니다. 그러나 선택적으로 C++ 함수, 다른 사용자 제공 함수, 표준 함수와 다른 다른 사용자 제공 함수, 또는 프로젝트가 C로 되어 있고 @yhirose가 이미 쓴 것을

당신에게 의미가 있습니까? 감사 해요.

@antirez , 멀티바이트 코드 사용자에게 관심을 가져주셔서 감사합니다! 당신이 제시한 아이디어는 나에게 완전히 의미가 있습니다. linenoise 라이브러리 자체가 확장성을 제공할 수 있다면 다른 멀티바이트 인코딩 지원을 쉽게 추가할 수 있기 때문에 더욱 기쁩니다.

내 포크에서 볼 수 있듯이 '멀티 바이트' 지원을 활성화하는 가장 중요한 개념은 텍스트 버퍼의 ' 바이트 위치/너비 '와 화면의 ' 열 위치/너비 '를 명확하게 구분하는 것입니다. 다음은 UTF-8의 몇 가지 예입니다.

• あ (U+3042): E3 81 82 (3바이트): 와이드(2열 너비)
• ö (U+00F6): C3 B6 (2바이트): 좁음(1열 너비)
• ö (U+006F U+0308): 6F CC 88 (3바이트): 좁음(1열 너비)

차이점을 알게 되면 멀티바이트 코드를 올바르게 처리하는 것이 매우 쉽습니다. 첫 번째 커밋의 변경 사항에서 아이디어를 파악할 수 있습니다. 두 번째 커밋 에서도 프롬프트 텍스트에 동일한 원칙을 적용했습니다.

우리가 주의해야 할 유일한 곳은 멀티라인 모드 처리 코드입니다. 예를 들어, 마지막 문자가 와이드이고 현재 행에 1개의 열만 남아 있는 경우 해당 와이드 문자는 나머지 공간에 맞지 않습니다. 따라서 와이드 문자는 다음 줄의 시작 부분에 표시되어야 합니다. 이 코드 가 처리합니다.

내가 한 또 다른 일은 세 번째 커밋 에서 열 위치/너비를 계산할 때 모든 ANSI 이스케이프 시퀀스 문자를 건너뛰는 것입니다. 이 변경을 통해 프롬프트 텍스트에서 색상을 사용할 수 있습니다.

가까운 시일 내에 새로운 API를 보게 되어 매우 기쁩니다. 이 문제에 대해 질문이 있으면 알려주세요. 나는 당신이 훌륭한 일을 할 것이라고 확신합니다!!

디자인 목표에 따라 linenoise 코드와 UTF-8 인코딩 코드 간의 종속성에 대해 자세히 조사한 후 다른 인코딩 지원을 추가할 때 세 가지 기능만 필요하다는 것을 깨달았습니다.

연구를 기반으로 내 지점을 업데이트했습니다. 다음은 linenoise 헤드와 utf8-support 분기 간의 차이점 입니다. 거기에서 볼 수 있듯이 linenoise.c 에서 모든 UTF-8 특정 코드를 제거하고 encodings/utf8.h 및 encodings/utf8.c 넣었습니다. 또한 linenoise.h에 linenoiseSetEncodingFunctions 라는 실험 API를 추가하여 사용자가 고유한 인코딩 기능 세트를 설정할 수 있도록 했습니다. 모든 기능이 여전히 작동하는 것을 확인했습니다.

다음은 현재 실험용 API의 스니펫입니다.

typedef size_t (linenoisePrevCharLen)(const char *buf, size_t buf_len, size_t pos, size_t *col_len);
typedef size_t (linenoiseNextCharLen)(const char *buf, size_t buf_len, size_t pos, size_t *col_len);
typedef size_t (linenoiseReadCode)(int fd, char *buf, size_t buf_len, int* c);

void linenoiseSetEncodingFunctions(
    linenoisePrevCharLen *prevCharLenFunc,
    linenoiseNextCharLen *nextCharLenFunc,
    linenoiseReadCode *readCodeFunc);

linenoisePrevCharLen 및 linenoiseNextCharLen 는 바이트 길이 를 반환 값으로 반환하고 열 길이 를 col_len 매개변수로 설정합니다. linenoiseReadCode 바이트 를 buf 로 읽고 바이트 를 변환하고 인코딩에 의미 있는 문자 코드를 c 매개변수로 설정합니다.

사용자가 linenoiseSetEncodingFunctions 호출하지 않으면 _default_ 구현을 호출하게 됩니다. 그들은 단순히 _1바이트_를 문자로 처리합니다.

이 게시물이 새로운 인코딩 API를 설계할 때 도움이 되기를 바랍니다. 나는 정말 그것을 기대하고있다!!

@yhirose 정말 멋진 작품입니다!!! :-) 코드를 확인하고 병합하겠습니다. 감사합니다.

아직 병합되지 않았습니까?

@antirez 병합에 진전이 있습니까?

'힌트' 기능과 같은 원래 linenoise의 최근 변경 사항을 따라잡기 위해 포크(https://github.com/yhrose/linenoise/tree/utf8-support)를 수정했습니다.

@yhirose 정말 감사합니다. 좋은 코드를 더 잘 만들었습니다! 그리고 내
더 쉽게!

@sonophoto

2016년 6월 27일 월요일 18:56:45 -0700에 yhirose는 다음과 같이 썼습니다.

   I have modified my fork 

(https://github.com/yrose/linenoise/tree/utf8-support) 따라잡기
'힌트'와 같은 원래 linenoise에 적용된 최근 변경 사항으로
특징.
—
이 스레드에 가입했기 때문에 이 메시지를 받고 있습니다.
이 이메일에 직접 답장하거나 GitHub에서 보거나 스레드를 음소거하세요.

*

내 포크(https://github.com/yrose/linenoise/tree/utf8-support)는 이제 유니코드 9.0을 지원합니다.

@antirez 가까운 장래에 @yhirose 의 멀티바이트 지원을 병합할 자유 시간이 있습니까? 아니면 그때까지 @yhirose 의 포크를 사용하도록 https://github.com/hoelzro/lua-linenoise 를 전환해야 합니까? ✌️

내 포크(https://github.com/yrose/linenoise/tree/utf8-support)는 이제 유니코드 11.0을 지원하고 antirez/linenoise 의 모든 최근 변경 사항을 포함합니다.

내 포크(https://github.com/yrose/linenoise/tree/utf8-support)는 이제 유니코드 12.1을 지원합니다.

내 포크(https://github.com/yrose/linenoise/tree/utf8-support)는 이제 유니코드 13.0을 지원합니다.