Etherpad-lite: 포착되지 않은 오류 : 어설 션 실패 : 잘못된 변경 집합 (checkRep 실패)

최신 개발 브랜치를 사용해보고 여전히 발생하는지 알려주세요.

이것은 사용자가 많은 prod 서버에서 우연히 발생하여 재현 할 수 없기 때문에 사소한 일이 아닙니다.
나는 그것이 도움이된다면, 깨진 패드가 개발 중에 깨진 상태로 유지되는지 테스트 할 수 있습니다.

예, 부탁합니다

다음 주에 db를 dev에 복사하겠습니다. 가능한 한 빨리보고하겠습니다. 빠른 응답에 감사드립니다.

불행히도 개발 단계로 옮겨가는 것은 손상된 패드를 수리하지 못했습니다. 흥미롭게도 서버 이동 (간단한 SQL 내보내기 / 가져 오기)은 패드 중 하나를 "복구"했습니다. 새 서버 (1.3.0에서도)에서 작동하지만 다른 손상 패드는 작동하지 않습니다. 여전히 같은 오류입니다.

이것은 정말 이상한 버그이며 패드는 때때로 PROD에서도 "자가 수리"하는 것처럼 보이며 변경 사항은 없습니다.

이론상이 문제는 전혀 발생하지 않아야합니다. 잘못된 데이터가 지금의 길을 찾을 수 없기 때문입니다 ..

나는 이것을 열어두고 새로운 데이터에서 발생하면 그것을 해결할 수 있습니다 ..

"새로운 데이터"란 무엇을 의미합니까? PROD를 개발에 적용하고 새 손상된 패드를 구해야합니까?

흠, 그것은 잠재적으로 고통 스러울 것입니다. 아마도 최대 몇 주 안에 나올 1.4를 기다릴 것입니다.

우리는 그렇게 할 수 있습니다. 감사합니다.

나는 또한 동일한 이상한 무작위성을 가진 그 문제가 있습니다. etherpad-lite 1.4로 업데이트했는데 여전히 있습니다. 패드 중 하나의 URL http://etherpad.usabilidoido.com.br : 8080 / p / 07318a9b2b5666637d870fc50656323620af4df4

나는 지금 1.4로 업그레이드하는 과정에 있으며 새 버전으로 실행되기를 희망하므로 새 버전에서 실행 한 후 새 패드에 새 결함이 있는지 확인할 수 있습니다.

@usabilidoido 는 사용자에게 패드를 내보내고 가져 오도록 http://etherpad.usabilidoido.com.br : 8080 / p / 07318a9b2b5666637d870fc50656323620af4df4 / timeslider

html로 내 보낸 다음 새 패드로 가져옵니다.

1.4에서이 문제가 발생합니다. 손상된 패드에서 브라우저에 Failed assertion 오류가 표시되면 명령 줄에 [WARN] client - Uncaught TypeError: Cannot read property 'length' of undefined Failed assertion 가 표시됩니다.

/ timeslider 해결 방법을 위해 @ Ra1d3n에 대한 모자 팁. 거기에서 패드 콘텐츠에 여전히 액세스 할 수 있다는 사실을 기쁘게 생각합니다.

이것은 직감이지만 원하는 경우 방금 만든 실험적인 try/client-init-remove-checkRep 브랜치를 사용해보십시오. (이것은 일반적으로 위험한 일이지만 시도해 볼 가치가 있다고 생각합니다.)

모든 것을 1.4로 업그레이드했습니다. 그리고 어제 우리는 다시 부러진 패드를 가졌습니다. 여전히 업데이트 전에 고장난 것일 수 있지만 확실하지 않습니다. 계속 찾아 볼게요.

@marcelklehr 불행히도 프로덕션 서버를 _dangerous_ 버전으로 이동할 수 없습니다. 그리고 리소스가 없기 때문에 요청을 보조 서버로 미러링 할 수 없습니다. :-/

죄송합니다. 명확하지 않았습니다. 프로덕션에서 try/client-init-remove-checkRep 를 실행하지 말고 해당 브랜치에서 실행중인 etherpad로 손상된 패드에 액세스 해보십시오.

경우에 따라 정규화가 제대로 작동하지 않을 수 있다고 의심되기 때문에 해당 분기에서 checkRep 을 제거했습니다. 따라서 고장난 패드가 아무 문제없이 해당 분기에서 작동하면이 방법을 다시 검토해야합니다.

@marcelklehr 방금했는데 안타깝게도 도움이되지 않았습니다.

방법:

git fetch
git checkout try/client-init-remove-checkRep
git status
On branch try/client-init-remove-checkRep
Your branch is up-to-date with 'origin/try/client-init-remove-checkRep'.

변경 사항이 실제로 파일 시스템에 있음을 확인했습니다. (주석과 줄 바꿈이 있음) 오류는 여전히 동일합니다.

@ericpedia가 언급 한 오류가 발생했으며 손상된 패드 이외의 패드에서는 발생하지 않았습니다.

서버의 콘솔 :

[2014-05-09 16:55:39.152] [WARN] client - Uncaught TypeError: Cannot read property 'length' of undefined -- { errorId: 'dTtndCRA5gonLZyvMlqw',
  msg: 'Uncaught TypeError: Cannot read property \'length\' of undefined',
  url: 'http://localhost:9001/p/OkTJWMYVNs',
  linenumber: 15,
  userAgent: 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.131 Safari/537.36' }

서버를 종료하면 메시지가 클라이언트에 표시됩니다.

손상된 패드의 SQL 가져 오기를 제공 할 수는 있지만 먼저 데이터베이스에서 정확히 무엇을 추출해야하는지 알려 주셔야합니다. :-)

실제 패드 내용은 매우 유용 할 것이므로 db 키 pad:<PADID> (http://etherpad.org/doc/v1.4.0/#index_pad_padid) 및 아마도 몇 가지 마지막 개정판 일 것입니다.

점점 가까워지고 있다고 생각합니다.

checkPad 말한다 :

$ bin/checkPad <padID>
[WARN] console - DirtyDB is used. This is fine for testing but not recommended for production.
[ERROR] console - Bad changeset at revision 4901 - Failed assertion: mismatched apply: 11636 / 11635
[ERROR] console - Bad changeset at revision 11401 - Failed assertion: mismatched apply: 42094 / 42093
[ERROR] console - Bad changeset at revision 12301 - Failed assertion: mismatched apply: 48875 / 48874
[ERROR] console - Bad changeset at revision 13601 - Failed assertion: mismatched apply: 60227 / 60226
[INFO] console - finished

모든 경우에 불일치 적용은 해당 변경 집합이 실제 존재하는 것보다 한 문자 더 적을 것으로 예상했음을 의미합니다 (예 : 예기치 않은 문자 하나). db 덤프를 조사한 후 이러한 모든 변경 세트가 atext가 첨부 된 개정판을 따른다는 것을 알았습니다 (모든 개정판에 전체 패드 내용이 포함되지는 않지만 대신 델타 만 포함되지만 성능상의 이유로 전체 내용이 자주 포함됨). 첨부).

아마도 개정을 저장하거나 새 패드 클라이언트에 대한 현재 텍스트를 만들 때이 메타 속성에 문제가 발생했을 것입니다.

캐시 된 텍스트 대신 계산 된 텍스트를 사용하도록 checkPad를 다시 작성하고 패드를 통과했습니다. 캐시 된 atext도 정확합니다! 이로 인해 client_vars에 대한 전체 텍스트를 계산하는 일부 알고리즘에 버그가 있다고 생각합니다!

지금까지 수고하셨습니다. Marcel. 이 문제를 거의 해결 한 것 같습니다.

아, client_vars 생성기가 아닙니다. 캐시 된 텍스트를 생성하는 알고리즘이 손상되었습니다.

@ Ra1d3n 빠른 수정으로 모든 키 개정 ( revNo % 100 == 0 )에서 atext 메타 속성을 삭제하여 손상된 패드를 되 살릴 수 있습니다. 깨진 패드와 관련된 모든 레코드를 "재 삽입"하는 것은 오래 전에 유사한 문제에 대한 수정으로보고되었습니다. 이제 작동 이유를 알 수 있습니다. :)

@marcelklehr 그러면 EP

checkPad 스크립트를 약간 변경했습니다. 여기 참조 : # 1653
그러나 이것은 더 더러운 해킹입니다. 내 스크립트로이 문제가 해결되면 패드를 수정하는 스크립트를 작성합니다.

멋져요, 기대합니다. 현재 우리는 일주일에 한 개 정도의 부러진 패드를 얻으므로 적절한 수정을 기다리는 경향이 있습니다. :-) 감사.

네, 대본을 생각하고 있었어요.

따라서 계산 된 텍스트와 캐시 된 텍스트 사이의 차이는 "концертов"가 어떻게 든 "ко цертов"로 바뀌 었음을 보여줍니다. 다른 버전에서는 "з"도 " "로 바뀌 었습니다.

무슨 일인지 잘 모르겠습니다. 이 문자는 Unicode BMP, afaik에 있으므로 어떻게되었는지 모르겠습니다.

@ Ra1d3n 패드의 변형은 키 개정 4900, 11400, 12300 및 13600에서 발생합니다 (모든 100 번째 개정은 키 개정이므로 전체 패드 내용을 캐시 함을 의미합니다). 또한 패드 레코드에 저장된 AttributedText도 손상되었습니다. 다른 모든 키 수정은 괜찮습니다. ( 이 스크립트로 분석 됨)

문자가 무작위로 보입니다. 정말 튀어 나온 것은 없습니다. 패턴이 보이지 않습니다.

AttributedText를 데이터베이스에 저장할 때 뭔가 잘못되었다고 생각합니다. 때때로 패드가 깨진 키 수정 사이에 복구되기 때문에 메모리에 저장된 텍스트가 좋은 것 같습니다. 때로는 db에 저장되면 어떻게 든 손상됩니다. 작성자가 다음 키 개정판이 만들어지고 해당 개정판이 손상되지 않을 때까지 문서를 계속 편집하면 아무도 눈치 채지 못할 것입니다.
그러나 메모리에있는 유효한 AText를 데이터베이스에 성공적으로 저장하기 위해 서버가 _before_ 관리를 종료하면 다음 서버 시작시 패드가 손상됩니다.

@marcelklehr 잘 코딩되지 않은 플러그인으로 인해 etherpad 충돌이 발생하고 몇 번 복구되었습니다. 이것이 원인 일 수 있습니까? 매번 손상되는 문자가 하나라는 것이 이상합니다.

패드의 모든 데이터베이스 값을 다시 삽입하는 스크립트를 만들었습니다. 내 깨진 패드에서 스크립트가 작동하지 않았습니다.
@ Ra1d3n 여기에서 스크립트를 다운로드 할 수 있습니다 : https://github.com/Gared/etherpad-lite/blob/pad-repair-script/bin/repairPad.js
이 스크립트를 실행하는 동안 etherpad 인스턴스가 실행되고 있지 않은지 확인하십시오.

@Gared 스크립트에서 값 을 어디에서 얻습니까? 내 checkPad 포크에서 작업하고 다시 계산 된 AttributedText 값을 데이터베이스에 삽입하도록 조정하는 것이 좋습니다.

@ Ra1d3n Etherpad 충돌은 데이터 손상을 일으킬 가능성이 낮습니다.

@marcelklehr 이러한 경우 올바른 메모리 값이 손실 되었기 때문에 문제를 더 잘 보이게 만들었을 것입니다.

@marcelklehr 이 스크립트는 extractPadData 스크립트의 포크입니다. 값과 키는 위의 기능에로드됩니다. 이것들은 모두 패드의 키입니다.

@Gared에서 repairPad.js 스크립트는 내 고장 패드를 고정한다. 이 수정 사항이 다음 etherpad-lite 버전에 포함될 가능성이 있습니까?

물론 풀 요청을 보내거나 @Gared 에게 요청

열린 pull request # 2210

내 etherpad는 1.4.1에서 실행 중이며 위에서 설명한 것과 동일한 문제가 3 배 발생했습니다. 패드를로드 할 수 없지만 / timeslider가 잘 작동합니다.
그들 중 2 명은 이제 아무것도하지 않고 재실행됩니다.
세 번째 패드에서 repairPad.js 시도에 실패했습니다. URL은 다음과 같습니다. +1 : http://portail.univ-lille1.fr/etherpad/link.jsp?groupID=g.jfobkKVrkydeTwLY&padID=SES_Grp8_Macroeconomie("utilisez le pad avec l' invitexy "를 클릭하여 paditself.

repairPad에 의해 고려되지 않는 비정상적인 값을 가진 변경 집합이 있거나 git에서 보지 못한 reparPad.js의 새 릴리스가 있습니까?

우리는 지금이 문제를 해결했다고 생각합니다. 개발하고 테스트하십시오 :) 감사합니다!

안녕하세요, 방금 이런 일이 발생했습니다. 우리는 마지막 릴리스 버전 인 1.5.7을 실행합니다. 백엔드는 MySQL 데이터베이스입니다. 이 문제를 일으켰을 수있는 사용자 작업에 대한 징후가 없습니다.

문제의 패드 : https://etherpad.wikimedia.org/p/iOS-iteration-planning

타임 슬라이더 트릭을 통해 패드 데이터를 가져 오는 것은 잘 작동합니다. 그러나 패드는로드되지 않습니다.

도움이되는 경우 데이터베이스의 모든 항목을 덤프하고 디버깅을 위해 제공 할 수 있습니다.

안녕하세요, 아침에이 토론을했습니다.
08:47 <webzwo0i> mutante : 패드를 디버깅했습니다. 일반적으로이 작업을 수행해서는 안되지만 데이터베이스 백업이있는 경우 (그리고 내보내기 / 이더 패드를 만든 후
패드) 세 개의 데이터베이스 항목을 변경할 수 있으며 패드가 다시 제대로 작동해야합니다. 세 개의 mysql 명령은 다음과 같습니다.

mysql> update `store` set `value` = replace(`value`,'????','??') where `key` like "pad:iOS-iteration-planning";
mysql> update `store` set `value` = replace(`value`,'????','??') where `key` like "pad:iOS-iteration-planning:revs:7200";
mysql> update `store` set `value` = replace(`value`,'????','??') where `key` like "pad:iOS-iteration-planning:revs:7300";

08:49 <webzwo0i> 데이터베이스가 utf8mb4 charset 또는 utf8을 실행 중인지 확인할 수 있습니까?
08:51 <webzwo0i> oha ups mysql-commands를 적용하지 마세요. 어쩌면 내가 조금 빨 랐을 수도 있습니다 :-) 먼저 무언가를 확인해야합니다
09:08 <webzwo0i> mh nope 괜찮을 것입니다. 테스트하십시오 ... 최신 릴리스 또는 다른 것을 실행했는지, 어떤 플러그인을 활성화했는지 아는 것이 좋습니다.
09:47 <webzwo0i> wikimedia의 ppl이 서로를 아는지는 모르겠지만 "Brian"이라는 사용자가 누군지 알 수 있다면 그가 사용하는 브라우저를 물어볼 수 있습니까? 그만큼
이유는 버그가 무엇인지 볼 수 있지만 내 브라우저에서 트리거 할 수 없기 때문입니다 (수동으로 만 트리거 할 수 있지만 ppl이 적대적이지 않기 때문에
목적)
09:49 <webzwo0i> (따라서 우리는 아마도 서버 측과 클라이언트 측의 두 가지 버그가있을 것입니다)

필요한 정보는 데이터베이스가 utf8 또는 utf8mb4 인 경우입니다.
문제가되는 변경 집합을 추출했습니다. 적용하지 않으면 타임 슬라이더가 이러한 수정 사항을 해결하지 못합니다.

mysql> update `store` set `value` = replace(`value`,'????','??') where `key` like "pad:iOS-iteration-planning:revs:7105";

위의 업데이트와 함께 패드를 다시 사용할 수 있습니다.

뿡 빵뀨

그래, 뮤 탄테가 너에게 말한 걸 알아 챘어. 나는 github 문제에 대해서도 후속 조치를 취하기로 결정했습니다. "Brian"이 누구이며 어떤 브라우저를 사용하는지 추적하겠습니다.

따라서 스토어 테이블은 꽤 오랫동안 utf8mb4입니다. utf8 이었지만 6 월에 다른 문제로 인해 utf8mb4로 변환했습니다. 특히 2015 년 6 월 23 일에

https://github.com/ether/etherpad-lite/issues/2522#issuecomment-114441189 ;-)

사용자 / 브라우저를 찾을 필요가 없습니다. 이제 버그를 재현 할 수 있습니다. 감사합니다!

최신 릴리스를 사용 중이므로 dbSettings 내의 settings.json에 "charset": "utf8mb4"를 삽입해야합니다. 이제 settings.json.template에 있습니다. 이것이 필요한지 확인할 수 있습니다.

SHOW VARIABLES LIKE 'character_set%';
SHOW VARIABLES LIKE 'collation%';

클라이언트 (또는 연결?)는 데이터베이스 테이블 자체가 4 바이트 utf8을 저장할 수 없지만 서버가 클라이언트 연결에 4 바이트 utf8을 기대하지 않는 경우 utf8mb4를 표시해야합니다.
이것은 이전 패드를 수리하지 않습니다. 그러나 모든 패드를 반복하고 bin / checkPad.js를 사용하여 비슷한 문제가있을 수있는 패드 수와 패드를 파악할 수 있습니다. 상황에 따라 위의 경우와 같이 수리가 매우 쉬울 수 있습니다 (일부 문자가 깨질 수 있음). 손상된 패드가 많이 있으면이를 자동화하는 것이 좋습니다.

사람들이 실제로 글을 쓸 때 이러한 문제가 나타나지 않는 이유는 대부분의 사이트가 성능을 위해 ueberDB의 내부 캐시를 사용하기 때문입니다. 이 순수 자바 스크립트 캐시는 유니 코드를 완전히 인식합니다. 캐시가 플러시되거나 etherpad가 다시 시작 되 자마자 데이터베이스에서 항목을 가져와야합니다.

당신이 지시 한대로 패드를 수리했습니다. 연속 된 4 개의 물음표가 이런 식으로 PAD를 손상시킬 수 있다는 사실을 알아내는 것이 흥미 롭습니다. 그리고 부패한 체인지 셋은 패드의 끝에 비해 너무 오래되었을 것입니다. 그러나 귀하의 설명은 의미가 있습니다. 감사합니다.

"charset": "utf8mb4"로 구성을 업데이트했습니다.

wikimedia에서 phabricator 티켓을 팔로우하고 있지만 거기에 계정이 없으므로 여기에 게시합니다.

두 번째 파손 된 패드는 다음을 사용하여 수리 할 수도 있습니다.

update `store` set `value` = replace(`value`,'????','??') where `key` like "pad:iOS_Retrospectives:revs:1120";
update `store` set `value` = replace(`value`,'????','??') where `key` like "pad:iOS_Retrospectives:revs:1254";
update `store` set `value` = replace(`value`,'????','??') where `key` like "pad:iOS_Retrospectives:revs:1216";
update `store` set `value` = replace(`value`,'????','??') where `key` like "pad:iOS_Retrospectives:revs:1108";
update `store` set `value` = replace(`value`,'????','??') where `key` like "pad:iOS_Retrospectives:revs:1106";
update `store` set `value` = replace(`value`,'????','??') where `key` like "pad:iOS_Retrospectives:revs:1200";
update `store` set `value` = replace(`value`,'????','??') where `key` like "pad:iOS_Retrospectives:revs:1300";
update `store` set `value` = replace(`value`,'????','??') where `key` like "pad:iOS_Retrospectives:revs:1400";
update `store` set `value` = replace(`value`,'????','??') where `key` like "pad:iOS_Retrospectives:revs:1500";
update `store` set `value` = replace(`value`,'????','??') where `key` like "pad:iOS_Retrospectives:revs:1600";
update `store` set `value` = replace(`value`,'????','??') where `key` like "pad:iOS_Retrospectives:revs:1700";
update `store` set `value` = replace(`value`,'????','??') where `key` like "pad:iOS_Retrospectives:revs:1800";
update `store` set `value` = replace(`value`,'????','??') where `key` like "pad:iOS_Retrospectives:revs:1900";
update `store` set `value` = replace(`value`,'????','??') where `key` like "pad:iOS_Retrospectives:revs:2000";
update `store` set `value` = replace(`value`,'????','??') where `key` like "pad:iOS_Retrospectives:revs:2100";
update `store` set `value` = replace(`value`,'????','??') where `key` like "pad:iOS_Retrospectives:revs:2200";
update `store` set `value` = replace(`value`,'????','??') where `key` like "pad:iOS_Retrospectives:revs:2300";
update `store` set `value` = replace(`value`,'????','??') where `key` like "pad:iOS_Retrospectives:revs:2400";
update `store` set `value` = replace(`value`,'????','??') where `key` like "pad:iOS_Retrospectives";

4 바이트 UTF8의 단일 바이트가 유효한 UTF8이 아니기 때문에 4 개의 물음표가 증상입니다. (UTF8에서는 처음 127 개의 문자 만 단일 바이트로 표시되고 멀티 바이트 UTF8은 아마도 0x7f 이상의 바이트를 사용합니다). 따라서 4 개의 물음표는 실제로 하나의 4 바이트 인코딩 UTF8 문자열을 나타내며, 이는 기본 다국어 평면 외부의 코드 포인트를 나타냅니다 (대부분 이모 지 :-D). 자바 스크립트에서 이러한 코드 포인트는 2 개의 16 비트 값인 UTF16의 서로 게이트 쌍을 사용하여 인코딩됩니다.

checkRep 문제는 변경 집합에서 문자뿐만 아니라 변경 길이도 저장한다는 것입니다. 그러나 Javascript의 length () 함수는 서로 게이트 쌍을 2로 계산합니다. 예를 들어 이모 지의 길이는 2입니다. mysql이 변경 집합의 문자열을 물음표로 디코딩 할 때 변경 집합의 표현이 더 이상 유효하지 않습니다.

두 개의 물음표로 바꾸는 것은 사용자가 처음에 입력 한 코드 포인트를 알지 못하기 때문에 실제 해결책이 아닌 해킹입니다 (하지만 값이 ueberDB의 캐시에있는 한 거기에서 가져올 수 있습니다).

누군가가 실제로 4 개의 물음표를 사용하면 잘못된 결과가 생성됩니다 (우리의 길이 값은 4를 나타내며 2 개의 물음표로 바꾸면 그 대가로 checkRep 오류가 발생합니다). 따라서 수리 스크립트를 자동화 할 경우 확인해야합니다. 변경 사항을 적용한 후의 문자열 길이가 변경 집합의 "추가 된 문자 수"-값과 일치하는 경우.

누군가가 실제로 4 개의 물음표를 사용하고 이모 지와 같은 코드 포인트를 추가로 사용한 경우 문제를 해결하려면 물음표를 대체하는 문서 내 위치도 추적해야합니다.

또한 모든 checkRep-error가 잘못된 인코딩으로 인해 발생하는 것은 아닙니다.

그리고 물론 위의 내용이 작동했습니다. 대박! 충분히 감사 할 수 없습니다. 구성 수정을 통해 이것이 다시 발생하지 않기를 바랍니다.

당신이하고있는 디버깅이 수동으로 btw인지 궁금합니다. 변경 세트와 길이를 하나씩 수동으로 가져오고 비교하거나 더 자동화 된 방법이있는 경우. 어차피 나만의 것을 만들 수있을 것 같아 궁금해서

<3 @ webzwo0i 감사합니다.

@ webzwo0i 최근에 요소의 X

단일 이모 지 (예 : 🐼)로 새 패드를 만들고 etherpad를 다시 시작하면 오류가 쉽게 재현 될 수 있습니다 (# 3340 참조).

업데이트 : 2019 년 4 월부터이 단일 이모티콘 자체는 ​​다시 시작해도 패드가 깨지지 않습니다.

모든 패드를 확인하고 싶었 기 때문에 checkAllPads 도구를 추가했습니다 (PR # 3342 참조).

이 오류는 단일 이모 지 (예 : panda_face)로 새 패드를 만들고 etherpad를 다시 시작하여 쉽게 재현 할 수 있습니다. # 3340도 참조하십시오.

위에서 설명한대로 정확하게 재현 할 수 없습니다. 예제는 https://etherpad.wikimedia.org/p/ohmy 를 참조

이 오류로 인해 패드가 끊어졌습니다. 신기하게도 checkPad,js 는 문제를 찾지 못하고 repairPad.js 는 수정하지 않고 완료됩니다. 어떤 개정판이 잘못되었는지 확인할 수있는 방법이 있습니까?

편집 : 아, 나는 올바른 길을 가리키는 https://gist.github.com/marcelklehr/a78d293571e7f06e3cf9 를 찾았습니다. 이것이 etherpad 자체에 포함될 수 있습니까? 지금 당장 많은 도움이되었습니다. 감사합니다! (그러나 수정 번호를보기 위해 console.log 를 console.error 로 바꿔야했습니다. nodeJS 경험이 전혀 없지만 실제로 모든 로깅을 볼 수있는 다른 방법을 찾을 수 없었습니다. )

실제로 " ???? 를 ?? 대체"하는 것도 여기에서 도움이되었습니다. :) 마지막 변경 세트는 누군가 이모지를 삽입 한 것 같습니다 ( $???? 끝났습니다).

그러나 이것이 "사소한 버그"로 분류되는 이유를 이해하지 못합니다. 이 버그로 인해 패드가 완전히 손실됩니다 (누군가가 /timeslider 알아 차릴 때까지, 우리의 경우 일주일이 걸렸고 심지어 기록이 손실 될 때까지).

이 문제를 해결할 가능성이 낮기 때문에 할당되지 않았습니다. FWIW,이 버그는 easysync 라이브러리의 제한으로 인한 것으로 보입니다. 이것이 모든 utf-8을 지원하지는 않습니다. (UTF-8은 하나의 문자를 여러 바이트로 인코딩 할 수 있으며, 이는 각각 하나의 문자이지만 자바 스크립트의 문자열 길이에 추가됩니다.)

-신경 쓰지 마세요-: D

FWIW,이 버그는 easysync 라이브러리의 제한으로 인한 것으로 보입니다. 이것이 모든 utf-8을 지원하지는 않습니다. (UTF-8은 하나의 문자를 여러 바이트로 인코딩 할 수 있으며, 이는 각각 하나의 문자이지만 자바 스크립트의 문자열 길이에 추가됩니다.)

사실 우리는 항상 우리의 패드에 움라우트 (äöü)를 가지고 있는데, 이는 UTF-8의 멀티 바이트이기도합니다. 위에서 말한 내용을 바탕으로, 문제는 실제로 UTF-16에 관한 것이라고 생각합니다. 원래 설계되었을 때 문자 당 정확히 2 바이트 (실제로 코드 포인트)를 갖도록 의도되었지만 이제는 2 ^ 이상입니다. 이모 지처럼 4 바이트가 필요한 16 개의 코드 포인트가 있습니다. 그리고 이제 length() 는 더 이상 코드 포인트 수와 일치하지 않으며 모든 것이 혼란스러워집니다.

그렇다면 더 나은 해결책은 대리 쌍 (4 바이트 코드 포인트)을 완전히 거부하는 것입니까? 그것은 보조 평면의 문자와 함께 etherpad를 사용하는 것을 불가능하게 만들지 만 어쨌든 깨진 것 같습니다. 그리고 DB를 보호해야합니다. JS에서 서로 게이트 쌍 을 테스트 하는

왜 이것이 닫혔습니까? 내가 아는 한 Etherpad는 여전히 BMP 외부의 캐릭터를 질식시킵니다. 최근에 이런 식으로 부러진 패드를 수동으로 수리해야했습니다.

나는 2014 호를 열었고 더 이상 관심이 없어서 닫았습니다.

글쎄요, 다른 사람들에게는 여전히 열린 문제이므로 다시 열 수 있으면 감사하겠습니다.

감사! :)

누구든지 패드를 안정적으로 부수는 캐릭터 (시퀀스)에 대한 예가 있습니까? 이것은 디버깅을 용이하게 할 것입니다.

Easysync 라이브러리는 "문자"측면에서 텍스트 (및 그 레그)를 설명하지만 10 년 전부터는 최소한의 실행 가능한 제품이었습니다. 요즘 우리는 아마도 NFC 정규화 된 UTF-8 코드 포인트를 생각해야 할 것입니다.

ueberdb 값을 대조 된 텍스트 열이 아닌 바이너리 blob으로 저장하여 문제를 해결할 수 있을까요?

현재 유효한 utf8mb4 (멀티 바이트 문자의 일부를 포함하는 변경 집합)가 아닌 바이트 시퀀스를 utf8mb4 열에 넣으려고하면 가능한 결과는 두 가지뿐입니다. 입력 또는 클라이언트 (또는 서버)는 이전에 잘못된 "문자"또는 바이트를 제거 ( "?"로 대체)해야합니다.

이진 blob 열을 사용하면 데이터베이스는 더 이상 바이트 시퀀스가 ​​잘못된 utf8mb4 인 것에 대해 신경 쓰지 않으므로 문자 교체를 피할 수 있습니다. easysync가 내가 이해하는 것처럼 인코딩에 구애받지 않는다면 작동 할 수 있습니다 (두 명의 사용자가 멀티 바이트 문자 AB와 CD를 동시에 같은 위치에 삽입하지 않고 개별 변경 세트 A, C, B, D로 끝나는 경우). 순서-병합 된 결과를 잘못된 utf8mb4 렌더링).

추신 : 방금 🍰와 같은 4 바이트 UTF8 문자를 삽입하는 것이 문제가 아니라는 것을 테스트했습니다 (아직 다시 시작하지 않았으므로 설명 일 수 있음). 따라서 버그에 동시성이 필요하다고 가정합니다 (문자가 자체적으로 유효하지 않은 두 개 이상의 변경 세트로 분할) 또는 그러한 문자의 일부를 제거하는 변경 세트를 내보내는 클라이언트가 필요합니다.

안녕하세요, 우리는 또한 많은 패드 에서이 문제를 경험하고 있습니다.

나는 모든 것을 시도하고 있으며 이것을 🍰로 바꿀 수 없습니다. 다시 시작, 다른 데이터베이스 백엔드 (제대로 구성된) ..

누구든지 우리의 최신 코드 기반으로 복제하는 단계를 제공 할 수 있습니까?

🍰에서 백 스페이스를 누르면 항목이``로 대체됩니다.

저에게 replace( value ,'????','??') 는 지금까지 항상 효과가있었습니다. 그래도 몇 달 동안 일어나지 않았습니다.

나는 작동하는 Check Pad Deltas의 업데이트 된 버전을 포함 시켰습니다. 사람들이이 문제를 경험할 때 도움이되는지 확인해 볼 수 있다면 감사하겠습니다.

여전히 기본적인 문제는 Etherpad 데이터 모델이 정규화 된 UTF-8 코드 포인트가 아닌 "문자"로 생각한다는 것입니다.

핵심 라이브러리를 다시 작업하지 않는 한이 문제는 실제로 해결되지 않습니다. 분명히 모든 완화가 유용합니다. 제 의견으로는 100 % 정확하다고 보장되는 _easy_ 솔루션이 없다고 말하는 것뿐입니다.

얼마나 많은 편집자들 (그리고 개발자들에게 매우 인기있는 편집자들)이 Etherpad tho와 유사한 경험을 가지고 있는지 놀라실 것입니다. 오늘 놀면서 미친 경험을했습니다.

나는 작동하는 Check Pad Deltas의 업데이트 된 버전을 포함 시켰습니다. 사람들이이 문제를 경험할 때 도움이되는지 확인해 볼 수 있다면 감사하겠습니다.

# 3717 (14ae2ee95094)을 사용하여 마스터 브랜치에서 가져 왔습니다.

안녕하세요, 우리 패드 중 하나와 비슷한 문제가 있습니다.
@JohnMcLear 불행히도 최신 버전의 checkPadDeltas는 도움이되지 않았습니다.

@gnd 공용 인스턴스가 있습니까?

padId / export / etherpad URL을 누르고 .etherpad 파일을 얻을 수 있습니까?

최신 개발을 실행하고 있습니까?

데이터베이스 백엔드는 무엇입니까?

질문이 너무 많습니다. 가능한 한 자세한 정보를 제공해주세요.

뿡뿡
예, 공개 인스턴스입니다 : https://pad.xpub.nl/p/CareCircle
불행히도 .etherpad 파일을 얻으려고 시도하면 502 Bad Gateway 오류가 발생합니다.
우리는 nodejs 12.16.3-1nodesource1에서 최신 개발 (git pull origin)을 실행하고 있으며 db 백엔드는 10.3.22-MariaDB-0 + deb10u1입니다.

나는 오늘 당신이 원하는 모든 종류의 디버깅에 도움을 줄 수 있습니다. 이미 마지막 버전의 checkPadDeltas를 사용해 보았지만 시작 후 몇 시간 동안 멈 춥니 다. 이것이 제공하는 유일한 출력입니다.

모든 상대 경로는 식별 된 Etherpad 기본 디렉토리 : / opt / etherpad를 기준으로 해석됩니다.
[2020-05-05 00 : 04 : 12.330] [DEBUG] AbsolutePaths-상대 경로 "settings.json"을 "/opt/etherpad/settings.json"으로 다시 작성할 수 있습니다.
[2020-05-05 00 : 04 : 12.346] [DEBUG] AbsolutePaths-상대 경로 'credentials.json'을 '/opt/etherpad/credentials.json'으로 다시 작성할 수 있습니다.
로드 된 설정 : /opt/etherpad/settings.json
/opt/etherpad/credentials.json에 자격 증명 파일이 없습니다. 묵살.
[2020-05-05 00 : 04 : 12.369] [정보] 콘솔-디렉토리에 "no-skin"스킨 사용 : / opt / etherpad / src / static / skins / no-skin
[2020-05-05 00 : 04 : 12.371] [정보] 콘솔-세션 키로드 위치 : /opt/etherpad/SESSIONKEY.txt
[2020-05-05 00 : 04 : 12.541] [오류] 콘솔-테이블이 charset utf8로 구성되지 않음-특정 문자를 패드에 붙여 넣을 때 충돌이 발생할 수 있습니다.
[2020-05-05 00 : 04 : 12.543] [정보] 콘솔-RowDataPacket {character_set_name : 'utf8mb4'} utf8

야, 로그에 오류가 있습니다!

[2020-05-05 00:04:12.541] [ERROR] console - table is not configured with charset utf8 -- This may lead to crashes when certain characters are pasted in pads
[2020-05-05 00:04:12.543] [INFO] console - RowDataPacket { character_set_name: 'utf8mb4' } utf8

참조 : https://github.com/ether/etherpad-lite/issues/3959

뿡뿡
우리 db는

+ ---------------------------- + -------------------- ---- +
| DEFAULT_CHARACTER_SET_NAME | DEFAULT_COLLATION_NAME |
+ ---------------------------- + -------------------- ---- +
| utf8 | utf8_general_ci |
+ ---------------------------- + -------------------- ---- +

상점 테이블에는

+ -------------------- +
| character_set_name |
+ -------------------- +
| utf8mb4 |
+ -------------------- +

그래서 나는 사용하여 변환해야
ALTER DATABASE etherpad_lite_db CHARACTER SET utf8mb4 COLLATE utf8mb4_bin;

?

뿡뿡

잘못된 구성은 두 가지였으며 데이터베이스는 utf8 및 utf8_general_ci를 사용했지만 settings.json에서도 데이터베이스의 문자 집합이 "utf8"로 설정되었습니다. utf8mb4에 대한 모든 것이 여전히 도움이되지 않고 문제의 패드가로드되지 않고 checkPadDeltas가 여전히 멈 춥니 다.

모든 상대 경로는 식별 된 Etherpad 기본 디렉토리 : / opt / etherpad를 기준으로 해석됩니다.
[2020-05-05 13 : 17 : 43.443] [DEBUG] AbsolutePaths-상대 경로 "settings.json"을 "/opt/etherpad/settings.json"으로 다시 작성할 수 있습니다.
[2020-05-05 13 : 17 : 43.444] [DEBUG] AbsolutePaths-상대 경로 "credentials.json"을 "/opt/etherpad/credentials.json"으로 다시 작성할 수 있습니다.
로드 된 설정 : /opt/etherpad/settings.json
/opt/etherpad/credentials.json에 자격 증명 파일이 없습니다. 묵살.
[2020-05-05 13 : 17 : 43.463] [정보] 콘솔-디렉토리에 "no-skin"스킨 사용 : / opt / etherpad / src / static / skins / no-skin
[2020-05-05 13 : 17 : 43.464] [정보] 콘솔-세션 키로드 위치 : /opt/etherpad/SESSIONKEY.txt

@gnd GiGo 문제입니다. 일단 쓰레기를 넣으면 변경할 수 없습니다. 이제 당신이 아는 것은 문제가 미래에 나타나지 않을 것이라는 것입니다!

@gnd GiGo 문제입니다. 일단 쓰레기를 넣으면 변경할 수 없습니다. 이제 당신이 아는 것은 문제가 미래에 나타나지 않을 것이라는 것입니다!

repairPad.js 가)이 깨진 패드를 고칠 수 없을까요?

오 안녕 @caugner- 슬프게도, repairPad.js는 일반적으로 짜증나고 실제로 작동하지 않습니다. https://github.com/ether/etherpad-lite/blob/develop/bin/repairPad.js#L48

내가 제안 할 수있는 가장 좋은 방법은 텍스트 / 텍스트를 패드에서 꺼내 새 패드로 가져 오는 것입니다.

@gnd 원하는 경우 텍스트를 얻으려고 테스트하는 스크립트를 작성할 수 있습니까?

bin/extractPadData.js stdout으로 출력을 변경하면 충분할 수 있습니다 .. 2 분 extractPadText.js를 생성합니다.

@JohnMcLear 정말 도움이 될 것입니다)

적출

node bin/extractPadData.js $padid
그런 다음 cat $padid.db | grep \"text\" | grep revNum | tail -1

텍스트는 val.atext.text 항목입니다. cli에서 json 파싱 할 수 있습니다. 필요한 경우 다음에 수행합니다 .. 지금은이 명령을 수행하여 $ padid를 PadID로 바꾸십시오.

파싱

sudo apt-get install jq 로 jq를 설치 한 다음 cat $padid.db | grep \"text\" | grep revNum | tail -1 | jq .val.atext.text 로 텍스트 만 확인합니다.

패드 텍스트를 텍스트 파일 cat $padid.db | grep \"text\" | grep revNum | tail -1 | jq .val.atext.text > $padid.txt 쓰려면

이제 패드 텍스트가 있으므로 텍스트 파일에 넣고 가져 오거나 setText API 등을 사용할 수 있습니다.

Lemme는 추출이 실패하는지 알고 있으며 다른 접근 방식을 고려할 것입니다.

추출이 실행 중이지만 매우 느립니다. CareCicle.db 파일에서 revs : 80 의 최신 라인을 볼

오 이런, 그거 안돼 .. 80 번의 수정 후에 pad 객체를 빌드 할 수없는 것 같아요. 스크립트가 실행되는 데 30 초 정도 밖에 걸리지 않습니다.

마지막 제안은 전체 db를 덤프하고 나에게 전송하는 큰 제안이 될 것입니다. 그러면 필요한 것을 구문 분석하는 스크립트를 작성할 수 있습니다. 또는 여기에 스크립트를 작성하려고 시도 할 수 있지만 이러한 방식으로 작동하도록 앞뒤로 약간의 작업이있을 수 있습니다.

@JohnMcLear 안녕하세요, 스크립트가 마침내 완료되었습니다. 왜 그렇게 오래 걸 렸는지 모르겠습니다 (거의 40 시간). 어쨌든 그것을 들여다 보면 상점 테이블에서 100으로 나눌 수있는 가장 높은 개정판을 선택하고 텍스트를 추출하여 전체 연습을 할 수있는 것 같습니다. 앞으로 나쁘게 손으로하세요 :) 도와 주셔서 감사합니다

정확하지만, 사용자가 데이터베이스 쿼리를 수행 할 수 있다는 가정을 할 때 종종 사용자로부터 말을 듣게되므로 피하려고합니다. 나는 그것이 왜 그렇게 오래 걸린 지 알고 있다고 생각합니다 .MySQL @ Etherpad 1.8.3을 사용하고 있습니까?

git의 최신 마스터를 사용하고 있습니다 (어떤 버전인지 확실하지 않음)

MySQL을 가정하면 오늘 패치가 적용되는 알려진 버그입니다.

예, 최신 MariaDB-10.3.22-MariaDB

@JohnMcLear 이 티켓을 스팸으로

아니요,하지만 npm은 [email protected] 를 설치하여 수정합니다.

Btw 추가 텍스트를 저장하는 새로운 로직이 있으므로 이건 닫혀 야하지만 사람들이 문제를 경험한다면 새 문제를 만들고이 문제를 참조하세요. 나는 실시간으로 감지 된 손상에 대해 패드를 복원하는 자동화 된 논리를 만드는 주요 목표로 문제의 개별 원인을 개별적으로 처리하고 싶습니다. 그것은 부패가 불가피한 꿈입니다.

이것은 최근에 (이더 패드의 이전 버전에서 업그레이드 할 때) 이에 대한 사람들을위한 메시지입니다.

오늘 저는 etherpad 서비스를 1.6.3 에서 1.8.6 업그레이드했습니다 (대단한 변화입니다 !!!!! 모든 개발자에게 축하드립니다).

하나의 패드에 문제가 있었고 체커 (checkPad, checkAllPads 등)가 감지하지 못했습니다 (또는 노드를 잘 실행하는 방법을 모르겠습니다).

나는 검증 charset 있다 utf8mb4 (지난 버전 톱 내 settings.json에서 settings.json.template ).

  "dbType" : "mysql",
  "dbSettings" : {
    "user":     "etherpaduser",
    "host":     "localhost",
    "port":     3306,
    "password": "PASSWORD",
    "database": "etherpad_lite_db",
    "charset":  "utf8mb4"
  },

케이스 https://pad.example.com/p/my-broken-pad의 경우 :

update `store` set `value` = replace(`value`,'????','??') where `key` like "pad:my-broken-pad"

그리고 그것은 다시 작동했습니다 : tada : : unicorn : : sparkles :

이 솔루션은 위에 있었지만 (찾는 데 도움이되는 솔루션과 함께 이전 메일에 +1을 넣었습니다) 더 명확하게하고 싶었습니다.

여기서 할 수있는 한 가지는 ???? 패드 내용물에서 제안 된 해결책이 포함 된 경고를 제공하십시오. @ pedro-nonfree checkPad.js 또는 무언가에 패치를 제출해 주시면 기꺼이 병합하겠습니다 :)