Notepad-plus-plus: Notepad ++ 7.7 в кодировке ANSI вместо кириллических символов "????????"

Подтверждать

Экран старый, но проблема все еще существует

Информация об отладке

Notepad ++ v7.7 (64-бит)
Время сборки: 19 мая 2019-13: 05:35
Путь: D: \ Install \ Office Programs \ Notepad ++ \ notepad ++. Exe
Режим администратора: ВКЛ.
Режим локальной конфигурации: ВКЛ.
ОС: Windows 7 (64-битная)
Плагины: AutoSave.dll ComparePlugin.dll ShtirlitzNppPlugin.dll TakeNotes.dll VisualStudioLineCopy.dll

@donho
Протестировал все версии SciTE, начиная с версии Scintilla 3.6.7, начинаются проблемы с кириллицей.

@rddim и @ andrecool-68
Так какой же родной язык вашей ОС?

Кто-нибудь может воспроизвести его под Windows 10?

@donho
У меня Win 7 x64 русская версия.

@donho

на всякий случай вы видите то же, что и я:
это будет f. сложно решить для иностранца, русского или болгарского, если это вообще возможно.

Мне никогда не удавалось вставлять кириллический текст в файлы ANSI в английских, испанских или немецких Windows 10 и 7, независимо от версии notepad ++.
протестировано и повторно протестировано на 7.5.5-7.7.
Русский текст в utf-8 работает на всех версиях.
(см. скринкаст ниже)

Приветствую.

@ andrecool-68

Протестировал все версии SciTE, начиная с версии Scintilla 3.6.7, начинаются проблемы с кириллицей.

Значит, Scintilla 3.6.6 вам подходит?
Ввод кириллицы в ANSI не работает в версии 3.6.7 и более поздних, это правильно?

@donho
Правильно, проблемы начинаются с версии 3.6.7 и выше!
Windows 7 x64

Windows 10 x64 (VirtualBox)

@donho
Обе машины (офисный ноутбук и домашний компьютер) имеют Win7 Pro x64 SP1 English . На Win10 потестить не могу.
Убедитесь, что проблема начинается с SciTE v3.6.7 и не нарушена в SciTE v3.6.6

@donho
Я не уверен, что это поможет вам, но: https://sourceforge.net/p/scintilla/bugs/2093/#3ee4

@donho
Я попытался внести эти изменения, и появилась кириллица.
файл: ScintillaWin.cxx
+ case SC_CHARSET_DEFAULT: return documentCodePage;
- case SC_CHARSET_DEFAULT: вернуть documentCodePage? documentCodePage: 1252;

Но после каждой попытки напечатать кириллицу выдает ошибку)))

@ andrecool-68 это странно, case SC_CHARSET_DEFAULT: return documentCodePage; - это старый код в Scintilla до 3.6.6 (использовался npp до 7.7).

Можете ли вы протестировать или отладить Notepad2 (как в режиме GDI, так и в режиме D2D, Настройки -> Технология рендеринга) на https://github.com/zufuliu/notepad2/releases
Когда утверждение отладки не удалось, выберите «Прервать», затем посмотрите на трассировку стека, чтобы увидеть, где это не удалось.
С помощью stacktrace мы можем знать, как это исправить.

@donho Я могу подтвердить, что ошибка также проявляется в Windows 10 x64.
@zufuliu Я протестировал ваши сборки Notepad2, и текст отображается правильно как в режиме D2D, так и в режиме GDI.

Отредактировано для добавления:
Если вручную выбрать кодовую страницу Windows-1251 в меню «Кодировка» NP ++, текст будет отображаться правильно.

@rddim вы выбираете кодировку ANSI перед

Также попробуйте использовать другую схему. Схема -> Текстовый файл, проверьте как текстовый файл, так и второй текстовый файл. или включить (в которых используется моноширинный шрифт, например Consolas) и отключить (в которых используется пропорциональный шрифт, например, в пользовательском интерфейсе Segoe) Схема -> Использовать стиль кода по умолчанию.

@zufuliu

В Notepad2 все работает как положено

@rddim спасибо.

Снимок экрана https://github.com/notepad-plus-plus/notepad-plus-plus/issues/5671#issuecomment -495190280 указатель на функцию _chvalidator . Из комментария над функцией некоторые функции ctype были вызваны с символами вне диапазона.
Неизвестно, где находится вызов, Scintilla не выполняет прямого вызова функций ctype (кроме лексеров).

@ andrecool-68 может запустить вашу отладочную сборку NPP под VS (щелкните Local Windows Debugger) и сделать снимок экрана стека вызовов, когда утверждение не удалось?

Хорошо, я обнаружил, что этот код (уже сообщенный как проблема № 5280) вызывает ошибку утверждения при вводе символов, отличных от ASCII (кодовая страница как ANSI, так и UTF-8).

static bool isAllDigits(const generic_string &str)
{
    return std::all_of(str.begin(), str.end(), ::isdigit);
}

@zufuliu

Хорошо, я обнаружил, что этот код (уже сообщенный как проблема № 5280) вызывает ошибку утверждения при вводе символов, отличных от ASCII (кодовая страница как ANSI, так и UTF-8).

Он используется автозаполнением Notepad ++, но не имеет ничего общего с ошибкой ввода русского языка.
Есть идеи об источнике проблемы?

@ andrecool-68 @rddim
Не могли бы вы отключить автозаполнение и попробовать еще раз?

@donho

Тот же результат - кирилица (utf-8) => ???????? (ansi)

Я думаю, что основная причина - это изменение в Scintilla CodePageFromCharSet:

-   case SC_CHARSET_DEFAULT: return documentCodePage;
+   case SC_CHARSET_DEFAULT: return documentCodePage ? documentCodePage : 1252;

Поскольку используется SC_CHARSET_DEFAULT, 1252 вместо 1251 используется для преобразования входных символов кириллицы, которые отображаются в мусор.

Из обсуждения ошибки https://sourceforge.net/p/scintilla/bugs/2093/#3ee4 ,
в этом случае предлагается установить кодировку шрифта на SC_CHARSET_RUSSIAN.
Но, судя по моему опыту, установленная кодировка, зависящая от языкового стандарта, требует, чтобы шрифт использовался, фактически поддерживающий кодировку.
https://sourceforge.net/p/scintilla/bugs/2093/#263b/5bac/7f06

Возврат к case SC_CHARSET_DEFAULT: return documentCodePage - это самое простое исправление, потому что мы знали, что кодовая страница, которую мы установили для Scintilla, - это только кодовые страницы UTF-8, DBCS ANSI (932, 949, 950 и 1361) и кодовые страницы SBCS ANSI ( 0, CP_ACP).

@donho Предлагаю обновиться до 4.1.5, т.к. ошибка привязки DBCS https://sourceforge.net/p/scintilla/bugs/2093

@donho
@zufuliu

Я скомпилировал исходную Scintilla 4.1.5, скопировал SciLexer.dll в каталог Notepad ++. Результат не изменился, вместо кириллицы «?????»

@ andrecool-68 с изменением на Scintilla's CodePageFromCharSet (в ScintillaWin.cxx)?

+   case SC_CHARSET_DEFAULT: return documentCodePage;
-   case SC_CHARSET_DEFAULT: return documentCodePage ? documentCodePage : 1252;

Ошибка утверждения связана с тем, что автозаполнение можно отключить перед тестированием.

@zufuliu Ничего не менял ... оригинал Scintilla скачал с официального сайта

@ andrecool-68, попробуйте изменить CodePageFromCharSet на case SC_CHARSET_DEFAULT: return documentCodePage; .

или добавьте первую строку в void ScintillaEditView::defineDocType(LangType typeDoc) (строка 1315 в PowerEditor \ src \ ScitillaComponent \ ScintillaEditView.cpp)

    execute(SCI_STYLESETCHARACTERSET, STYLE_DEFAULT, SC_CHARSET_RUSSIAN);
    execute(SCI_STYLECLEARALL);

@donho
@zufuliu

@ andrecool-68 с изменением на Scintilla's CodePageFromCharSet (в ScintillaWin.cxx)?

+   case SC_CHARSET_DEFAULT: return documentCodePage;
-   case SC_CHARSET_DEFAULT: return documentCodePage ? documentCodePage : 1252;

Ошибка утверждения связана с тем, что автозаполнение можно отключить перед тестированием.

В блокноте отладочной сборки ++ все заработало!

@ andrecool-68, попробуйте изменить CodePageFromCharSet на case SC_CHARSET_DEFAULT: return documentCodePage; .

или добавьте первую строку в void ScintillaEditView::defineDocType(LangType typeDoc) (строка 1315 в PowerEditor \ src \ ScitillaComponent \ ScintillaEditView.cpp)

    execute(SCI_STYLESETCHARACTERSET, STYLE_DEFAULT, SC_CHARSET_RUSSIAN);
    execute(SCI_STYLECLEARALL);

Оба варианта работают!
Но я думаю, что лучше внести поправки в файл ScintillaWin.cxx ?!
Потому что неизвестно, как второй вариант повлияет на другие языки.

Я не могу протестировать релизную сборку ... без подписи сертификата не работает, не знаю как подписать сертификат)))

См. Мой комментарий в https://github.com/notepad-plus-plus/notepad-plus-plus/issues/5671#issuecomment -496003800

Я предпочитаю изменить CodePageFromCharSet Scintilla.

@ andrecool-68 @rddim
Не могли бы вы попробовать новый скомпилированный Scilexer.dll (без PCRE от Boost)?
https://notepad-plus-plus.org/temp/

@zufuliu

См. Мой комментарий в №5671 (комментарий)

Я предпочитаю изменить CodePageFromCharSet Scintilla.

То же самое я сказал в предыдущем комментарии))

@zufuliu Спасибо за информацию.
Можете ли вы воспроизвести ошибку (исправленную в Scintilla 4.1.5) в Notepad ++ 7.7?
Если можете, не могли бы вы его воспроизвести?

@donho

@ andrecool-68 @rddim
Не могли бы вы попробовать новый скомпилированный Scilexer.dll (без PCRE от Boost)?
https://notepad-plus-plus.org/temp/

С этим файлом Notepad ++ вообще не запускается, выдает ошибку "not found SciLexer.dll"

@donho Это не исправлено в 4.1.5, строка case SC_CHARSET_DEFAULT: return documentCodePage ? documentCodePage : 1252; не менялась с 2016 года.

В Scintilla 4.1.5 исправлена ​​ошибка с вводом символов DBSC в кодовых страницах DBSC.

@donho
Я изменил только одну строчку

namespace Scintilla {

UINT CodePageFromCharSet(DWORD characterSet, UINT documentCodePage) {
    if (documentCodePage == SC_CP_UTF8) {
        return SC_CP_UTF8;
    }
    switch (characterSet) {
    case SC_CHARSET_ANSI: return 1252;
    case SC_CHARSET_DEFAULT: return documentCodePage;
    // case SC_CHARSET_DEFAULT: return documentCodePage ? documentCodePage : 1252;

C: \ Users \ Uzzer \ Downloads \ notepad-plus-plus-master \ scintilla \ win32 \ ScintillaWin.cxx
Не зависит от версии 4.1.4 или 4.1.5

С моим файлом Scilexer.dll в отладочной сборке у меня все работает только при отключенном автозаполнении

@zufuliu

В Scintilla 4.1.5 исправлена ​​ошибка с вводом символов DBSC в кодовых страницах DBSC.

Я тестировал Notepad ++ 7.7 под китайской версией Windows 7.
Ввод на китайском языке в режиме ANSI работает в версии 7.7.
Так что для меня нет проблемы с DBSC - по крайней мере, для китайцев.
Есть ли у вас устойчивый способ создать проблему DBSC в Notepad ++ v7.7?

@donho

• С v7.7 и SciLexer.64.dll переименован в SciLexer.dll дает ошибку сертификации
• С https://notepad-plus-plus.org/pluginListTestTools/notepad++.debug.x64.zip дает:
  

Изменить: я не нашел другой отладочной версии N ++ на веб-сайте

@donho см. отчет об ошибке на https://sourceforge.net/p/scintilla/bugs/2093/
Его можно воспроизвести с помощью бинарной версии NPP 7.7.

@donho ошибка (
Я думаю, что NPP может просто игнорировать любой ch> 0x7F в кодовых страницах DBCS или когда ch вводится из IME, автозаполнение для слов CJK - это подлость.

@ andrecool-68 @rddim
Пожалуйста, попробуйте эту сборку x64. Работает только с режимом отладки Notepad ++, так как он не подписан.

@donho

Еще одна попытка на этот раз с https://notepad-plus-plus.org/pluginListTestTools/notepad++.debug.x86.zip и SciLexer.32.dll дает мне то же самое, что и https://github.com/notepad-plus- plus / notepad-plus-plus / issues / 5671 # issuecomment -495190280 экран

Я не знаю, как запустить N ++ в режиме отладки. Если вы имеете в виду что-то вроде VS, у меня нет VS.

@donho

@ andrecool-68 @rddim
Спасибо за тест. Кажется, это не то решение, которое предложил @zufuliu :

+   case SC_CHARSET_DEFAULT: return documentCodePage;
-   case SC_CHARSET_DEFAULT: return documentCodePage ? documentCodePage : 1252;

Это тоже интересно, он работает в режиме отладки (https://github.com/notepad-plus-plus/notepad-plus-plus/issues/5671#issuecomment-496128852), но не в режиме выпуска?

по крайней мере, Notaped2 используйте изменение https://github.com/zufuliu/notepad2/blob/master/scintilla/win32/ScintillaWin.cxx#L1292

@donho

https://github.com/notepad-plus-plus/notepad-plus-plus/issues/5671#issuecomment -496042330

автозаполнение включено https://github.com/notepad-plus-plus/notepad-plus-plus/issues/5671#issuecomment -496042330
Но как ведут себя другие языки - неизвестно

@ andrecool-68 первую строку execute(SCI_STYLECLEARALL); можно опустить.

@zufuliu
Дублирования строчки не заметил ... нужно сделать перекур)))

@donho

После перекура тоже с notepad++.debug.x86.zip , SciLexer.32.dll и отключенным Auto-Completion все работает как положено. При включенном Auto-Completion это дает мне ранее упомянутую ошибку

@donho Как отключить проверку сертификата scintilla?
... чтобы можно было протестировать релизные сборки
Я не буду распространять эти релизы, я буду их только тестировать.

После перекура тоже с notepad ++. Debug.x86.zip, SciLexer.32.dll и отключенным автозавершением все работает как положено. При включенном автозавершении это дает мне ранее упомянутую ошибку

Значит, курение вредно для здоровья, но полезно для проверки программы? : D

Как отключить проверку сертификата "scintilla"?

Вы не можете. Я предоставлю вам подписанный двоичный файл релиза 32 и 64, чтобы убедиться, что все в порядке.

@zufuliu Итак, ваше решение работает. Спасибо. Однако вызывает ли эта модификация побочный эффект?

@donho Истина рождается в любом споре
Спасибо всем и моей собаке
Только она может нести мой компьютер

@zufuliu спасибо за вашу помощь
Ваш редактор поддерживает локализацию?

@rddim @ andrecool-68
https://notepad-plus-plus.org/temp/

Woohoo он жив: D Теперь около 275 миллионов человек могут набирать кириллицу в ANSI
Большое спасибо @ andrecool-68 @rddim @donho @MetaChuh @zufuliu

Для меня это вообще не имеет значения ... но моим друзьям нужны 1255 и 1251.

@ andrecool-68
лол ... после того, что мы прочитали сегодня, лучше поставить черную полосу цензуры на ваше размещенное изображение, чтобы убедиться, что мы никого не обидим 😂

@rddim
Я плохой полицейский, поэтому мне не нужно благодарить.
решение этой проблемы со всей вашей коллективной помощью является частной инициативой Дона, несмотря на то, что причиной являются более новые версии scintilla.

с уважением.

@MetaChuh
Моя собака очень терпимо относится к водителям мотоциклов))

@MetaChuh
Ты хитрый ... у тебя что-то от еврея
Когда драка закончилась .. мальчик приехал на мотоцикле ... это нечестно
Когда я хочу повернуть собаку за хвост ... Я ни у кого не прошу помощи
Но если есть проблемы с блокнотом ++, я хочу решить эту проблему.

@zufuliu спасибо за вашу помощь
Ваш редактор поддерживает локализацию?

Извините, планов на i18n нет.

После перекура тоже с notepad ++. Debug.x86.zip, SciLexer.32.dll и отключенным автозавершением все работает как положено. При включенном автозавершении это дает мне ранее упомянутую ошибку

Значит, курение вредно для здоровья, но полезно для проверки программы? : D

Как отключить проверку сертификата "scintilla"?

Вы не можете. Я предоставлю вам подписанный двоичный файл релиза 32 и 64, чтобы убедиться, что все в порядке.

@zufuliu Итак, ваше решение работает. Спасибо. Однако вызывает ли эта модификация побочный эффект?

Какое решение? изменить CodePageFromCharSet Scintilla или использовать SCI_STYLESETCHARACTERSET? первый возвращает ACP (0), должен иметь побочный эффект, второй - см. https://github.com/notepad-plus-plus/notepad-plus-plus/issues/5671#issuecomment -496003800.

У меня была аналогичная проблема с 32-разрядной версией Notepad ++ 7.7 на чешском языке (windows-1250).
Мне не удалось набрать или вставить несколько чешских букв в кодировке ANSI.

Замена SciLexer.dll на предоставленный (SciLexer32.signed.dll 27-May-2019 22:00) помогла, проблема исчезла.

Будет апдейт для npp?

@lehha

Будет апдейт для npp?

Нет, не будет - по крайней мере, пока. Это не полное решение, и у него будет побочный эффект, как упоминал @zufuliu.

@ andrecool-68 и @rddim
Итак, новый Scilexer.dll работает на вас, но вам нужно отключить автозаполнение, верно?
Что происходит, если автозаполнение включено?

SciLexer.32.dll и отключил автозаполнение, все работает как положено. При включенном автозавершении это дает мне ранее упомянутую ошибку

Что за «ранее упомянутая ошибка»? Не могли бы вы пояснить мне это?

@donho
~ Не вижу ошибок с кириллицей. ~
Автозаполнение включено.
https://notepad-plus-plus.org/temp/cyrillacPb/

Извините, есть ошибки. После обновления окна Notepad ++ исчезнет первый символ и изменилась кодировка.

Вот еще одна ошибка, изменение символов, изменение регистра символов, изменение кодировки.

Спасибо! Я не вижу прямых ссылок выше, поэтому есть:

https://notepad-plus-plus.org/temp/cyrillacPb/SciLexer32.signed.dll
или
https://notepad-plus-plus.org/temp/cyrillacPb/SciLexer64.signed.dll

Необходимо заменить SciLexer.dll в C: \ Program Files (x86) \ Notepad ++

@donho

С SciLexers из https://notepad-plus-plus.org/temp/cyrillacPb/ он работает с включенным автозавершением, т.е. без проблем. Он не работает с комбинацией из этого комментария https://github.com/notepad-plus-plus/notepad-plus-plus/issues/5671#issuecomment -496189871, который также является ответом на "previously mentioned error"

@rddim Итак, SciLexers из https://notepad-plus-plus.org/temp/cyrillacPb/ устранили проблему без каких-либо побочных эффектов?

@donho Я тестирую еще раз, чтобы убедиться, и:

• x64 SciLexer работает отлично - на данный момент проблем нет, кириллица работает, а автозавершение работает в ANSI
  

• x32 SciLexer - я могу печатать кириллицей, но автозавершение не работает, работает с латинскими символами
  

@rddim Перезагрузите блокнот ++ и снова откройте этот файл ... и что вы видите?

@ andrecool-68 и x32, и x64 доступны для чтения после повторного открытия

@rddim Autodetect character encoding включен?

@ andrecool-68 Да, настройки по умолчанию, поэтому это Windows-1251 а не ANSI

@rddim А я вообще ничего не понимаю)))

@ andrecool-68 @donho
В x32, когда слово начинается с маленькой буквы, Auto-Completion не работает, но не всегда ( new 3 ). Я думаю, что другие проблемы связаны с Autodetect character encoding

Изменить: проблема с Auto-Completion существует в 7.6.6 x32

@rddim На четвертой вкладке
какой плагин вы используете для вставки готового текста?

@ andrecool-68 внешний менеджер буфера обмена - CLCL

@rddim
Как отключить эти строчки, не могу найти в настройках

@ andrecool-68
Напишите мне письмо, вы можете найти его в bulgarian.xml. Здесь я, конечно, могу вам ответить, но это проблема N ++, а не других программ :)

может кто-нибудь мне тоже помочь?
Я думаю, что моя проблема похожа,
Я написал в сообществе npp (в ветке версии 7.7), но я не смог получить запрошенную мной поддержку, я так и не понял почему ..

в любом случае,
Публикую здесь повторно:

Я получаю sql-запросы по электронной почте, которые открываю с помощью npp и
Затем я копирую содержимое файла в программу диспетчера sql, чтобы выполнить их,
ну с 7.7 греческие символы отображаются как китайские, я откатился на 7.6.6 и они отображаются нормально

"автоматическое определение кодировки символов" отключено для меня,
после другой проблемы, которая у меня была с этим в прошлом,
поэтому я бы предпочел, чтобы он оставался выключенным

изменить: я пробовал вышеуказанный scilexer (32 бит):
https://notepad-plus-plus.org/temp/cyrillacPb/SciLexer32.signed.dll
и у меня это тоже сработало!

@patrickdrd @rddim @ andrecool-68
Не могли бы вы протестировать следующие двоичные файлы и подтвердить, что ошибка исправлена ​​и без регресса (с включенным автозаполнением)?
32 бита:
https://notepad-plus-plus.org/temp/cyrillacPb/npp.7.7.bin.zip
64 бита:
https://notepad-plus-plus.org/temp/cyrillacPb/npp.7.7.bin.x64.zip

Я только что протестировал 32-битную версию, и она выглядит хорошо,
хотя пройдет несколько часов, прежде чем я смогу протестировать тот же сценарий

хорошо, оригинальный сценарий тоже работает

@donho
При вводе кириллицы проблем не было.
При повторном открытии файла (ANSI) начальные символы исчезают.
(ANSI превращается в Macintosh)
Скорее всего виноват "Автоопределение кодировки символов"
( Autodetect character encoding и auto-completion ... включены)

@ andrecool-68 Мне нужно ваше подтверждение после тестирования обоих двоичных файлов, которые я предоставляю, для проблемы ввода в режиме ANSI. Я видел ваш пост, и эта проблема - еще одна. Давайте устранять проблемы по порядку, иначе вы просто запутаете всех, и это совсем не поможет!

@donho Может мои слова вам не понятны ... извините, но я пишу через translate.google))
Я хотел сказать, что тестировал оба файла, и кириллица печаталась без ошибок.
А то, что артефакты при повторном открытии файла ... Сам не знаю ... это продолжение старой или новой ошибки.
Что замечаю при тестировании ... то сообщаю вам

@donho
Я скомпилировал отладочную сборку Notepad ++ с помощью scintilla416 (с теми же изменениями),

// case SC_CHARSET_DEFAULT: return documentCodePage ? documentCodePage : 1252;
case SC_CHARSET_DEFAULT: return documentCodePage;

автоматическое определение кодировки отключено ... то с кириллицей проблем нет.

Если включено "автоматическое определение кодировки", то с кодировкой точно такие же артефакты, как я писал в предыдущем посте.

Может быть, это вам чем-то поможет.

Если включено "автоматическое определение кодировки", то с кодировкой точно такие же артефакты, как я писал в предыдущем посте.

Так что это проблема «автоматического определения кодировки». Пожалуйста, создайте для этого новую задачу.

@donho извините за поздний ответ, я был очень занят и вдали от дома.
Исправление работает отлично. Спасибо

эта проблема все еще сохраняется, я боюсь, ребята,
текстовый документ с греческими символами не отображается должным образом на моем 32-разрядном рабочем столе Windows 7,
в то время как он отлично отображается в 64-разрядной версии Windows 8, а также при использовании другого редактора

edit: может быть, это другая проблема, потому что я откатился до 7.6.6, и она все еще была там,
Я даже пробовал писать на греческом в npp, но это кажется невозможным!
Я могу печатать на греческом в блокноте (windows), но, похоже, не могу в npp