Notepad-plus-plus: Notepad ++ 7.7 em codificação ANSI em vez de caracteres cirílicos "????????"

confirme

A tela é antiga, mas o problema ainda existe

Informações de depuração

Notepad ++ v7.7 (64 bits)
Tempo de construção: 19 de maio de 2019 - 13:05:35
Caminho: D: \ Install \ Office Programs \ Notepad ++ \ notepad ++. Exe
Modo de administrador: LIGADO
Modo de configuração local: ON
SO: Windows 7 (64 bits)
Plug-ins: AutoSave.dll ComparePlugin.dll ShtirlitzNppPlugin.dll TakeNotes.dll VisualStudioLineCopy.dll

@donho
Testei todas as versões do SciTE, começando com a versão do Scintilla 3.6.7, problemas com o cirílico começam.

@rddim & @ andrecool-68
Então, qual é o idioma nativo do seu sistema operacional?

Alguém pode reproduzi-lo no Windows 10?

@donho
Tenho Win 7 x64 versão russa.

@donho

apenas no caso de você ver o mesmo que eu:
este será f. difícil de resolver para um russo ou búlgaro não nativo, se possível.

Nunca consegui inserir texto cirílico em arquivos ansi, em um Windows 10 e 7 em inglês, espanhol ou alemão, independentemente da versão do notepad ++.
testado e re-testado em 7.5.5 a 7.7.
texto russo para utf-8 funciona em todas as versões.
(veja screencast abaixo)

saudações.

@ andrecool-68

Testei todas as versões do SciTE, começando com a versão do Scintilla 3.6.7, problemas com o cirílico começam.

Então Scintilla 3.6.6 funciona para você?
A digitação em cirílico em ANSI não funciona na versão 3.6.7 e na versão posterior, correto?

@donho
Isso mesmo, os problemas começam na versão 3.6.7 e superior!
Windows 7 x64

Windows 10 x64 (VirtualBox)

@donho
Ambas as máquinas (laptop de escritório e pc doméstico) estão com Win7 Pro x64 SP1 Inglês . Não consigo testar no Win10.
Confirme se o problema começa em SciTE v3.6.7 e não está quebrado em SciTE v3.6.6

@donho
Não tenho certeza se isso vai te ajudar, mas: https://sourceforge.net/p/scintilla/bugs/2093/#3ee4

@donho
Tentei fazer essas mudanças e o cirílico apareceu.
arquivo: ScintillaWin.cxx
+ case SC_CHARSET_DEFAULT: return documentCodePage;
- case SC_CHARSET_DEFAULT: вернуть documentCodePage? documentCodePage: 1252;

Mas após cada tentativa de imprimir um caractere cirílico, ocorre um erro)))

@ andrecool-68 que é estranho, case SC_CHARSET_DEFAULT: return documentCodePage; é o código antigo no Scintilla antes de 3.6.6 (usado pelo npp antes de 7.7).

Você pode testar ou depurar o Notepad2 (nos modos GDI e D2D, Configurações -> Tecnologia de renderização) em https://github.com/zufuliu/notepad2/releases
Quando a asserção de depuração falhou, opte por interromper e, em seguida, observe o stacktrace para ver onde falhou.
Com o stacktrace, podemos saber como consertá-lo.

@donho posso confirmar que o bug também se manifesta no Windows 10 x64.
@zufuliu Eu testei suas compilações do Notepad2 e o texto é renderizado corretamente nos modos D2D e GDI.

Editado para adicionar:
Se você selecionar manualmente a página de código Windows-1251 no menu Codificação do NP ++, o texto será renderizado corretamente.

@rddim você seleciona a codificação para ANSI antes de digitar? (via menu: Arquivo -> Codificação -> ANSI), pois a codificação padrão é UTF-8. a barra de status mostra o nome da codificação antes do modo EOL, como CR + LF.

Também tente usar um esquema diferente. Esquema -> Arquivo de texto, teste o arquivo de texto e o segundo arquivo de texto. ou habilitar (que usa fonte monoespaçada como Consolas) e desabilitar (que usa fonte proporcional como Segoe UI) Esquema -> Usar Estilo de Código Padrão.

@zufuliu

Tudo funciona conforme o esperado no Notepad2

@rddim obrigado.

Captura de tela de https://github.com/notepad-plus-plus/notepad-plus-plus/issues/5671#issuecomment -495190280 ponteiro para a função _chvalidator . A partir do comentário acima da função, algumas funções ctype foram chamadas com caracteres fora do intervalo.
Não se sabe onde está a chamada, o Scintilla não direciona funções ctype de chamada (exceto lexers).

@ andrecool-68 pode executar sua compilação de depuração do NPP no VS (clique em Local Windows Debugger) e tirar uma captura de tela do Call Stack quando a declaração falhar?

OK, descobri que este código (já relatado como problema nº 5280) causa falha de declaração ao digitar caracteres não ASCII (página de código ANSI e UTF-8).

static bool isAllDigits(const generic_string &str)
{
    return std::all_of(str.begin(), str.end(), ::isdigit);
}

@zufuliu

OK, descobri que este código (já relatado como problema nº 5280) causa falha de declaração ao digitar caracteres não ASCII (página de código ANSI e UTF-8).

É usado pelo preenchimento automático do Notepad ++, mas nada a ver com a falha de entrada russa.
Alguma ideia sobre a origem do problema?

@ andrecool-68 @rddim
Você pode desativar o preenchimento automático e tentar novamente?

@donho

Mesmo resultado - кирилица (utf-8) => ???????? (ansi)

Acho que o principal motivo é a mudança no CodePageFromCharSet do Scintilla:

-   case SC_CHARSET_DEFAULT: return documentCodePage;
+   case SC_CHARSET_DEFAULT: return documentCodePage ? documentCodePage : 1252;

Como SC_CHARSET_DEFAULT é usado, 1252 em vez de 1251 é usado para converter caracteres cirílicos de entrada, que mapeiam para lixo.

Da discussão sobre o bug https://sourceforge.net/p/scintilla/bugs/2093/#3ee4 ,
é sugerido definir o conjunto de caracteres da fonte para SC_CHARSET_RUSSIAN neste caso.
Mas, pela minha experiência, definir o conjunto de caracteres dependente da localidade precisa que a fonte seja usada para dar suporte ao conjunto de caracteres.
https://sourceforge.net/p/scintilla/bugs/2093/#263b/5bac/7f06

Reverter para case SC_CHARSET_DEFAULT: return documentCodePage é a solução mais simples possível, porque sabemos que a página de código que definimos como Scintilla são apenas páginas de código UTF-8, DBCS ANSI (932, 949, 950 e 1361) e páginas de código SBCS ANSI ( 0, CP_ACP).

@donho , sugiro atualizar para 4.1.5, porque o bug para amarrar DBCS https://sourceforge.net/p/scintilla/bugs/2093

@donho
@zufuliu

Eu compilei o Scintilla 4.1.5 original, copiei SciLexer.dll para o diretório Notepad ++. O resultado não mudou, em vez de cirílico "?????"

@ andrecool-68 com a mudança para CodePageFromCharSet do Scintilla (em ScintillaWin.cxx)?

+   case SC_CHARSET_DEFAULT: return documentCodePage;
-   case SC_CHARSET_DEFAULT: return documentCodePage ? documentCodePage : 1252;

A falha de asserção ocorre porque o preenchimento automático, você pode desabilitar o preenchimento automático antes do teste.

@zufuliu Eu não mudei nada ... o Scintilla original baixado do site oficial

@ andrecool-68 tente alterar CodePageFromCharSet para case SC_CHARSET_DEFAULT: return documentCodePage; .

ou adicione a primeira linha a void ScintillaEditView::defineDocType(LangType typeDoc) (linha 1315 em PowerEditor \ src \ ScitillaComponent \ ScintillaEditView.cpp)

    execute(SCI_STYLESETCHARACTERSET, STYLE_DEFAULT, SC_CHARSET_RUSSIAN);
    execute(SCI_STYLECLEARALL);

@donho
@zufuliu

@ andrecool-68 com a mudança para CodePageFromCharSet do Scintilla (em ScintillaWin.cxx)?

+   case SC_CHARSET_DEFAULT: return documentCodePage;
-   case SC_CHARSET_DEFAULT: return documentCodePage ? documentCodePage : 1252;

A falha de asserção ocorre porque o preenchimento automático, você pode desabilitar o preenchimento automático antes do teste.

No notepad ++ de compilação de depuração funcionou!

@ andrecool-68 tente alterar CodePageFromCharSet para case SC_CHARSET_DEFAULT: return documentCodePage; .

ou adicione a primeira linha a void ScintillaEditView::defineDocType(LangType typeDoc) (linha 1315 em PowerEditor \ src \ ScitillaComponent \ ScintillaEditView.cpp)

    execute(SCI_STYLESETCHARACTERSET, STYLE_DEFAULT, SC_CHARSET_RUSSIAN);
    execute(SCI_STYLECLEARALL);

Ambas as opções estão funcionando!
Mas acho melhor fazer correções no arquivo ScintillaWin.cxx?!
Porque não se sabe como a segunda opção afetará outros idiomas.

Não consigo testar a versão de lançamento ... sem assinar o certificado não funciona, não sei como assinar o certificado)))

Veja meu comentário em https://github.com/notepad-plus-plus/notepad-plus-plus/issues/5671#issuecomment -496003800

Eu prefiro mudar o CodePageFromCharSet do Scintilla.

@ andrecool-68 @rddim
Você já experimentou o novo Scilexer.dll compilado (sem PCRE do boost)?
https://notepad-plus-plus.org/temp/

@zufuliu

Veja meu comentário em # 5671 (comentário)

Eu prefiro mudar o CodePageFromCharSet do Scintilla.

Eu disse a mesma coisa no comentário anterior))

@zufuliu Obrigado por sua informação.
Você pode reproduzir o bug (que foi corrigido no Scintilla 4.1.5) no Notepad ++ 7.7?
Se você puder, poderia fornecer uma maneira de reproduzi-lo?

@donho

@ andrecool-68 @rddim
Você já experimentou o novo Scilexer.dll compilado (sem PCRE do boost)?
https://notepad-plus-plus.org/temp/

Com este arquivo, o Notepad ++ não inicia, ele dá um erro "não encontrado SciLexer.dll"

@donho Isso não foi corrigido em 4.1.5, a linha case SC_CHARSET_DEFAULT: return documentCodePage ? documentCodePage : 1252; não mudou desde 2016.

O Scintilla 4.1.5 corrigiu o bug com a digitação de caracteres DBSC nas páginas de código DBSC.

@donho
Eu mudei apenas uma linha

namespace Scintilla {

UINT CodePageFromCharSet(DWORD characterSet, UINT documentCodePage) {
    if (documentCodePage == SC_CP_UTF8) {
        return SC_CP_UTF8;
    }
    switch (characterSet) {
    case SC_CHARSET_ANSI: return 1252;
    case SC_CHARSET_DEFAULT: return documentCodePage;
    // case SC_CHARSET_DEFAULT: return documentCodePage ? documentCodePage : 1252;

C: \ Users \ Uzzer \ Downloads \ notepad-plus-plus-master \ scintilla \ win32 \ ScintillaWin.cxx
Não depende da versão 4.1.4 ou 4.1.5

Com meu arquivo Scilexer.dll na compilação de depuração, tudo funciona para mim apenas quando o preenchimento automático está desativado

@zufuliu

O Scintilla 4.1.5 corrigiu o bug com a digitação de caracteres DBSC nas páginas de código DBSC.

Testei o Notepad ++ 7.7 na versão chinesa do Windows 7.
A entrada chinesa no modo ANSI funciona na v7.7.
Portanto, para mim não há problema de DBSC - pelo menos para os chineses.
Você tem alguma maneira estável de produzir problemas de DBSC no Notepad ++ v7.7?

@donho

• Com v7.7 e SciLexer.64.dll renomeado para SciLexer.dll dá erro de certificação
• Com https://notepad-plus-plus.org/pluginListTestTools/notepad++.debug.x64.zip dá:
  

Edit: Não encontrei nenhuma outra versão de depuração do N ++ no site

@donho veja o relatório do bug em https://sourceforge.net/p/scintilla/bugs/2093/
Ele pode ser reproduzido com o binário NPP 7.7.

@donho o bug (Digitando DBCS) em https://sourceforge.net/p/scintilla/bugs/2093/ e outro bug (Inline IME) em https://sourceforge.net/p/scintilla/bugs/2038/ ( não corrigido) afetará o preenchimento automático.
Acho que NPP pode simplesmente ignorar qualquer ch> 0x7F nas páginas de código DBCS ou quando ch é inserido no IME, o preenchimento automático para palavras CJK é maldade.

@ andrecool-68 @rddim
Por favor, tente esta compilação x64. Funciona apenas com o modo de depuração Notepad ++, uma vez que não está assinado.

@donho

Outra tentativa desta vez com https://notepad-plus-plus.org/pluginListTestTools/notepad++.debug.x86.zip e SciLexer.32.dll me dá o mesmo que https://github.com/notepad-plus- plus / notepad-plus-plus / issues / 5671 # issuecomment -495190280 screen

Não sei como executar o N ++ no modo de depuração. Se você quer dizer algo como VS, não tenho VS.

@donho

@ andrecool-68 @rddim
Obrigado pelo seu teste. Parece que não é a solução que @zufuliu sugeriu:

+   case SC_CHARSET_DEFAULT: return documentCodePage;
-   case SC_CHARSET_DEFAULT: return documentCodePage ? documentCodePage : 1252;

Isso também é interessante, ele funciona no modo de depuração (https://github.com/notepad-plus-plus/notepad-plus-plus/issues/5671#issuecomment-496128852), mas não no modo de liberação?

pelo menos Notaped2 use a mudança https://github.com/zufuliu/notepad2/blob/master/scintilla/win32/ScintillaWin.cxx#L1292

@donho

https://github.com/notepad-plus-plus/notepad-plus-plus/issues/5671#issuecomment -496042330

preenchimento automático ativado https://github.com/notepad-plus-plus/notepad-plus-plus/issues/5671#issuecomment -496042330
Mas como outras línguas se comportam é desconhecido

@ andrecool-68 primeira linha de execute(SCI_STYLECLEARALL); pode ser omitida.

@zufuliu
Não notei a duplicação da linha ... preciso fazer uma pausa para fumar)))

@donho

Depois de uma pausa para fumar também com notepad++.debug.x86.zip , SciLexer.32.dll e Auto-Completion desativados, tudo funciona como esperado. Com Auto-Completion habilitado, isso me dá o erro mencionado anteriormente

@donho Como posso desligar a verificação do certificado "scintilla"?
... para que possa testar as compilações de lançamento
Não vou distribuir esses lançamentos, vou apenas testá-los.

Depois de uma pausa para fumar também com o notepad ++. Debug.x86.zip, SciLexer.32.dll e o Auto-Completamento desabilitado, tudo funciona conforme o esperado. Com o Auto-Completamento habilitado, me dá o erro mencionado anteriormente

Então fumar é ruim para a saúde, mas bom para o teste do programa? : D

Como posso desligar a verificação de certificado "scintilla"?

Você não pode. Eu irei fornecer a vocês o binário de versão assinada 32 e 64 para ter certeza de que está tudo OK.

@zufuliu Então sua solução funciona. Obrigada. No entanto, essa modificação cria algum efeito colateral?

@donho Truth nasce em qualquer disputa
Obrigado a todos e ao meu cachorro
Só ela pode carregar meu computador

@zufuliu obrigado pela sua ajuda
Seu editor suporta localização?

@rddim @ andrecool-68
https://notepad-plus-plus.org/temp/

Uau, está vivo: D Agora, cerca de 275 milhões de pessoas podem digitar cirílico em ANSI
Muito obrigado @ andrecool-68 @rddim @donho @MetaChuh @zufuliu

Não importa para mim ... mas meus amigos precisam de 1255 e 1251.

@ andrecool-68
lol ... depois do que lemos hoje, é melhor colocar uma barra preta de censura na sua imagem postada, para garantir que não ofendamos ninguém 😂

@rddim
eu sou o policial mau, então não há necessidade de agradecer a mim.
é iniciativa privada de don perseguir esse problema com toda a sua ajuda coletiva, apesar das versões mais recentes do scintilla serem a causa.

Cumprimentos.

@MetaChuh
Meu cachorro é muito tolerante com os motoristas de motocicleta))

@MetaChuh
Você é astuto ... você tem algo de um judeu
Quando a luta acabou .. o menino veio de moto ... não é justo
Quando quero virar o rabo do meu cachorro ... não peço ajuda a ninguém
Mas se houver problemas com o notepad ++, quero resolver esse problema.

@zufuliu obrigado pela sua ajuda
Seu editor suporta localização?

Desculpe, nenhum plano em i18n.

Depois de uma pausa para fumar também com o notepad ++. Debug.x86.zip, SciLexer.32.dll e o Auto-Completamento desabilitado, tudo funciona conforme o esperado. Com o Auto-Completamento habilitado, me dá o erro mencionado anteriormente

Então fumar é ruim para a saúde, mas bom para o teste do programa? : D

Como posso desligar a verificação de certificado "scintilla"?

Você não pode. Eu irei fornecer a vocês o binário de versão assinada 32 e 64 para ter certeza de que está tudo OK.

@zufuliu Então sua solução funciona. Obrigada. No entanto, essa modificação cria algum efeito colateral?

Que solução? alterar CodePageFromCharSet do Scintilla ou usando SCI_STYLESETCHARACTERSET? o primeiro retorna ACP (0), deve ter efeito colateral, o último tem, consulte https://github.com/notepad-plus-plus/notepad-plus-plus/issues/5671#issuecomment -496003800.

Tive um problema semelhante com o Notepad ++ 7.7 de 32 bits, idioma tcheco (windows-1250).
Não consegui digitar ou colar algumas letras tchecas na codificação ANSI.

Substituir o SciLexer.dll pelo fornecido (SciLexer32.signed.dll 27 de maio de 2019 22:00) ajudou, o problema foi resolvido.

Haverá uma atualização para o npp?

@lehha

Haverá uma atualização para o npp?

Não, não vai - pelo menos não ainda. Não é uma solução completa e terá o efeito colateral, conforme mencionado por @zufuliu

@ andrecool-68 & @rddim
Portanto, o novo Scilexer.dll funciona para você, mas você precisa desabilitar o preenchimento automático, certo?
O que acontecerá se o preenchimento automático estiver ATIVADO?

SciLexer.32.dll e completamento automático desabilitado tudo funciona conforme o esperado. Com o Auto-Completamento habilitado, me dá o erro mencionado anteriormente

Qual é o "erro mencionado anteriormente"? Você poderia deixar isso mais claro para mim?

@donho
~ Não vejo erros com o cirílico. ~
Preenchimento automático habilitado.
https://notepad-plus-plus.org/temp/cyrillacPb/

Desculpe, existem erros. Após atualizar a janela, o Notepad ++ desaparece o primeiro caractere e a codificação é alterada.

Aqui está outro erro, alterando caracteres, alterando a caixa dos caracteres, alterando a codificação.

Obrigado! Não consigo ver os links diretos acima, então há:

https://notepad-plus-plus.org/temp/cyrillacPb/SciLexer32.signed.dll
ou
https://notepad-plus-plus.org/temp/cyrillacPb/SciLexer64.signed.dll

Deve ser substituído SciLexer.dll em C: \ Arquivos de programas (x86) \ Notepad ++

@donho

Com os SciLexers de https://notepad-plus-plus.org/temp/cyrillacPb/ ele funciona com o Auto-Completamento habilitado, ou seja, sem problemas. Não funciona com a combinação deste comentário https://github.com/notepad-plus-plus/notepad-plus-plus/issues/5671#issuecomment -496189871 que também é a resposta para "previously mentioned error"

@rddim Então, para vocês SciLexers de https://notepad-plus-plus.org/temp/cyrillacPb/ corrigiu o problema sem qualquer efeito colateral?

@donho eu testo novamente para ter certeza e:

• o x64 SciLexer funciona perfeitamente - sem problemas por enquanto, funciona em cirílico e Auto-completação funciona em ANSI
  

• o x32 SciLexer - posso digitar em cirílico, mas o preenchimento automático não funciona, funciona com caracteres latinos
  

@rddim Reinicie seu notepad ++ e

@ andrecool-68 tanto x32 quanto x64 podem ser lidos após a reabertura

@rddim Autodetect character encoding habilitado?

@ andrecool-68 Sim, configurações padrão, é por isso que é Windows-1251 mas não ANSI

@rddim E eu não entendo nada)))

@ andrecool-68 @donho
Em x32, quando a palavra começa com letra minúscula Auto-Completion não funciona para ele, mas nem sempre ( new 3 ). Acho que os outros problemas são com Autodetect character encoding

Editar: o problema com Auto-Completion existe em 7.6.6 x32

@rddim A quarta guia foi obtida em hebraico))
qual plugin você usa para inserir o texto acabado?

@ andrecool-68 gerenciador de área de transferência externa - CLCL

@rddim
Como posso desabilitar essas linhas, não consigo encontrar nas configurações

@ andrecool-68
Escreva-me um e-mail, você pode encontrá-lo em bulgarian.xml. Posso responder aqui, é claro, mas este é um problema do N ++, não para outros programas :)

alguem pode me ajudar tambem?
Acho que meu problema é semelhante,
Postei na comunidade npp (no tópico da versão 7.7), mas não consegui receber o suporte que solicitei, nunca descobri o porquê ..

qualquer forma,
Estou postando novamente aqui:

Estou recebendo consultas sql por e-mail que abro com npp e
Em seguida, copio o conteúdo do arquivo para o programa gerenciador de sql a fim de executá-los,
bem, com 7.7 caracteres gregos são exibidos como chinês, voltei para 7.6.6 e eles são exibidos corretamente

"codificação de caracteres de detecção automática" está desabilitada para mim,
após outro problema que tive no passado com ele,
então eu preferiria que ele ficasse afastado

editar: eu tentei o scilexer acima (32 bits):
https://notepad-plus-plus.org/temp/cyrillacPb/SciLexer32.signed.dll
e funcionou para mim também!

@patrickdrd @rddim @ andrecool-68
Vocês poderiam testar os binários a seguir e confirmar se o bug foi corrigido e sem regressão, por favor (com preenchimento automático habilitado)?
32 bits:
https://notepad-plus-plus.org/temp/cyrillacPb/npp.7.7.bin.zip
64 bits:
https://notepad-plus-plus.org/temp/cyrillacPb/npp.7.7.bin.x64.zip

Acabei de testar o de 32 bits e parece bom,
mesmo que demore algumas horas até que eu seja capaz de testar o mesmo cenário

ok, o cenário original também funciona

@donho
Não houve problemas ao inserir caracteres cirílicos.
Quando você reabre o arquivo (ANSI), os caracteres iniciais desaparecem.
(ANSI se transforma em Macintosh)
Provavelmente a culpa é da "codificação de caracteres de detecção automática"
( Autodetect character encoding e auto-completion ... ativado)

@ andrecool-68 Preciso da sua confirmação depois de testar os dois binários que forneço, para o problema de entrada do modo ANSI. Eu vi sua postagem e esse problema é outro. Vamos consertar um problema após o outro, senão você confunde todo mundo e não adianta em nada!

@donho Talvez minhas palavras você não entenda ... com licença, mas escrevo através do translate.google))
Queria dizer que testei os dois arquivos e o alfabeto cirílico foi impresso sem erros.
E o fato de que os artefatos ao reabrir o arquivo ... eu mesmo não sei ... é a continuação do antigo ou novo erro.
O que eu noto ao testar ... então eu informo vocês

@donho
Compilei a compilação de depuração do Notepad ++ com "scintilla416" (com as mesmas alterações),

// case SC_CHARSET_DEFAULT: return documentCodePage ? documentCodePage : 1252;
case SC_CHARSET_DEFAULT: return documentCodePage;

a definição automática da codificação está desabilitada ... então não há problemas com o cirílico.

Se a "detecção automática de codificação" estiver ativada, serão exatamente os mesmos artefatos com a codificação que escrevi no post anterior.

Talvez isso o ajude de alguma forma.

Se a "detecção automática de codificação" estiver ativada, serão exatamente os mesmos artefatos com a codificação que escrevi no post anterior.

Portanto, é a questão da "detecção automática de codificação". Por favor, crie um novo problema para isso.

@donho desculpe pelo atraso na resposta, estava muito ocupado e fora de casa.
A correção funciona perfeitamente. Obrigado

esse problema ainda persiste, estou com medo, pessoal,
um documento de texto com caracteres gregos não é exibido corretamente na minha área de trabalho do Windows 7 de 32 bits,
enquanto mostra bem no Windows 8 de 64 bits e se estiver usando outro editor também

editar: talvez seja um problema diferente porque voltei para 7.6.6 e ele ainda estava lá,
Até tentei escrever em grego em npp mas parece impossível!
Eu posso digitar em grego no bloco de notas (windows), mas parece que não consigo no npp