Pandas: RLS: 1.0.4

Criado em 5 abr. 2020  ·  53Comentários  ·  Fonte: pandas-dev/pandas

temos várias regressões relatadas desde 1.0.3 (não devido a 1.0.3, desde 0.25.3) e algumas que não foram corrigidas.

https://github.com/pandas-dev/pandas/issues?page=1&q=is%3Aopen+is%3Aissue+label%3ARegression

Existe algum que justifique uma versão 1.0.4?

@ pandas-dev / pandas-core

Release

Comentários muito úteis

sim, um projeto voluntário, como tantos outros, isso é claro

o procedimento de liberação / regressões não é uma parte do processo de desenvolvimento onde um novato em um projeto poderia realmente ajudar, eu acho

às vezes (frequentemente) os desenvolvedores não entendem a gravidade dos problemas, então expressões explícitas de preocupação dos usuários do projeto podem ajudar, pelo menos às vezes.

por favor, entenda nossas preocupações

existem muitas áreas em que você poderia ajudar, por que você não é voluntário lá?

Eu entendo a gravidade dos problemas muito bem e compreendo, mas sem nenhuma maneira de direcionar os recursos, seus comentários não são significativos.

É assim, não vamos pagar nada, não contribuir em espécie e ainda ter a ousadia de exigir algo.

Todos 53 comentários

Provavelmente não poderei ajudar com um esta semana, mas os scripts em https://github.com/pandas-dev/pandas-release devem estar razoavelmente atualizados.

Precisaremos verificar manualmente se todos os PRs necessários foram portados para trás (acho que não). Pode ser mais fácil fazer uma versão 1.1 em breve.

Provavelmente não serei capaz de ajudar com um esta semana

Não acho que seja urgente. É mais uma questão de saber se devemos rotular PRs que corrigem regressões como 1.0.4 e backporting.

Pode ser mais fácil fazer uma versão 1.1 em breve.

IMO, devemos garantir que o 1.0.x corrige as regressões de 0.25.3. 1.1 poderia introduzir novas regressões. portanto, trata-se de garantir um caminho de atualização para os usuários afetados.

@simonjayhawkins Acho que na ligação da semana passada decidimos deixar isso para você. Se você tiver tempo para analisar e fazer o backport dos PRs necessários para um lançamento, podemos prosseguir e fazê-lo.

Além de backporting, acho que

são bloqueadores.

backports potenciais (adicionar a esta lista)

  • [x] # 33462 (regressão em 1.0.2)

@simonjayhawkins ainda está trabalhando nisso?

Quando este problema foi aberto, não havia PRs mesclados para dominar as regressões fixas. Também havia bloqueadores para fazer um lançamento, https://github.com/pandas-dev/pandas/issues/33300#issuecomment -614069516.

Não tenho trabalhado nisso, mas agora que já se passaram algumas semanas e os bloqueadores foram resolvidos, agora temos alguns PRs que _podem_ ser retransmitidos.

Eu poderia começar a fazer o backport desses se formos fazer uma versão 1.0.4.

Neste ponto, acho que empurrar para um lançamento 1.1 em uma ou duas semanas é provavelmente mais fácil.

Na verdade, eu seria +1 em um 1.0.4; Eu também acho que isso é ortogonal a fazer 1.1 e bom para outros tentarem uma versão.

Além de backporting, acho que

são bloqueadores.

32737 não foi portado para trás, então # 33210 não deve ser um problema aqui?

@jorisvandenbossche há um teste to_feather falhando em 1.0.x para Linux py37_locale. pyarrow 0.17 está sendo instalado. consulte https://dev.azure.com/pandas-dev/pandas/_build/results?buildId=34788&view=logs&j=a3a13ea8-7cf0-5bdb-71bb-6ac8830ae35c

Os logs das compilações anteriores neste branch onde o teste foi aprovado não estão disponíveis para confirmar a versão do pyarrow.

Não consigo encontrar nenhum PRs recente para corrigir ci para isso. talvez # 33422 corrija isso.

no Windows, o conda não está instalando o pyarrow 0,17, portanto, não pode reproduzir a falha, os testes passam com 0,16

$ conda install pyarrow==0.17.0 -c conda-forge
Collecting package metadata (repodata.json): done
Solving environment: \ 
The environment is inconsistent, please check the package plan carefully
The following packages are causing the inconsistency:

  - conda-forge/win-64::fastparquet==0.3.3=py38hc8d92b1_0
  - conda-forge/win-64::pyarrow==0.16.0=py38h57df961_2
  - conda-forge/win-64::pyreadstat==0.3.3=py38h11373af_0
  - conda-forge/noarch::seaborn==0.10.1=py_0
  - conda-forge/win-64::statsmodels==0.11.1=py38h9de7a3e_1
  - conda-forge/noarch::xarray==0.15.1=py_0
done

## Package Plan ##

  environment location: C:\Users\simon\Anaconda3\envs\pandas-dev

  added / updated specs:
    - pyarrow==0.17.0


The following packages will be downloaded:

    package                    |            build
    ---------------------------|-----------------
    arrow-cpp-0.16.0           |py38h5a970ca_5_cpu        11.8 MB  conda-forge
    openssl-1.1.1g             |       he774522_0         5.7 MB  conda-forge
    ------------------------------------------------------------
                                           Total:        17.5 MB

The following NEW packages will be INSTALLED:

  pandas             conda-forge/win-64::pandas-1.0.3-py38he6e81aa_1

The following packages will be UPDATED:

  arrow-cpp                           0.16.0-py38h5a970ca_4 --> 0.16.0-py38h5a970ca_5_cpu
  ca-certificates     pkgs/main::ca-certificates-2020.1.1-0 --> conda-forge::ca-certificates-2020.4.5.1-hecc5488_0

The following packages will be SUPERSEDED by a higher-priority channel:

  certifi              pkgs/main::certifi-2020.4.5.1-py38_0 --> conda-forge::certifi-2020.4.5.1-py38h32f6830_0
  openssl                                         pkgs/main --> conda-forge


Proceed ([y]/n)? y


Downloading and Extracting Packages
openssl-1.1.1g       | 5.7 MB    | ################################################################################################################# | 100%  
arrow-cpp-0.16.0     | 11.8 MB   | ################################################################################################################# | 100%  
Preparing transaction: done
Verifying transaction: done
Executing transaction: done
(pandas-dev) 
$ conda list pyarrow
# packages in environment at C:\Users\simon\Anaconda3\envs\pandas-dev:
#
# Name                    Version                   Build  Channel
pyarrow                   0.16.0           py38h57df961_2    conda-forge
(pandas-dev)

Se Simon estiver disposto a isso, também +1 em fazer uma versão 1.0.4.

há um teste to_feather falhando em 1.0.x para Linux py37_locale. pyarrow 0.17 está sendo instalado

https://github.com/pandas-dev/pandas/pull/33422 pode de fato corrigir isso, pois eu mudei alguns testes lá. Acho que o PR deve ser OK para backport (as alterações reais do código são limitadas, apenas sobre a passagem de palavras-chave, ou também podem se limitar a apenas backport das correções de teste)
Posso dar uma olhada nisso, se quiser.

ou também pode limitar a apenas backport das correções de teste

fará isso, apenas com o objetivo de fazer o ci passar no branch 1.0.x por enquanto. uma vez que o branch está pronto para aceitar backports, podemos discutir o que pode / deve ser feito backport. (por exemplo, # 32611 corrigiu uma regressão (# 33058), mas pode não ser adequado para backporting.)

Pessoal, vocês podem empurrar o lançamento de 1.0.4 (pelo menos, por favor, não adiem para depois de 1.1.0, como eu vi na última ata da reunião de desenvolvimento) ou aplicar um pouco mais de amor a ele?

O vazamento de memória na rolagem, min / max é sério, você entende que milhares de aplicativos que usam o pandas travam em todo o mundo enquanto isso, até que a correção esteja disponível para nós, usuários dos pandas?

Pessoal, vocês podem empurrar o lançamento de 1.0.4 (pelo menos, por favor, não adiem para depois de 1.1.0, como eu vi na última ata da reunião de desenvolvimento) ou aplicar um pouco mais de amor a ele?

O vazamento de memória na rolagem, min / max é sério, você entende que milhares de aplicativos que usam o pandas travam em todo o mundo enquanto isso, até que a correção esteja disponível para nós, usuários dos pandas?

@ hroff-1902

O pandas é um projeto totalmente voluntário; você é bem-vindo para ajudar

comentários como o acima simplesmente não são úteis

sim, um projeto voluntário, como tantos outros, isso é claro

o procedimento de liberação / regressões não é uma parte do processo de desenvolvimento onde um novato em um projeto poderia realmente ajudar, eu acho

às vezes (frequentemente) os desenvolvedores não entendem a gravidade dos problemas, então expressões explícitas de preocupação dos usuários do projeto podem ajudar, pelo menos às vezes.

por favor, entenda nossas preocupações

@ hroff-1902, você tem acompanhado a enorme quantidade de trabalho que @simonjayhawkins tem feito para preparar uma versão 1.0.4?

Enquanto isso, uma versão é bloqueada por nossa infraestrutura de construção de rodas em https://github.com/macpython/pandas-wheels. https://github.com/pandas-dev/pandas/issues/34114 precisará ser consertado antes de podermos fazer um lançamento. Você pode dar uma olhada nisso?

sim, um projeto voluntário, como tantos outros, isso é claro

o procedimento de liberação / regressões não é uma parte do processo de desenvolvimento onde um novato em um projeto poderia realmente ajudar, eu acho

às vezes (frequentemente) os desenvolvedores não entendem a gravidade dos problemas, então expressões explícitas de preocupação dos usuários do projeto podem ajudar, pelo menos às vezes.

por favor, entenda nossas preocupações

existem muitas áreas em que você poderia ajudar, por que você não é voluntário lá?

Eu entendo a gravidade dos problemas muito bem e compreendo, mas sem nenhuma maneira de direcionar os recursos, seus comentários não são significativos.

É assim, não vamos pagar nada, não contribuir em espécie e ainda ter a ousadia de exigir algo.

@simonjayhawkins Eu seria a favor de lançar isso o mais

Os únicos requisitos reais são passar de CI e capacidade de construir rodas (que eu acho que estão satisfeitas).

Acho que tanto o # 32479 quanto o # 33644 estão prontos para serem mesclados. Eles podem então ser portados para trás. Acho que o backporting # 33644 é importante, pois resultados incorretos estão sendo produzidos.

podemos terminar o segundo (o primeiro já está mesclado), mas geralmente pequenos casos extremos, mesmo se uma regressão não valer a pena atrasar as coisas

Os problemas restantes de

Os problemas restantes de

backported.

TestToGBQIntegrationWithServiceAccountKeyPath falha em 1.0.x ci, caso contrário, verde.

Percebi um erro de lint existente durante o backporting e incluído no # 34369. As ações do github não são executadas no branch 1.0.x. isso é um bloqueador?

@TomAugspurger

Provavelmente não poderei ajudar com um esta semana, mas os scripts em https://github.com/pandas-dev/pandas-release devem estar razoavelmente atualizados.

Estou usando um laptop com Windows e, portanto, não consigo executar os scripts prontos para uso.

Tive progresso nos últimos dias e provavelmente posso iniciar o processo de lançamento.

Não estou em posição de melhorar os scripts de lançamento para funcionar com o Windows no momento, pois estou em uma conexão móvel de medição lenta e isso torna impraticável fazer coisas do zero para testar as coisas. ou seja, a construção do contêiner pandas-docs leva mais de 3 horas.

Então, é uma questão de risco. Estou muito feliz em iniciar o processo de lançamento ou deixar outra pessoa fazer isso.

As principais pegadinhas parecem ser lidar com terminações de linha ao compartilhar volumes para os contêineres do docker e não ser capaz de compartilhar volumes do git bash (ser capaz de usar make)

MMM OK. É uma pena que os scripts não funcionem imediatamente: /

Vou tentar resolver as coisas de vez em quando nos próximos dois dias. Mais alguma coisa precisa ser informada?

Mais alguma coisa precisa ser informada?

ac44c5de19c018a06d5345e800235bcb645cc842 esperançosamente deve ser o último commit antes da tag.

@TomAugspurger

dos documentos de lançamento

Agora crie manualmente uma versão https://github.com/pandas-dev/pandas/releases

Certifique-se de enviar o sdist que está em pandas / dist / como o "binário". Conda-forge usa.

para versões anteriores, existem três ativos. os outros dois são criados automaticamente?

Sim, o github faz isso.

@TomAugspurger

scripts \ conda-forge.sh está falhando com

Traceback (most recent call last):
  File "C:\Users\simon\Anaconda3\envs\pandas-release\Scripts\conda-smithy-script.py", line 9, in <module>
    sys.exit(main())
  File "C:\Users\simon\Anaconda3\envs\pandas-release\lib\site-packages\conda_smithy\cli.py", line 584, in main
    args.subcommand_func(args)
  File "C:\Users\simon\Anaconda3\envs\pandas-release\lib\site-packages\conda_smithy\cli.py", line 391, in __call__
    self._call(args, tmpdir)
  File "C:\Users\simon\Anaconda3\envs\pandas-release\lib\site-packages\conda_smithy\cli.py", line 402, in _call
    temporary_directory=temporary_directory,
  File "C:\Users\simon\Anaconda3\envs\pandas-release\lib\site-packages\conda_smithy\configure_feedstock.py", line 1893, in main
    conda_build_version,
  File "C:\Users\simon\Anaconda3\envs\pandas-release\lib\site-packages\conda_smithy\configure_feedstock.py", line 1611, in commit_changes
    subprocess.check_call(git_args, cwd=forge_file_directory)
  File "C:\Users\simon\Anaconda3\envs\pandas-release\lib\subprocess.py", line 363, in check_call
    raise CalledProcessError(retcode, cmd)
subprocess.CalledProcessError: Command '['git', 'commit', '-m', 'MNT: Re-rendered with conda-build 3.19.2, conda-smithy 3.7.3, and conda-forge-pinning 2020.05.27.14.19.32', '--edit', '--status', '--verbose']' returned non-zero exit status 1.
make: *** [Makefile:136: conda-forge] Error 1

Eu tive alguns problemas relacionados ao git até agora.

Acho que é porque está no ambiente de conda

se eu removê-lo, conda-forge.sh o reinstala.

tentarei as rodas a seguir e voltarei a isso. ou talvez você possa fazer o conda ou eu poderia tentar construir um contêiner docker para fazer esta etapa.

talvez tenha trabalhado em executar novamente https://github.com/conda-forge/pandas-feedstock/pull/81

Obrigado. Acho que também tive problemas com o git no env conda.

Vou começar a compilar o doc agora.

Vou começar a compilar o doc agora.

legal. acabou de instalar o rsync para o git bash. precisaria de acesso ssh para continuar, mas encerrando o dia. continuará amanhã com o que resta fazer.

Site e documentos são carregados. Avise-me se encontrar algum problema estranho de formatação. O layout estava bagunçado na primeira vez que visitei uma página de documentos, mas parece estar OK agora.

As rodas estão no PyPI e os pacotes de conda-forge estão sendo construídos.

@simonjayhawkins , você deseja enviar um e-mail para as listas de discussão com o anúncio?

Ainda vejo o layout bagunçado dos links simbólicos, como https://pandas.pydata.org/docs/ (https://pandas.pydata.org/pandas-docs/version/1.0.4/ está bem).

Hmm, eu tenho que correr um pouco, então vou reverter o link simbólico por enquanto.

@simonjayhawkins , você deseja enviar um e-mail para as listas de discussão com o anúncio?

feliz em fazer isso quando estivermos felizes de que está tudo bem

O que há de novo em 1.0.4 em https://pandas.pydata.org/ points to https://pandas.pydata.org/docs/whatsnew/v1.0.0.html

É algo que preciso mudar?

Não, foi corrigido no master, então não estou preocupado com isso.

Para sua informação, estou depurando isso em https://pandas.pydata.org/pandas-docs/debug/. Parece ocorrer apenas quando o servidor atendeu a uma solicitação 1.0.3 naquele URL. Portanto, quase com certeza um ativo CSS está sendo armazenado em cache em algum lugar.

https://pandas.pydata.org/pandas-docs/debug/ agora parece bom para mim. Esse url deveria estar "quebrado"? (nesse caso, pode ser resolvido agora)

Não tenho certeza se alguém notou, mas para @simonjayhawkins apontar, clicar no 1.0.4 whatsnew na página inicial me leva para 1.0.0 sem a opção de ver 1.0.4. Também menciona 1.0.1 no menu superior:

image

Isso ocorre porque o link parece estar codificado na página inicial (enquanto o texto é atualizado automaticamente):

https://github.com/pandas-dev/pandas/blob/6eb34f1badff4117a440f05ebcbb4292b91a1f23/web/pandas/index.html#L64 -L67

Então isso precisa ser corrigido.

(Eu também me lembro de alguma discussão sobre se achamos os links para 1.0.0 em vez de 1.0.x mais relevantes, mas em qualquer caso agora o texto e o link são inconsistentes)

Está corrigido no mestre: https://pandas.pydata.org/pandas-docs/dev/

Não sei o que fazer sobre o problema do CSS. Eu configurei https://pandas.pydata.org/pandas-docs/debug/ na sexta-feira para replicar /docs e fez: Eu vi a formatação bagunçada por um tempo. A visita agora mostra que parece bom, então tudo o que estava armazenando em cache o CSS expirou.

@TomAugspurger esses são os documentos (de onde removemos o link "Whatsnew" na barra superior), mas AFAIU é sobre um link errado na página inicial ( /web/ )

Ah, obrigado. Isso deveria ser apenas um link para o novo índice?

Na segunda-feira, 1º de junho de 2020 às 6h10 Joris Van den Bossche <
notificaçõ[email protected]> escreveu:

@TomAugspurger https://github.com/TomAugspurger são os documentos (onde
removemos o link "Whatsnew" na barra superior), mas AFAIU é
sobre um link errado na página inicial (/ web /)

-
Você está recebendo isso porque foi mencionado.
Responda a este e-mail diretamente, visualize-o no GitHub
https://github.com/pandas-dev/pandas/issues/33300#issuecomment-636791563 ,
ou cancelar
https://github.com/notifications/unsubscribe-auth/AAKAOITYNVIWYMGP5OXZTDTRUOEEDANCNFSM4MATQACQ
.

@aterrel Acho que isso pode ser armazenado em cache no CDN do cloudflare entre o servidor da web do pandas e a Internet.

$ http https://pandas.pydata.org/pandas-docs/debug/_static/css/index.css
HTTP/1.1 200 OK
Age: 123
CF-Cache-Status: HIT
CF-RAY: 59ca0e5778575c43-STL
Cache-Control: max-age=14400
Connection: keep-alive
Content-Encoding: gzip
Content-Type: text/css
Date: Mon, 01 Jun 2020 15:44:26 GMT
ETag: W/"5e724acc-156c"
Expect-CT: max-age=604800, report-uri="https://report-uri.cloudflare.com/cdn-cgi/beacon/expect-ct"
Last-Modified: Wed, 18 Mar 2020 16:22:36 GMT
Server: cloudflare
Set-Cookie: __cfduid=d1bde881be99bc9d3922b6701123103c61591026266; expires=Wed, 01-Jul-20 15:44:26 GMT; path=/; domain=.pydata.org; HttpOnly; SameSite=Lax
Transfer-Encoding: chunked
Vary: Accept-Encoding
cf-request-id: 0312274aa800005c43bab24200000001
...

Está me dando acesso ao cloudflare para que eu possa limpar alguns caches uma opção? https://support.cloudflare.com/hc/en-us/articles/200169246-Purging-cached-resources-from-Cloudflare.

Na verdade, espere aí. Posso instruir o nginx a não usar o cache do CF. Não terei tempo para investigar isso até mais tarde.

Minha ideia era adicionar cache-control ao nginx para dizer ao cloudflare para não armazenar nada em cache, mas não quero derrubar acidentalmente nosso servidor da web se a carga estiver muito alta. Não tenho uma boa ideia.

@aterrel Acho que é melhor obter acesso ao Cloudflare para limpar manualmente o cache. Você pode me conceder acesso ou podemos sincronizar algum dia para você fazer isso?

@TomAugspurger você não descobriu como alterar o link simbólico /doc ? (para vincular diretamente à versão correta, em vez de por meio de estável. Não tenho certeza se isso resolveria, é claro)

@TomAugspurger sim, crie uma conta cloudflare e me envie o endereço de e-mail que você usou.

Para aqueles que estão assistindo, o convite foi enviado. Avise-me se puder ser útil em qualquer outro serviço.

Obrigado Andy.

Possivelmente corrigido com esta lista de eliminação por meio do console do cloudflare.

https://pandas.pydata.org/docs/_static/css/getting_started.css
https://pandas.pydata.org/docs/_static/css/index.css
https://pandas.pydata.org/docs/_static/css/pandas.css
https://pandas.pydata.org/pandas-docs/stable/_static/css/getting_started.css
https://pandas.pydata.org/pandas-docs/stable/_static/css/index.css
https://pandas.pydata.org/pandas-docs/stable/_static/css/pandas.css
https://pandas.pydata.org/docs/_static/js/index.js
https://pandas.pydata.org/pandas-docs/stable/_static/js/index.js

@jorisvandenbossche mais alguma coisa que você possa imaginar que deva ser removida?

Devem ser todos os arquivos js / css específicos do doc do pandas, eu acho

Obrigado.

E um grande obrigado a @simonjayhawkins por gerenciar o lançamento!

Esta página foi útil?
0 / 5 - 0 avaliações