Setup-miniconda: conda 설정 단계가 너무 오래 걸립니다.

@ma-sadeghi 안녕하세요. 좋은 말씀과 액션을 이용해 주셔서 감사합니다 :)

conda만 설정하면 평소보다 시간이 오래 걸리는 것 같습니다.

최신 버전에서 변경되었습니까? 언제부터 이것을 눈치채기 시작했습니까?

잠재적인 문제를 정확히 찾아낼 수 있는지 궁금합니다.

@conda-incubator/setup-miniconda-team 설명된 것과 유사한 것을 발견하셨습니까?

(작업 중에 내 deps를 설치하지 않고) mamba를 사용하고 최신 v2 버전을 사용하는 경우에도 동일한 문제입니다.

@bollwyvl 나는 이것을 손으로 디버깅 할 수 있습니다.

도움이 되는 경우(로그를 공유할 수 없음):

    steps:
      - name: Checkout the code
        uses: actions/checkout<strong i="6">@v2</strong>

      - name: Cache conda
        uses: actions/cache<strong i="7">@v1</strong>
        env:
          CACHE_NUMBER: 2
        with:
          path: ~/conda_pkgs_dir
          key: conda-${{ runner.os }}-${{ env.CACHE_NUMBER }}-${{ hashFiles('env.yml') }}

      - name: Setup conda
        uses: conda-incubator/setup-miniconda<strong i="8">@v2</strong>
        with:
          mamba-version: "*"
          channels: conda-forge,defaults
          channel-priority: true
          use-only-tar-bz2: true

예를 들어 주셔서 감사합니다 @hadim . 회귀를 도입한 변경 사항을 확인하기 위해 PR을 추가합니다.

@ma-sadeghi 안녕하세요. 좋은 말씀과 액션을 이용해 주셔서 감사합니다 :)

conda만 설정하면 평소보다 시간이 오래 걸리는 것 같습니다.

최신 버전에서 변경되었습니까? 언제부터 이것을 눈치채기 시작했습니까?

잠재적인 문제를 정확히 찾아낼 수 있는지 궁금합니다.

@conda-incubator/setup-miniconda-team 설명된 것과 유사한 것을 발견하셨습니까?

이 작업을 처음 사용했을 때 훨씬 더 빨랐다고 거의 확신합니다. 머리 위로, 아마도 conda를 설정하는 데 1분 정도 걸렸을 것입니다. 지금은 3:30분입니다. 우리 프로젝트는 공개되어 있고 이 작업을 사용한지 오래되었으므로 문제를 디버깅하는 데 도움이 되는 경우 로그를 확인 하세요 .

연결된 로그에서:

Tue, 10 Nov 2020 21:09:23 GMT /usr/share/miniconda/condabin/conda update conda
Tue, 10 Nov 2020 21:09:54 GMT Collecting package metadata (repodata.json): ...working... done
Tue, 10 Nov 2020 21:10:07 GMT Solving environment: ...working... done
Tue, 10 Nov 2020 21:11:56 GMT
Tue, 10 Nov 2020 21:11:56 GMT ## Package Plan ##

그래서 우리는 다소 비과학적으로:

• repodata를 얻는 26초
• conda를 업데이트하기 위해 해결하는 데 135초

내가 생각할 수 있는 유일한 것은 추가되는 conda-forge 이며, 이는 솔버를 추가 10,000개 이상의 패키지(및 모든 해당 버전)와 함께 오버드라이브에 넣습니다.

내 머리 꼭대기에서 몇 가지 옵션 :

• 당신의 리포지토리에...
  
  
  
  • auto-update-conda 를 false
  
  
  • 당신은 당신이 얻는 것을 얻을 것이지만, 당신은 _보통_ 괜찮을 것입니다
  
  
  • conda-lock 하여 명시적 사양 생성/체크인
  
  
  • 사용자 지정 설치 프로그램 사용
  
  
  • 예, 다운로드는 더 오래 걸릴 수 있지만 솔버는 호출되지 않습니다.
  
  
  • 이것을 캐시할 수도 있고/해야 하지만 github에서 하나를 소싱하는 것이 인터넷에 나가는 것보다 빠릅니다.
  
  
• _이_ 저장소에..
  
  
  
  • 제한된 채널 선택(예: conda-update-channels: defaults 에서만 가져오는 새 작업 옵션을 추가합니다.
  
  
  • ::group::Boring stuff ::endgroup:: 로그 출력을 추가하여 이 작업이 실행되는 명령의 최상위 수명 주기를 더 쉽게 추적할 수 있도록 합니다(일부 타이밍 작업을 수행하기 위해 팬더의 먼지를 털어내야 했습니다)
  
  
  • 화가 나서 시도하지 않았습니다... 그것은 _아마도_
  
  
  • micromaba 설정 제공(다시, 몇 가지를 저장하면 해결됨) https://github.com/conda-incubator/setup-miniconda/issues/75#issuecomment -698024879
  
  

대부분의 시간이 mamba를 설치하는 데 소비됩니다.

관련 구성:

      - name: Cache conda
        uses: actions/cache<strong i="9">@v2</strong>
        env:
          CACHE_NUMBER: 3
        with:
          path: ~/conda_pkgs_dir
          key: conda-${{ runner.os }}-${{ env.CACHE_NUMBER }}-${{ hashFiles('env.yml') }}

      - name: Setup conda
        uses: conda-incubator/setup-miniconda<strong i="10">@v2</strong>
        with:
          python-version: 3.7
          mamba-version: "*"
          channels: conda-forge,defaults
          channel-priority: true
          use-only-tar-bz2: true
          activate-environment: nova

miniconda 또는 miniforge 대신 micromamba와 같은 것을 사용할 수 있습니까?

세부 사항을 보면 해결 단계는 시간의 99%가 소요됩니다.

이 문제 가 해결되면 miniforge 경로는 기본적으로 이것을 제공합니다 :D

최근에 출시된 MambaForge 설치 프로그램이 CI를 더 빠르게 만든다는 것을 확인했습니다.

- name: Setup conda
  uses: conda-incubator/setup-miniconda<strong i="6">@v2</strong>
  with:
    installer-url: https://github.com/conda-forge/miniforge/releases/download/4.9.2-2/Mambaforge-Linux-x86_64.sh
    channel-priority: true
    use-only-tar-bz2: true
    activate-environment: my-env

- name: Anaconda Login
  run: |
    # Bypass the installation of anaconda-client
    TOKEN_DIR="$HOME/.config/binstar"
    TOKEN_PATH="$TOKEN_DIR/https%3A%2F%2Fapi.anaconda.org.token"
    mkdir -p $TOKEN_DIR
    echo -e "${ANACONDA_USER_TOKEN}\c" > $TOKEN_PATH

- name: Install Dependencies
  run: mamba env update -f env.yml

(스니펫에는 anaconda-client 를 설치할 필요 없이 아나콘다에 로그인하는 방법도 포함되어 있습니다. 여기에서 도움이 될 수 있습니다.)

https://github.com/conda-forge/miniforge#mambaforge 참조

mamba-version 는 어떻게 작동합니까? 필요한가? 기존 mamba 가 이미 있는지 여부를 확인해야 합니까?

좋은 질문이고 사실 잘 모르겠습니다. 새 설치 프로그램은 기본적으로 mamba 배송되며 mamba-version 없이 직접 사용합니다.

내 환경을 설치하기 위해 setup-conda 에 의존하지 않도록 먼저 anaconda에 로그인해야 합니다(스니펫 참조).

setup-conda 를 사용하여 env 파일을 설치하려면 setup-conda 를 수정하여 실제로 mamba를 확인하고 존재하는 경우 설치를 우회해야 합니다.

@conda-incubator/setup-miniconda-team의 누군가가 확인할 수 있습니까?

_디스크에 있는 것을 사용_ vs _우리가 50년 동안 예측할 수 있었던 체계로 URL에서 설치 프로그램을 가져오고_ 현재 코드의 동작 w/r/t to mamba 보다 _많은_ 감동적인 부분이 더 많이 있습니다.

나는거야 내기, 당신은 제공하는 경우 mamba-version , 그것은 _still_ 설치하려고하는 것입니다 mamba 에서 conda-forge 가 이미, 그리고 _still_ 사용하는 경우에도 conda 환경 문제를 _제외한_ 모든 것에 대해 conda config ). 이는 설치 후 디스크에 이미 있는 대부분의 이점을 무효화합니다. mamba 가 있는 이러한 설치 프로그램은 13시간 전까지 존재하지 않았기 때문에 문제가 되지 않았습니다... 제 생각에는 conda-exe: mamba 와 같은 것이 필요할 것입니다. 사용 가능하더라도 사용하고 싶지 않을 수 있으며 내일 The Next Installer의 The Next Tool( lambada , tarantala )이 있을 수 있습니다.

여하튼, 이러한 문제 중 일부를 수정하려면 상당히 과감한 구조 조정이 필요하다고 느꼈습니다... #107(이는 #108, #109, ... 검토 대기 중)에 대해 다음을 위해 최선을 다했습니다. X, 여기서 X는 1/2 파일 PR일 수 있습니다. 바라건대 기능을 추가하고 성능을 해결할 수 있는 단계에 도달할 수 있기를 바랍니다. 하지만 현재 기술적인 부채를 먼저 해결하지 않으면 상황이 더 악화될까 두렵습니다.

conda-incubator/setup-miniconda@master 는 이제 (잠시 동안) 다음 조합을 지원했습니다.

miniforge-variable: Mambaforge
use-mamba: true

전체 conda+python+mamba 설치가 할 수 있는 범위 내에서 메일에 대부분 응답해야 합니다. Micromamba는 최근에 많은 업데이트를 받았지만 다른 공급자와 동일한 수준으로 지원/테스트하고 싶은지 여부를 아직 평가할 수 없었습니다.