Aws-cli: aws s3 cp/mv에 --no-overwrite 옵션 추가

에 만든 2017년 10월 06일 · 43코멘트 · 출처: aws/aws-cli

aws s3 cp/mv 명령에 편리한 기능 --no-overwrite 이 있으면 좋을 것입니다. 이 기능은 파일을 s3 버킷에 넣기 전에 대상 대상이 이미 존재하지 않는지 확인합니다.

물론 이 로직은 AWS API(afaik...)에서 보장할 수 없고 경쟁 조건 등에 취약합니다. 하지만 의도하지 않은 실수를 방지하는 데 도움이 될 것입니다!

feature-request s3

출처

alexjurkiewicz

👍129 🎉8

가장 유용한 댓글

커뮤니티 피드백을 기반으로 GitHub 문제에 기능 요청을 반환하기로 결정했습니다.

jamesls 에 2018년 04월 06일

👍41 ❤6

모든 43 댓글

기능 요청으로 표시. cp 또는 mv 에서 수행한 경우 까다로운 부분은 CLI가 업로드를 시도하기 전에 파일이 존재하는지 확인하기 위해 S3를 쿼리해야 할 수 있다는 것입니다. 따라서 이미 하고 있으므로 sync 에 추가하는 것이 더 합리적일 수 있습니다.

kyleknap 에 2017년 10월 06일

👍5

cp 및/또는 mv 에서도 이것을 보고 싶습니다.

지금 sync 를 사용하지 않는 이유는 대상 버킷에 대상 디렉토리 아래에 기존 파일이 많이 있는 경우 sync 에 주요 성능 문제가 있기 때문입니다.

aws s3 cp --recursive newdir s3://bucket/parentdir/ 를 실행하면 실제로 복사하는 각 파일만 방문합니다.

aws s3 sync newdir s3://bucket/parentdir/ 를 실행하면 복사 중인 파일을 방문하지만 s3://bucket/parentdir (이미 수천 또는 수백만 개의 파일이 포함되어 있을 수 있음)의 전체 파일 목록을 탐색하고 각 기존 파일에 대한 메타데이터를 가져옵니다. .

충분히 큰 대상 버킷에서 aws s3 cp --recursive 는 몇 초가 걸릴 수 있고 aws s3 sync 는 동일한 데이터를 복사하는 데 몇 시간이 걸릴 수 있습니다.

분명히 sync 를 수정하는 것이 좋지만 cp 에 "파일이 이미 존재하는지 확인" 쿼리를 추가하는 것이 sync 코드를 다음으로 수정하는 것보다 다루기 쉬운 문제입니다. 빠르게 하려면 대신 그렇게 하는 것이 합리적일 수 있습니다.

sgrimm-sg 에 2017년 10월 21일

👍3

저도 이 기능에 관심이 많습니다. 파일 덮어쓰기를 위한 선택적 대화형 프롬프트도 있으면 좋을 것입니다.

smaslennikov 에 2017년 11월 21일

예 @sgrimm-sg, 이해가 됩니다. 또한 이러한 조건을 실제로 처리할 수 있는 CLI cp 명령도 보고 싶습니다.

shabeebk 에 2017년 12월 21일

aws s3 sync 의 옵션이 되는 것은 매우 유용할 것입니다. rsync 에는 이 기능이 --ignore-existing 로 제공됩니다. 내 기본 설정은 rsync 에 이미 익숙한 사람들이 많이 있을 것으로 생각되므로 rsync 와 동일한 옵션 이름을 사용하려고 합니다.

jhoblitt 에 2018년 01월 29일

👍9

좋은 아침!

AWS CLI와 관련된 기능 요청을 위해 UserVoice 로 마이그레이션하는 과정의 일환으로 GitHub에서 이 문제를 종료합니다.

이렇게 하면 버그 보고서로 대화를 희석하지 않고 가장 관심 있는 기능을 더 쉽게 검색하고 지원을 표시할 수 있으므로 가장 중요한 기능을 얻을 수 있습니다.

빠른 UserVoice 입문서(아직 익숙하지 않은 경우): 아이디어가 게시된 후 사람들은 아이디어에 투표할 수 있으며 제품 팀은 가장 인기 있는 제안에 직접 응답합니다.

GitHub에서 기존 기능 요청을 가져왔습니다. 여기에서 이 문제를 검색하세요!

그리고 걱정하지 마세요. 이 문제는 후대를 위해 GitHub에 계속 존재합니다. 원본 게시물을 UserVoice로 텍스트만 가져오기 때문에 GitHub 문제에 대해 이미 존재하는 의견과 토론을 계속 염두에 둘 것입니다.

GitHub는 버그 보고를 위한 채널로 남을 것입니다.

다시 한 번, 이 문제는 이제 https://aws.uservoice.com/forums/598381-aws-command-line-interface 에서 제목을 검색하여 찾을 수 있습니다.

-AWS SDK 및 도구 팀

이 항목은 특히 UserVoice( https://aws.uservoice.com/forums/598381-aws-command-line-interface/suggestions/33168406-add-no-overwrite-option-to-aws-s3- )에서 찾을 수 있습니다.

ASayre 에 2018년 02월 06일

😕2

관련된:

GH-404: s3 동기화에 rsync-like --update 추가
GH-1449: aws s3 동기화 --기존
제안: aws s3 cp/mv에 --no-overwrite 옵션 추가
제안: aws s3 sync --existing
제안: s3 동기화에 rsync-like --update 추가

kenorb 에 2018년 02월 13일

커뮤니티 피드백을 기반으로 GitHub 문제에 기능 요청을 반환하기로 결정했습니다.

jamesls 에 2018년 04월 06일

👍41 ❤6

@jamesls 멋지네요 ! 제안에 응답해 주시겠습니까? --no-overwrite는 훌륭한 추가 기능이며 스크립트로 호출을 래핑하는 것을 방지합니다.

guyisra 에 2018년 10월 21일

이 문제에 +1. 기존 Linux cp 명령 옵션과 일치하도록 -n, --no-clobber를 제안합니다.

evanstucker-hates-2fa 에 2018년 12월 05일

👍9

이 요청이 구현된 적이 있습니까? 로컬 백업 > S3를 수행하기 위해 Windows 배치 파일로 작업하려고 하면 이것이 가장 쉬운 방법인 간단한 덮어쓰기 금지 또는 유사한 플래그입니다.

CaptainPalapa 에 2019년 02월 12일

👍1

이 기능에 대한 업데이트가 있습니까?

Adiii717 에 2019년 02월 26일

👍2

이 기능에 대한 업데이트가 있습니까? 감사 해요

julio75012 에 2019년 03월 04일

이 기능에 대한 업데이트가 있습니까?

noelnamai 에 2019년 03월 22일

이 기능에 대한 업데이트가 있습니까?

avanier 에 2019년 05월 02일

sev3, +1

pgolebiowski 에 2019년 05월 13일

S3 동기화가 모든 파일을 업로드하지 않는 것 같으므로 이 기능을 추가해야 합니다.

southpaw5271 에 2019년 06월 07일

업데이트 또는 해결 방법이 있습니까?

mehmetfazil 에 2019년 06월 18일

업데이트 또는 해결 방법이 있습니까?

버킷의 모든 항목을 어레이(목록)에 로드하는 Python 스크립트를 작성한 다음 동기화하려는 디렉토리에서 모든 항목을 로드한 다음 어레이를 비교하고 S3 어레이에 없는 로컬 항목을 업로드해야 했습니다. .

southpaw5271 에 2019년 06월 18일

👍3

버킷의 모든 항목을 어레이(목록)에 로드하는 Python 스크립트를 작성한 다음 동기화하려는 디렉토리에서 모든 항목을 로드한 다음 어레이를 비교하고 S3 어레이에 없는 로컬 항목을 업로드해야 했습니다. .

@southpaw5271 - 스크립트를 공유하고 시간을 절약해 주시겠습니까? ; )

kevb 에 2019년 07월 04일

버킷의 모든 항목을 어레이(목록)에 로드하는 Python 스크립트를 작성한 다음 동기화하려는 디렉토리에서 모든 항목을 로드한 다음 어레이를 비교하고 S3 어레이에 없는 로컬 항목을 업로드해야 했습니다. .
@southpaw5271 - 스크립트를 공유하고 시간을 절약해 주시겠습니까? ; )

더 이상 없는 것 같습니다 :( 죄송합니다!

southpaw5271 에 2019년 07월 08일

이 플래그는 cp 명령에도 유용합니다. $ sync 는 대상 이름을 변경하는 동안 파일 복사를 허용하지 않기 때문입니다.

aws s3 cp --no-overwrite ./somefile s3://bucket/othername

mpdude 에 2019년 08월 28일

s3에서 로컬로 --no-overwrite 옵션도 필요합니다. 우리는 선의의 개인이 실수로 덮어쓰기를 하여 화상을 입었습니다. 이것은 그들을 위한 "가드레일"을 설치하는 매우 감사한 방법이 될 것입니다. 감사 해요!

RobElEmYew 에 2019년 11월 07일

👍5

모든 업데이트?

EralpB 에 2020년 01월 13일

👍1

이 기능에 대한 업데이트가 있습니까? 감사합니다

cbachhuber 에 2020년 02월 05일

👍1

danielwhatmuff 에 2020년 03월 26일

👎1

이전 시스템에서 파일을 마이그레이션하고 있습니다. db 열에 따라 다른 경로를 생성하는 파이썬 스크립트가 있습니다(즉, 각 조직은 이제 특정 버킷에 자체 폴더를 가짐). 그래서 저는 sync 명령에 의존할 수 없습니다. -skip-duplicate 또는 일종의 매개변수를 사용할 수 있는 경우 스크립트를 실행하여 부분 마이그레이션을 수행할 수 있습니다.

dsovino-alma 에 2020년 04월 05일

plastic-abubakr 에 2020년 05월 13일

👎1

이것은 절실히 필요합니다. 왜 이미 거기에 있지 않습니까?

rjurney 에 2020년 05월 19일

oboiko-chegg 에 2020년 05월 22일

👎1

+10

curioustolearn 에 2020년 05월 26일

👎1

이 기능에 대한 업데이트가 있습니까? 감사합니다

jmvictoria 에 2020년 06월 04일

이 기능에 대한 투표도 해주세요!

BobPusateri 에 2020년 06월 11일

madkinsz 에 2020년 06월 25일

👎1

7404020 에 2020년 07월 09일

👎1

Jongy 에 2020년 07월 23일

👎1

++1

yuriw 에 2020년 08월 07일

👎1

이에 대한 업데이트가 있습니까?

ssbagalkar 에 2020년 08월 11일

👍7

alexandredavi 에 2020년 10월 08일

아직도 일이 아니라는게 믿겨지지가 않네요. S3에서 변경 불가능한 스토리지를 생성하는 것은 거의 불가능합니다.

molszanski 에 2020년 10월 09일

S3 버킷에서 로컬 Linux 마운트로 데이터 복사를 시작했으며 대상의 크기는 S3 버킷보다 ~40GB 작습니다. 누락된 것만 복사하는 방법을 찾으십시오. 다 복사하는게 아닌 쉬운 방법은 없는듯..

sreekanthadari 에 2020년 10월 15일

비슷한 것을 수행할 수 있는 aws s3 sync --size-only 부울 플래그로, 원본과 대상 개체 간에 크기가 다른 경우에만 대상에서 재정의됩니다.

 --size-only (boolean) Makes the size of each key the only criteria used
       to decide whether to sync from source to destination.

내가 사용한 명령,

aws s3 sync s3://<source bucket> s3://<destination bucket> --size-only

_중요_: 먼저 --dry-run 부울 플래그와 함께 위의 명령을 실행하여 실제로 실행하기 전에 이 명령이 무엇을 하려는지 확인하는 것이 좋습니다. 특히 프로덕션 시스템과 관련된 경우 더욱 그렇습니다. 이것은 많은 주의에서 나온 것입니다.

joquijada 에 2020년 10월 16일

👍1

도움이 되지 않습니다. #5456이 DH에서 처리되기를 기다리고 있습니다.

yuriw 에 2020년 10월 16일

이 페이지가 도움이 되었나요?

0 / 5 - 0 등급

Aws-cli: aws s3 cp/mv에 --no-overwrite 옵션 추가

가장 유용한 댓글

모든 43 댓글

관련 문제