Aws-cli: aws s3 sync가 s3 폴더 구조를 로컬로 동기화하지 않음

에 만든 2014년 09월 12일 · 100코멘트 · 출처: aws/aws-cli

--delete 또는 --recursive 인수와 함께 사용하더라도 aws s3 sync는 S3 폴더 구조를 로컬로 완전히 동기화하지 않습니다.

aws --버전
aws-cli / 1.4.3 Python / 2.7.6 Linux / 3.13.0-35-generic

$ aws s3 ls s3: //s3.testbucket
$ aws s3 ls s3: //s3.testbucket/
$ mkdir s3.testfolder
$ mkdir s3.testfolder / test1
$ aws s3 동기화 ./s3.testfolder s3: //s3.testbucket/
$ aws s3 ls s3: //s3.testbucket/
$ 터치 s3.testfolder / test1 / 1
$ aws s3 동기화 ./s3.testfolder/ s3: //s3.testbucket/
업로드: s3.testfolder / test1 / 1 ~ s3: //s3.testbucket/test1/1
$ aws s3 동기화 ./s3.testfolder s3: //s3.testbucket/
$ mkdir ./s3.testfolder/삭제 테스트
$ aws s3 동기화 s3: //s3.testbucket/ ./s3.testfolder/ --delete --recursive
$ aws s3 동기화 s3: //s3.testbucket/ ./s3.testfolder/ --delete
$ ls -lah ./s3.testfolder/
총 60K
drwxrwxr-x 4 토비 토비 4.0K szept 12 15:24.
drwx ------ 71 tobi tobi 44K szept 12 15:22 ..
drwxrwxr-x 2 tobi tobi 4.0K szept 12 15:23 test1
drwxrwxr-x 2 tobi tobi 4.0K szept 12 15:24 테스트 후 삭제

$ aws s3 ls s3: //s3.testbucket/
사전 테스트1 /

feature-request s3 s3sync

출처

tatobi

👍13

가장 유용한 댓글

커뮤니티 피드백을 기반으로 GitHub 문제에 기능 요청을 반환하기로 결정했습니다.

jamesls 에 2018년 04월 07일

👍15 ❤4

모든 100 댓글

이 동작은 알려져 있습니다. sync 명령이 이런 식으로 동작하는 이유는 s3가 물리적으로 디렉토리를 사용하지 않기 때문입니다. 버킷과 개체만 있습니다. 객체에는 디렉토리처럼 작동하는 접두사가 있지만 s3는 특정 물리적 객체를 디렉토리로 지정하지 않습니다.

따라서 동기화가 발생하면 s3에는 물리적 디렉터리가 없기 때문에 파일만 s3으로 전송됩니다. 따라서 빈 디렉토리를 동기화하려고 하면 파일이 없기 때문에 아무 것도 업로드되지 않습니다. 디렉토리에 항목을 넣으면 파일(디렉토리를 나타내는 접두어 포함)이 업로드됩니다.

kyleknap 에 2014년 09월 12일

👎1 👍1

Kyle에게 감사합니다. 명확합니다. S3가 파일을 저장하는 방법을 알고 있지만 빈 파일이 있더라도 여러 곳에 동일한 디렉토리 구조가 필요하거나 더 이상 필요하지 않은 경우 제거해야 합니다.
S3에 동기화한 것보다 로컬에 많은 콘텐츠가 포함된 복잡한 디렉터리 구조가 있는 경우의 좋은 예입니다. 그 후 자동화된 메커니즘이 이 구조를 실행 중인 여러 인스턴스에 주기적으로 동기화합니다. S3에서 대부분의 콘텐츠를 최신 상태로 유지(삭제)한 다음 자동 기능이 이전에 사용한 장소로 다시 동기화됩니다. 불행히도 원래의 복잡한 디렉토리 구조가 동기화 대상에 영원히 남아 있어 확인하려는 경우 혼란을 일으킬 수 있습니다. 그렇지 않으면 모든 곳에서 항상 동일해야 하기 때문에 프로그램이 이 빈 폴더를 사용하려고 시도할 수 있습니다. 또한 --delete 옵션과 함께 사용하는 사람들은 폴더를 동기화된 상태로 유지하는 Linux에서 이전에 동일한 작업으로 계산되는 "rsync"를 사용했을 수 있습니다.
aws 도구가 S3 객체가 파일 또는 폴더(목록, 크기 등)인지 감지하고 로컬로 또는 S3 버킷(예: 목록(bucket.list("", "/"))?

tatobi 에 2014년 09월 12일

👍6

그것은 의미가 있습니다. 이에 대한 기능을 추가하는 방안을 검토할 것입니다.

kyleknap 에 2014년 09월 15일

👍2

이것은 우리 상황에도 매우 유용할 것입니다. 옵션(--sync-empty-directories)으로 추가된 경우 필요할 때 사용하도록 선택할 수 있습니다.

ururk 에 2014년 11월 21일

+1 이 기능이 매우 필요합니다

xbeta 에 2015년 01월 15일

👍3

+1. 그것을 사용하고 싶습니다.

w32-blaster 에 2015년 03월 07일

👍2

danielwinter83 에 2015년 03월 31일

또한 "동기화"라고 하는 이 동작에 놀랐습니다.
내 특정 사용 사례에서 이 문제를 해결할 수 있지만 미래의 사용자는 고통을 면할 수 있습니다. :)

unixmonkey 에 2015년 05월 06일

디렉토리 구조를 동기화할 수 있다는 점에서 +1! 폴더를 삭제하면 내용만 제거되고 폴더는 그대로 남습니다...

athurber 에 2015년 05월 06일

+1. 나는 같은 필요가 있습니다.

zioalex 에 2015년 06월 09일

+1 - 아직 구현되지 않은 것에 놀랐습니다. 물론, 제 경우에는 그다지 중요하지 않으며 이 문제를 해결할 수 있지만(또는 구조를 만들 때 자리 표시자 파일만 사용) s3 sync 또는 s3 cp에서 지원하는 것이 좋습니다.

benjaminsherwood 에 2015년 07월 01일

s3cmd sync 는 폴더 구조를 유지하지만 동기화하는 동안 액세스 권한을 부여할 때 몇 가지 문제가 있으므로 나중에 다른 s3cmd setacl --recursive 를 실행해야 합니다…

cauboy 에 2015년 07월 20일

👍1

ntmggr 에 2015년 07월 27일

ghost 에 2015년 07월 30일

asdesilva 에 2015년 08월 13일

피드백 주셔서 감사합니다. 내가 본 가장 좋은 옵션은 --sync-empty-directories 옵션을 추가하는 것입니다. 그걸하자.

jamesls 에 2015년 08월 13일

👍4

@jamesls 나는 rsync 기능과 다소 비슷할 것으로 예상하지만 객체 스토리지로서의 s3는 확실히 동일하지 않습니다.

xbeta 에 2015년 08월 14일

makeittotop 에 2015년 09월 01일

mradochonski 에 2015년 10월 05일

이 기능에 대한 일정이 있습니까?

mradochonski 에 2015년 10월 05일

임시 해결 방법으로 빈 .s3keep 파일을 빈 디렉터리에 추가했는데 저에게 효과적이었습니다. 이것은 내가 빈 디렉토리를 빈 디렉토리로 취급하지 않도록 git을 속이는 데 일반적으로 사용하는 해킹입니다. :)

swarupdonepudi 에 2015년 10월 15일

이것은 또한 S3의 빈 디렉토리를 "제거/삭제"할 수 있습니까?

lcasey001 에 2015년 10월 29일

arcadas 에 2015년 11월 23일

andrefelipe 에 2015년 12월 01일

srirachapills 에 2016년 01월 18일

mputilin 에 2016년 02월 05일

ixtli 에 2016년 02월 19일

asyavuz 에 2016년 02월 21일

matteomelani 에 2016년 03월 31일

Darkyj 에 2016년 04월 06일

dijeesh 에 2016년 04월 15일

ghost 에 2016년 05월 01일

xam7247 에 2016년 05월 13일

it-marmalade 에 2016년 05월 17일

steven-klein 에 2016년 05월 26일

moradai 에 2016년 06월 07일

miggy282 에 2016년 06월 07일

👍1

_s3로 데이터를 마이그레이션하는 동안 많은 의미가 있습니다._

ritxos 에 2016년 06월 15일

thoralf-gutierrez 에 2016년 06월 23일

+1 방금 이것에 의해 박살났습니다 ... Arg ....

bdo-eow 에 2016년 07월 05일

murraybrad13 에 2016년 07월 07일

+10
더미 파일을 사용하여 이 문제를 해결할 수 있지만 빈 접두어를 강제로 동기화하는 옵션이 있으면 더 깨끗할 것입니다.

quater 에 2016년 07월 10일

+1. 사용 사례: svn 저장소 백업.

더 일반적으로:
aws s3 동기화
AWS S3 동기화물건_카피

나는 물건과 정확히 일치하는 thing_copy를 기대했습니다.

ghost 에 2016년 07월 11일

hesu 에 2016년 07월 13일

jumping 에 2016년 07월 25일

ghost 에 2016년 08월 18일

+1 빈 디렉토리 삭제 필요

carhensi 에 2016년 08월 26일

--sync-empty-directories 이 옵션을 추가하는 과정은 어떻습니까?
AWS 팀의 피드백이 있습니까?
감사 해요.

hierony94 에 2016년 09월 02일

👍14 ❤5

+1은 매우 유용한 도구에 매우 유용한 기능입니다.

jimbocoder 에 2016년 09월 04일

👍2

SirR4T 에 2016년 09월 14일

+1 (저도 이 기능이 구현되고 Github.com에 StackOverflow.com과 같은 문제/기능에 대한 "투표" 인터페이스가 있기를 바랍니다).

Dulani 에 2016년 10월 14일

MatthewVance 에 2016년 11월 10일

VaughnLi 에 2016년 11월 15일

rrlino 에 2016년 12월 02일

realsby 에 2016년 12월 16일

amitlalani 에 2017년 01월 12일

2년이 넘었는데 아직도 안오네요..? 그럴까요? =/

vesper8 에 2017년 01월 31일

👍7

MathieuMorrissette 에 2017년 02월 09일

sptessier 에 2017년 02월 24일

bobgon 에 2017년 02월 25일

giseongeom 에 2017년 03월 06일

+1000

barbarello 에 2017년 03월 11일

ekstro 에 2017년 03월 23일

나는 이것이 어떻게 구현될 수 있는지에 대해 파고 들었다. 모든 s3 명령은 결국 s3transfer 라이브러리의 TransferManager 를 사용하게 됩니다 . ( 여기 참조 )

PutObject로 폴더 추가를 지원하기 위해 Body 매개변수에 빈 문자열을 보낼 수 있습니다. 공식적으로 지원하는지 여부는 알 수 없습니다. 나는 이것을 여기에서 구현했다:
https://github.com/svleeuwen/s3transfer/commit/b7d3745a995a75c5262950bb798c8c57e481c2b3

계속하기 전에 관리자로부터 이에 대한 피드백을 받고 싶습니다.

svleeuwen 에 2017년 03월 28일

brooksandrew 에 2017년 04월 14일

내 솔루션은 내 버킷을 s3fs로 탑재하고 s3 탑재에서 내 홈 디렉토리의 디렉토리로 rsync를 탑재하는 것이었습니다.

thenetimp 에 2017년 04월 14일

mohanen 에 2017년 05월 03일

😕5

+1 정말 필요합니다 ...

w0203j 에 2017년 05월 20일

2014년부터 개업? 진짜? :즐겁지 않은:

nethershaw 에 2017년 06월 30일

👍5

nickgardos 에 2017년 07월 03일

harishpendela 에 2017년 07월 12일

opn1 에 2017년 08월 09일

mickrussom 에 2017년 08월 10일

thomassngdata 에 2017년 09월 07일

aaronovz1 에 2017년 09월 25일

sammerry 에 2017년 09월 26일

PD-123 에 2017년 09월 27일

amnobis 에 2017년 09월 27일

@thenetimp 이 솔루션은 작은 버킷에 적합합니다. 15TB 이상의 버킷을 사용하고 있습니다. S3FS는 더 큰 버킷으로 끔찍하게 느려집니다.

AukeTembrink 에 2017년 10월 13일

muchaohyy 에 2017년 11월 08일

안녕하세요!

AWS CLI와 관련된 기능 요청을 위해 UserVoice 로 마이그레이션하는 과정의 일환으로 GitHub에서 이 문제를 종료합니다.

이렇게 하면 버그 보고서로 대화를 희석하지 않고도 가장 관심 있는 기능을 더 쉽게 검색하고 지원을 표시할 수 있으므로 가장 중요한 기능을 얻을 수 있습니다.

빠른 UserVoice 입문서(아직 익숙하지 않은 경우): 아이디어가 게시된 후 사람들은 아이디어에 투표할 수 있으며 제품 팀은 가장 인기 있는 제안에 직접 응답합니다.

GitHub에서 기존 기능 요청을 가져왔습니다. 여기에서 이 문제를 검색하세요!

그리고 걱정하지 마세요. 이 문제는 후대를 위해 GitHub에 계속 존재합니다. 원본 게시물을 UserVoice로 텍스트 전용으로 가져오기 때문에 GitHub 문제에 대해 이미 존재하는 의견과 토론을 계속 염두에 둘 것입니다.

GitHub는 버그 보고 채널로 남을 것입니다.

다시 한 번, 이 문제는 이제 https://aws.uservoice.com/forums/598381-aws-command-line-interface 에서 제목을 검색하여 찾을 수 있습니다.

-AWS SDK 및 도구 팀

이 항목은 특히 UserVoice( https://aws.uservoice.com/forums/598381-aws-command-line-interface/suggestions/33168436-aws-s3-sync-does-not-synchronize-s3-) 에서 찾을 수 있습니다.

ASayre 에 2018년 02월 06일

👎1

잘했습니다 Andre님, 문제를 종료하고 문제와 관련이 없는 링크를 제공하세요. 쓸데없는 글들 중에서

thenetimp 에 2018년 02월 06일

일반적인 상용구는 실망스럽습니다. 기능 요청과 버그 보고서 사이의 경계가 꽤 모호할 수 있다고 생각합니다. 사람들을 구하기 위해 이 기능 요청에 대한 UserVoice 게시물 검색은 https://aws.uservoice.com/forums/598381-aws-command-line-interface/suggestions/33168436-aws-s3-sync-does-not 에서 사용할 수 있습니다.

skwashd 에 2018년 02월 06일

커뮤니티 피드백을 기반으로 GitHub 문제에 기능 요청을 반환하기로 결정했습니다.

jamesls 에 2018년 04월 07일

👍15 ❤4

mainframe 에 2018년 06월 05일

kipkoan 에 2018년 06월 17일

thugbeatz 에 2018년 06월 20일

tinyheero 에 2018년 07월 23일

shankar-moeng 에 2018년 07월 26일

Anvesh-Gurudu-Bose 에 2018년 08월 29일

+1. 추가하면 좋은 기능입니다.

mukteshkrmishra 에 2018년 09월 07일

👍1

khadrawy 에 2018년 09월 17일

schmite 에 2018년 10월 06일

같은 문제
awscli==1.16.74

jqadev 에 2018년 12월 14일

foxel 에 2019년 04월 12일

-1

jriffel 에 2019년 05월 15일

aws s3 sync 명령은 이미 재귀적이므로 재귀 옵션이 필요하지 않습니다. 또한 sync 명령은 대상에 이미 존재하지 않는 항목만 복사합니다. 폴더를 가리키면 대상 대상에 이미 존재하지 않는 내부의 모든 항목을 재귀적으로 동기화합니다. 이것은 aws s3 cp 명령과 다릅니다. cp 명령은 대상에 이미 존재하는 것과 상관없이 사용자가 지시하는 모든 것을 복사합니다. cp/mv/rb 명령은 폴더/파일을 재귀적으로 복사/이동/삭제하기 위해 --recursive 옵션을 사용합니다. 감사 해요