Aws-cli: aws s3 सिंक स्थानीय रूप से s3 फ़ोल्डर संरचना को सिंक्रनाइज़ नहीं करता है

को निर्मित 12 सित॰ 2014 · 100टिप्पणियाँ · स्रोत: aws/aws-cli

aws s3 सिंक स्थानीय रूप से S3 फ़ोल्डर संरचना को पूरी तरह से सिंक्रनाइज़ नहीं करता है, भले ही मैं इसे --delete या --recursive तर्कों के साथ उपयोग करता हूं:

एडब्ल्यूएस --संस्करण
एडब्ल्यूएस-क्ली / 1.4.3 पायथन / 2.7.6 लिनक्स / 3.13.0-35-जेनेरिक

$ aws s3 ls s3: //s3.testbucket
$ aws s3 ls s3: //s3.testbucket/
$ mkdir s3.testfolder
$ mkdir s3.testfolder / test1
$ aws s3 सिंक ./s3.testfolder s3: //s3.testbucket/
$ aws s3 ls s3: //s3.testbucket/
$ स्पर्श s3.testfolder / test1 / 1
$ aws s3 सिंक ./s3.testfolder/ s3: //s3.testbucket/
अपलोड करें: s3.testfolder / test1 / 1 से s3: //s3.testbucket/test1/1
$ aws s3 सिंक ./s3.testfolder s3: //s3.testbucket/
$ mkdir ./s3.testfolder/test-to-delete
$ aws s3 सिंक s3: //s3.testbucket/ ./s3.testfolder/ --delete --recursive
$ aws s3 सिंक s3: //s3.testbucket/ ./s3.testfolder/ --delete
$ एलएस -लाह ./s3.testfolder/
कुल 60K
drwxrwxr-x 4 tobi tobi 4.0K szept 12 15:24।
drwx ------ 71 टोबी टोबी 44K szept 12 15:22 ..
drwxrwxr-x 2 tobi tobi 4.0K szept 12 15:23 test1
drwxrwxr-x 2 tobi tobi 4.0K szept 12 15:24 टेस्ट-टू-डिलीट

$ aws s3 ls s3: //s3.testbucket/
प्री टेस्ट1 /

feature-request s3 s3sync

स्रोत

tatobi

👍13

सबसे उपयोगी टिप्पणी

सामुदायिक प्रतिक्रिया के आधार पर, हमने गिटहब मुद्दों पर फीचर अनुरोध वापस करने का निर्णय लिया है।

jamesls 7 अप्रैल 2018

👍15 ❤4

सभी 100 टिप्पणियाँ

यह व्यवहार ज्ञात है। sync कमांड के इस तरह से व्यवहार करने का कारण यह है कि s3 भौतिक रूप से निर्देशिकाओं का उपयोग नहीं करता है। केवल बाल्टी और वस्तुएं हैं। वस्तुओं में उपसर्ग होते हैं जो निर्देशिकाओं की तरह कार्य करते हैं, लेकिन s3 एक विशिष्ट भौतिक वस्तु को निर्देशिका के रूप में निर्दिष्ट नहीं करता है।

इसलिए, जब समन्वयन होता है, केवल फ़ाइलें s3 में स्थानांतरित की जाती हैं क्योंकि s3 में भौतिक निर्देशिका नहीं होती है। इसलिए जब आप खाली निर्देशिकाओं को सिंक करने का प्रयास करते हैं, तो कुछ भी अपलोड नहीं होता है क्योंकि उनमें कोई फाइल नहीं होती है। एक बार जब आप निर्देशिका में आइटम डालते हैं, तो फ़ाइल (निर्देशिका का प्रतिनिधित्व करने वाले उपसर्ग के साथ) अपलोड की जाएगी।

kyleknap 12 सित॰ 2014

👎1 👍1

धन्यवाद काइल, यह स्पष्ट है। मुझे पता है कि S3 फ़ाइलों को कैसे संग्रहीत करता है, लेकिन कभी-कभी हमें सेवारल स्थानों में समान निर्देशिका संरचना की आवश्यकता होती है, भले ही खाली हों या यदि हमें अब और आवश्यकता न हो तो हटा दें।
एक अच्छा उदाहरण यदि आपके पास S3 से समन्वयित करने की तुलना में स्थानीय रूप से बहुत सारी सामग्री के साथ जटिल निर्देशिका संरचना है। उसके बाद एक स्वचालित तंत्र इस संरचना को समय-समय पर कई चल रहे उदाहरणों के साथ सिंक करता है। आप S3 से अधिकांश सामग्री को अप-टू-डेट (हटाएं) रखते हैं, फिर स्वचालितता उन स्थानों पर फिर से सिंक हो जाती है जहां आपने पहले उपयोग किया था। दुर्भाग्य से आप पाएंगे कि मूल जटिल निर्देशिका संरचना हमेशा सिंक लक्ष्यों पर बनी रहती है जो भ्रम पैदा कर सकती है यदि आप इसे जांचना चाहते हैं या आपका प्रोग्राम इस खाली फ़ोल्डरों का उपयोग करने का प्रयास करता है क्योंकि आपको हमेशा हर जगह समान की आवश्यकता होती है। इसके अलावा जो लोग इसे --delete विकल्पों के साथ उपयोग करते हैं, वे शायद लिनक्स पर पहले "rsync" समकक्ष का उपयोग करते हैं जो फ़ोल्डर्स को सिंक करता रहता है इसलिए उसी ऑपरेशन पर गिना जाता है।
मुझे लगता है कि किसी S3 ऑब्जेक्ट एक फ़ाइल या फ़ोल्डर (सूची, आकार, आदि ..) का पता लगाने के लिए aws टूल के लिए स्विच या विकल्प को लागू करना मुश्किल नहीं होगा और उन्हें स्थानीय रूप से या S3 बाल्टी में बनाएं/हटाएं (उदाहरण के लिए) सूची (बाल्टी। सूची ("", "/"))?

tatobi 12 सित॰ 2014

👍6

यह समझ आता है। इसके लिए एक फीचर जोड़ने पर विचार करेंगे।

kyleknap 15 सित॰ 2014

👍2

यह हमारी स्थिति के लिए भी बहुत उपयोगी होगा। यदि इसे एक विकल्प (--sync-खाली-निर्देशिका) के रूप में जोड़ा जाता है, तो लोग आवश्यकता पड़ने पर इसका उपयोग करना चुन सकते हैं।

ururk 21 नव॰ 2014

+1 इस सुविधा की बहुत आवश्यकता है

xbeta 15 जन॰ 2015

👍3

+1। इसका इस्तेमाल करना चाहेंगे।

w32-blaster 7 मार्च 2015

👍2

danielwinter83 31 मार्च 2015

मैं भी इस व्यवहार से हैरान था, यह देखते हुए कि इसे "सिंक" कहा जाता है।
मैं अपने विशेष उपयोग के मामले में इसके आसपास काम कर सकता हूं, लेकिन भविष्य के उपयोगकर्ताओं को दर्द से बचाया जा सकता है :)

unixmonkey 6 मई 2015

निर्देशिका संरचना को सिंक करने में सक्षम होने पर +1! यदि आप किसी फ़ोल्डर को हटाते हैं तो यह केवल सामग्री को हटाता है, लेकिन यह फ़ोल्डर को पीछे छोड़ देता है...

athurber 6 मई 2015

+1। मेरी वही जरूरतें हैं।

zioalex 9 जून 2015

+1 - आश्चर्य है कि अभी तक लागू नहीं किया गया है। निश्चित रूप से, मेरे मामले में यह बहुत ज्यादा मायने नहीं रखता है, और मैं इसके आसपास काम कर सकता हूं (या संरचनाएं बनाते समय केवल प्लेसहोल्डर फाइलों का उपयोग कर सकता हूं), लेकिन यह केवल एस 3 सिंक या एस 3 सीपी द्वारा समर्थित होने का लाभ होगा।

benjaminsherwood 1 जुल॰ 2015

s3cmd sync फ़ोल्डर संरचना को बनाए रखता है लेकिन इसलिए सिंक करते समय एक्सेस प्रदान करते समय इसमें कुछ समस्याएं होती हैं इसलिए किसी को बाद में एक और s3cmd setacl --recursive चलाने की आवश्यकता होती है ...

cauboy 20 जुल॰ 2015

👍1

ntmggr 27 जुल॰ 2015

ghost 30 जुल॰ 2015

asdesilva 13 अग॰ 2015

प्रतिक्रिया के लिए सभी को धन्यवाद। मुझे लगता है कि मैंने जो सबसे अच्छा विकल्प देखा है वह --sync-empty-directories विकल्प जोड़ना है। चलो करते हैं।

jamesls 13 अग॰ 2015

👍4

@jamesls मैं कुछ हद तक rsync फ़ंक्शंस की तरह उम्मीद कर रहा हूं, लेकिन ऑब्जेक्ट स्टोरेज के रूप में s3 निश्चित रूप से वही नहीं है।

xbeta 14 अग॰ 2015

makeittotop 1 सित॰ 2015

mradochonski 5 अक्तू॰ 2015

इस सुविधा के लिए कोई समयरेखा?

mradochonski 5 अक्तू॰ 2015

एक अस्थायी समाधान के रूप में मैंने खाली निर्देशिकाओं में एक खाली .s3keep फ़ाइल जोड़ी और यह मेरे लिए काम करती है। यह एक हैक है जिसका उपयोग मैं आमतौर पर खाली निर्देशिकाओं को खाली नहीं मानने के लिए git को ट्रिक करने के लिए करता हूं :)

swarupdonepudi 15 अक्तू॰ 2015

क्या यह S3 पर खाली निर्देशिकाओं को "निकालने/हटाने" की भी अनुमति देगा?

lcasey001 29 अक्तू॰ 2015

arcadas 23 नव॰ 2015

andrefelipe 1 दिस॰ 2015

srirachapills 18 जन॰ 2016

mputilin 5 फ़र॰ 2016

ixtli 19 फ़र॰ 2016

asyavuz 21 फ़र॰ 2016

matteomelani 31 मार्च 2016

Darkyj 6 अप्रैल 2016

dijeesh 15 अप्रैल 2016

ghost 1 मई 2016

xam7247 13 मई 2016

it-marmalade 17 मई 2016

steven-klein 26 मई 2016

moradai 7 जून 2016

miggy282 7 जून 2016

👍1

_s3 में डेटा माइग्रेशन के दौरान बहुत मायने रखता है।_

ritxos 15 जून 2016

thoralf-gutierrez 23 जून 2016

+1 बस इसके द्वारा तोड़ा गया ... Arg ....

bdo-eow 5 जुल॰ 2016

murraybrad13 7 जुल॰ 2016

+10
डमी फाइलों के साथ इसके आसपास काम करना संभव है, लेकिन अगर खाली उपसर्ग को सिंक्रनाइज़ करने के लिए मजबूर करने का विकल्प होगा तो यह क्लीनर होगा।

quater 10 जुल॰ 2016

+1। केस का प्रयोग करें: एक svn भंडार का बैक अप लेना।

आम तौर पर अधिक:
एडब्ल्यूएस s3 सिंक बात
एडब्ल्यूएस s3 सिंकबात_कॉपी

मुझे उम्मीद थी कि बात_कॉपी बिल्कुल मेल खाएगी।

ghost 11 जुल॰ 2016

hesu 13 जुल॰ 2016

jumping 25 जुल॰ 2016

ghost 18 अग॰ 2016

+1 को खाली निर्देशिकाओं को हटाने की आवश्यकता है

carhensi 26 अग॰ 2016

इस विकल्प को जोड़ने की प्रगति कैसी है --sync-empty-directories ?
एडब्ल्यूएस टीम से कोई प्रतिक्रिया?
धन्यवाद।

hierony94 2 सित॰ 2016

👍14 ❤5

+1 एक बहुत ही उपयोगी टूल के लिए एक बहुत ही उपयोगी सुविधा होगी

jimbocoder 4 सित॰ 2016

👍2

SirR4T 14 सित॰ 2016

+1 (मैं भी चाहता हूं कि यह सुविधा लागू की गई और काश कि Github.com में मुद्दों/सुविधाओं पर "मतदान" के लिए एक StackOverflow.com इंटरफ़ेस होता)।

Dulani 14 अक्तू॰ 2016

MatthewVance 10 नव॰ 2016

VaughnLi 15 नव॰ 2016

rrlino 2 दिस॰ 2016

realsby 16 दिस॰ 2016

amitlalani 12 जन॰ 2017

2+ साल बाद और यह अभी भी नहीं हुआ है ..? क्या यह कभी होगा? =/

vesper8 31 जन॰ 2017

👍7

MathieuMorrissette 9 फ़र॰ 2017

sptessier 24 फ़र॰ 2017

bobgon 25 फ़र॰ 2017

giseongeom 6 मार्च 2017

+1000

barbarello 11 मार्च 2017

ekstro 23 मार्च 2017

मैंने कुछ खुदाई की कि इसे कैसे कार्यान्वित किया जा सकता है। सभी s3 कमांड अंततः s3transfer लाइब्रेरी से TransferManager का उपयोग करके समाप्त होते हैं। ( यहां संदर्भित )

PutObject के साथ एक फ़ोल्डर जोड़ने का समर्थन करने के लिए हम बॉडी परम में एक खाली स्ट्रिंग भेज सकते हैं। मुझे नहीं पता कि यह आधिकारिक तौर पर समर्थित है या नहीं। मैंने इसे यहां कार्यान्वित किया:
https://github.com/svleeuwen/s3transfer/commit/b7d3745a995a75c5262950bb798c8c57e481c2b3

मुझे जारी रखने से पहले इस पर एक अनुरक्षक से कुछ प्रतिक्रिया चाहिए।

svleeuwen 28 मार्च 2017

brooksandrew 14 अप्रैल 2017

मेरा समाधान मेरी बाल्टी को s3fs और rsync के साथ s3 माउंट से मेरी होम निर्देशिका में एक निर्देशिका में माउंट करना था।

thenetimp 14 अप्रैल 2017

mohanen 3 मई 2017

😕5

+1 वास्तव में इसकी आवश्यकता है ...

w0203j 20 मई 2017

2014 से खुला है? सचमुच? अप्रयुक्त:

nethershaw 30 जून 2017

👍5

nickgardos 3 जुल॰ 2017

harishpendela 12 जुल॰ 2017

opn1 9 अग॰ 2017

mickrussom 10 अग॰ 2017

thomassngdata 7 सित॰ 2017

aaronovz1 25 सित॰ 2017

sammerry 26 सित॰ 2017

PD-123 27 सित॰ 2017

amnobis 27 सित॰ 2017

@thenetimp यह समाधान छोटी बाल्टियों के लिए ठीक है। हम 15TB से अधिक की बाल्टी का उपयोग कर रहे हैं। S3FS बड़ी बाल्टियों के साथ भयानक रूप से धीमा हो जाता है।

AukeTembrink 13 अक्तू॰ 2017

muchaohyy 8 नव॰ 2017

शुभ प्रभात!

AWS CLI से जुड़े फीचर अनुरोधों के लिए UserVoice में हमारे माइग्रेशन के हिस्से के रूप में, हम GitHub पर इस मुद्दे को यहाँ बंद कर रहे हैं।

बग रिपोर्ट के साथ बातचीत को कम किए बिना, यह हमें आपके लिए सबसे महत्वपूर्ण सुविधाओं को खोजने और उन सुविधाओं के लिए समर्थन दिखाने की सुविधा प्रदान करेगा, जिनके बारे में आप सबसे ज्यादा ध्यान रखते हैं।

एक त्वरित UserVoice प्राइमर के रूप में (यदि पहले से परिचित नहीं है): एक विचार पोस्ट किए जाने के बाद, लोग विचारों पर वोट कर सकते हैं, और उत्पाद टीम सबसे लोकप्रिय सुझावों का सीधे जवाब देगी।

हमने गिटहब से मौजूदा फीचर अनुरोध आयात किए हैं - इस मुद्दे को वहां खोजें!

और चिंता न करें, यह समस्या अभी भी पोस्टीरिटी के लिए GitHub पर मौजूद रहेगी। चूंकि यह UserVoice में मूल पोस्ट का केवल-पाठ आयात है, हम अभी भी उन टिप्पणियों और चर्चाओं को ध्यान में रखेंगे जो यहां GitHub मुद्दे पर पहले से मौजूद हैं।

बग की रिपोर्ट करने के लिए गिटहब चैनल बना रहेगा।

एक बार फिर, इस मुद्दे को अब इस शीर्षक पर खोज कर पाया जा सकता है: https://aws.uservoice.com/forums/598381-aws-command-line-interface

-एडब्ल्यूएस एसडीके और टूल्स टीम

यह प्रविष्टि विशेष रूप से UserVoice पर यहां पाई जा सकती है: https://aws.uservoice.com/forums/598381-aws-command-line-interface/suggestions/33168436-aws-s3-sync-does-not-synchronize-s3- फ़ोल्डर-संरचना

ASayre 6 फ़र॰ 2018

👎1

बढ़िया काम आंद्रे, एक मुद्दे को बंद करें और हमें एक लिंक दें जो इस मुद्दे से संबंधित नहीं है। सभी बेकार पोस्टों में से

thenetimp 6 फ़र॰ 2018

जेनेरिक बॉयलरप्लेट निराशाजनक है। मुझे लगता है कि फीचर अनुरोध और बग रिपोर्ट के बीच की रेखा बहुत धुंधली हो सकती है। लोगों को बचाने के लिए इस सुविधा अनुरोध के लिए UserVoice पोस्ट खोजने वाले कुछ लोग https://aws.uservoice.com/forums/598381-aws-command-line-interface/suggestions/33168436-aws-s3-sync-does-not पर उपलब्ध हैं।

skwashd 6 फ़र॰ 2018

jamesls 7 अप्रैल 2018

👍15 ❤4

mainframe 5 जून 2018

kipkoan 17 जून 2018

thugbeatz 20 जून 2018

tinyheero 23 जुल॰ 2018

shankar-moeng 26 जुल॰ 2018

Anvesh-Gurudu-Bose 29 अग॰ 2018

+1। जोड़ने के लिए एक अच्छी सुविधा होगी।

mukteshkrmishra 7 सित॰ 2018

👍1

khadrawy 17 सित॰ 2018

schmite 6 अक्तू॰ 2018

वही मुद्दा
awscli==1.16.74

jqadev 14 दिस॰ 2018

foxel 12 अप्रैल 2019

-1

jriffel 15 मई 2019

Aws s3 सिंक कमांड पहले से ही पुनरावर्ती है, इसलिए पुनरावर्ती विकल्प की कोई आवश्यकता नहीं है, इसके अलावा सिंक कमांड केवल उन चीजों की प्रतिलिपि बनाता है जो गंतव्य पर पहले से मौजूद नहीं हैं। यदि आप किसी फ़ोल्डर की ओर इशारा करते हैं तो यह उस सब कुछ को पुनरावर्ती रूप से सिंक करेगा जो आपके लक्षित गंतव्य पर पहले से मौजूद नहीं है। यह अलग है तो aws s3 cp कमांड। सीपी कमांड जो कुछ भी आप उसे बताते हैं उसे कॉपी करता है, भले ही वह पहले से ही लक्ष्य पर मौजूद हो। सीपी/एमवी/आरबी कमांड फोल्डर/फाइलों की पुनरावर्ती प्रतिलिपि बनाने/चलाने/हटाने के लिए एक --recursive विकल्प लेता है। धन्यवाद