Aws-cli: لا تقوم مزامنة aws s3 بمزامنة بنية مجلد s3 محليًا

تم إنشاؤها على ١٢ سبتمبر ٢٠١٤  ·  100تعليقات  ·  مصدر: aws/aws-cli

لا تقوم مزامنة aws s3 بمزامنة بنية مجلد S3 بشكل كامل محليًا حتى إذا كنت أستخدمها مع - حذف أو - وسيطات متتالية:

AWS - الإصدار
aws-cli / 1.4.3 Python / 2.7.6 Linux / 3.13.0-35-generic

$ aws s3 ls s3: //s3.testbucket
$ aws s3 ls s3: //s3.testbucket/
$ mkdir s3.testfolder
$ mkdir s3.testfolder / test1
مزامنة $ aws s3 ./s3.testfolder s3: //s3.testbucket/
$ aws s3 ls s3: //s3.testbucket/
المس s3.testfolder / test1 / 1
مزامنة $ aws s3 ./s3.testfolder/ s3: //s3.testbucket/
تحميل: s3.testfolder / test1 / 1 إلى s3: //s3.testbucket/test1/1
مزامنة $ aws s3 ./s3.testfolder s3: //s3.testbucket/
$ mkdir ./s3.testfolder/test-to-delete
$ aws s3 sync s3: //s3.testbucket/ ./s3.testfolder/ - حذف - متسلسل
$ aws s3 sync s3: //s3.testbucket/ ./s3.testfolder/ - حذف
$ ls -lah ./s3.testfolder/
إجمالي 60 ألف
drwxrwxr-x 4 توبي توبي 4.0K szept 12 15:24.
drwx ------ 71 توبي توبي 44 ألف سبتمبر 12 15:22 ..
drwxrwxr-x 2 توبي توبي 4.0K szept 12 15:23 test1
drwxrwxr-x 2 tobi 4.0K szept 12 15:24 اختبار للحذف

$ aws s3 ls s3: //s3.testbucket/
الاختبار الأولي 1 /

feature-request s3 s3sync
مصدر
picture tatobi
👍13

التعليق الأكثر فائدة

بناءً على تعليقات المجتمع ، قررنا إعادة طلبات الميزات إلى مشكلات GitHub.

picture jamesls في ٧ أبريل ٢٠١٨
👍15 ❤4

ال 100 كومينتر

هذا السلوك معروف. السبب في أن الأمر sync يتصرف بهذه الطريقة هو أن s3 لا يستخدم الدلائل فعليًا. لا يوجد سوى دلاء وأشياء. تحتوي الكائنات على بادئات تعمل مثل الدلائل ، لكن s3 لا يعين كائنًا ماديًا معينًا ليكون دليلًا.

لذلك ، عند حدوث المزامنة ، يتم نقل الملفات فقط إلى s3 لأن s3 لا يحتوي على أدلة فعلية. لذلك عندما تحاول مزامنة الأدلة الفارغة ، لا يتم تحميل أي شيء نظرًا لعدم وجود ملفات بها. بمجرد وضع العناصر في الدليل ، سيتم تحميل الملف (مع البادئة التي تمثل الدليل).

kyleknap picture kyleknap في ١٢ سبتمبر ٢٠١٤
👎1 👍1

شكرا لك كايل ، هذا واضح. أعرف كيف تخزن S3 الملفات ، لكن في بعض الأحيان نحتاج إلى بنية الدليل نفسها في أماكن Sevaral حتى لو كانت هناك أماكن فارغة أو إزالتها من إذا لم نعد بحاجة إليها.
مثال جيد إذا كان لديك بنية دليل معقدة بها الكثير من المحتويات محليًا أكثر مما قمت بمزامنته مع S3. بعد ذلك ، تقوم آلية مؤتمتة بمزامنة هذا الهيكل بشكل دوري مع العديد من مثيلات التشغيل. أنت تحافظ على تحديث (حذف) معظم المحتوى من S3 ثم إعادة المزامنة التلقائية إلى الأماكن التي استخدمتها من قبل. لسوء الحظ ، ستجد بنية الدليل المعقد الأصلي تظل إلى الأبد على أهداف المزامنة مما قد يتسبب في حدوث ارتباك إذا كنت تريد التحقق منها أو حاول برنامجك استخدام هذه المجلدات الفارغة لأنك تحتاج دائمًا إلى نفس المجلدات في كل مكان. علاوة على ذلك ، قد يستخدم الأشخاص الذين يستخدمونه مع خيارات الحذف "rsync" المكافئ من قبل على نظام Linux الذي يحافظ على مزامنة المجلدات ، لذا يتم احتسابها على نفس العملية.
أعتقد أنه لن يكون من الصعب تنفيذ مفتاح أو خيار لأداة aws للكشف بطريقة أو بأخرى عما إذا كان كائن S3 عبارة عن ملف أو مجلد (قائمة ، حجم ، إلخ ..) وإنشاءها / حذفها محليًا أو في دلو S3 (على سبيل المثال list (bucket.list (""، "/"))؟

tatobi picture tatobi في ١٢ سبتمبر ٢٠١٤
👍6

منطقي. سوف ننظر في إضافة ميزة لذلك.

kyleknap picture kyleknap في ١٥ سبتمبر ٢٠١٤
👍2

سيكون هذا مفيدًا جدًا لموقفنا أيضًا. إذا تمت إضافته كخيار (- المزامنة-الدلائل الفارغة) يمكن للأشخاص اختيار استخدامه عند الحاجة.

ururk picture ururk في ٢١ نوفمبر ٢٠١٤

+1 بحاجة ماسة لهذه الميزة

xbeta picture xbeta في ١٥ يناير ٢٠١٥
👍3

+1. هل ترغب في استخدامه.

w32-blaster picture w32-blaster في ٧ مارس ٢٠١٥
👍2

+1

danielwinter83 picture danielwinter83 في ٣١ مارس ٢٠١٥

كما أنني فوجئت بهذا السلوك ، حيث يطلق عليه اسم "التزامن".
يمكنني التغلب على هذا في حالة الاستخدام الخاصة بي ، ولكن يمكن تجنيب المستخدمين في المستقبل الألم :)

unixmonkey picture unixmonkey في ٦ مايو ٢٠١٥

+1 على القدرة على مزامنة بنية الدليل! إذا قمت بحذف مجلد ، فإنه يزيل المحتوى فقط ، لكنه يترك المجلد خلفه ...

athurber picture athurber في ٦ مايو ٢٠١٥

+1. لدي نفس الاحتياجات.

zioalex picture zioalex في ٩ يونيو ٢٠١٥

+1 - تفاجأت بأنه لم يتم تنفيذه بعد. بالتأكيد ، في حالتي ، لا يهم كثيرًا ، ويمكنني حلها (أو فقط استخدام ملفات العناصر النائبة عند إنشاء الهياكل) ، ولكن سيكون من المفيد أن يتم دعمها من خلال مزامنة s3 أو s3 cp.

benjaminsherwood picture benjaminsherwood في ١ يوليو ٢٠١٥

+1

لا يحتفظ s3cmd sync بهيكل المجلد ولكن هناك بعض المشكلات عند منح الوصول أثناء المزامنة ، لذلك يحتاج المرء إلى تشغيل s3cmd setacl --recursive بعد ذلك ...

cauboy picture cauboy في ٢٠ يوليو ٢٠١٥
👍1

+1

ntmggr picture ntmggr في ٢٧ يوليو ٢٠١٥

+1

ghost picture ghost في ٣٠ يوليو ٢٠١٥

+1

asdesilva picture asdesilva في ١٣ أغسطس ٢٠١٥

شكرا للجميع على ردود الفعل. أعتقد أن أفضل خيار رأيته هو إضافة خيار --sync-empty-directories . لنفعل ذلك.

jamesls picture jamesls في ١٣ أغسطس ٢٠١٥
👍4

jamesls أتوقع إلى حد ما وظائف rsync ، لكن s3 كتخزين كائن ليس هو نفسه بالتأكيد على الرغم من ذلك.

xbeta picture xbeta في ١٤ أغسطس ٢٠١٥

+1

makeittotop picture makeittotop في ١ سبتمبر ٢٠١٥

+1

mradochonski picture mradochonski في ٥ أكتوبر ٢٠١٥

أي جدول زمني لهذه الميزة؟

mradochonski picture mradochonski في ٥ أكتوبر ٢٠١٥

كحل مؤقت ، أضفت ملفًا فارغًا .s3keep إلى الدلائل الفارغة وهو يعمل معي. هذا هو الاختراق الذي أستخدمه عادةً لخداع git لعدم التعامل مع الدلائل الفارغة على أنها أدلة فارغة :)

swarupdonepudi picture swarupdonepudi في ١٥ أكتوبر ٢٠١٥

هل سيسمح هذا أيضًا "بإزالة / حذف" الدلائل الفارغة من S3؟

lcasey001 picture lcasey001 في ٢٩ أكتوبر ٢٠١٥

+1

arcadas picture arcadas في ٢٣ نوفمبر ٢٠١٥

+1

andrefelipe picture andrefelipe في ١ ديسمبر ٢٠١٥

+1

srirachapills picture srirachapills في ١٨ يناير ٢٠١٦

+1

mputilin picture mputilin في ٥ فبراير ٢٠١٦

+1

ixtli picture ixtli في ١٩ فبراير ٢٠١٦

+1

asyavuz picture asyavuz في ٢١ فبراير ٢٠١٦

+1

matteomelani picture matteomelani في ٣١ مارس ٢٠١٦

+1

Darkyj picture Darkyj في ٦ أبريل ٢٠١٦

+1

dijeesh picture dijeesh في ١٥ أبريل ٢٠١٦

+1

ghost picture ghost في ١ مايو ٢٠١٦

+1

xam7247 picture xam7247 في ١٣ مايو ٢٠١٦

+1

it-marmalade picture it-marmalade في ١٧ مايو ٢٠١٦

+1

steven-klein picture steven-klein في ٢٦ مايو ٢٠١٦

+1

moradai picture moradai في ٧ يونيو ٢٠١٦

+1

miggy282 picture miggy282 في ٧ يونيو ٢٠١٦
👍1

+1

_ يكون له معنى كبير أثناء عمليات ترحيل البيانات إلى s3._

ritxos picture ritxos في ١٥ يونيو ٢٠١٦

+1

thoralf-gutierrez picture thoralf-gutierrez في ٢٣ يونيو ٢٠١٦

+1 لقد حطم هذا للتو ... أرج ....

bdo-eow picture bdo-eow في ٥ يوليو ٢٠١٦

+1

murraybrad13 picture murraybrad13 في ٧ يوليو ٢٠١٦

+10
من الممكن حل هذه المشكلة باستخدام ملفات وهمية ، ولكن سيكون من الأنظف إذا كان هناك خيار لفرض بادئة فارغة للمزامنة.

quater picture quater في ١٠ يوليو ٢٠١٦

+1. حالة الاستخدام: النسخ الاحتياطي لمستودع svn.

بشكل عام:
شيء مزامنة AWS s3
مزامنة AWS s3شيء_نسخ

توقعت أن يتطابق الأمر thing_copy مع الشيء تمامًا.

ghost picture ghost في ١١ يوليو ٢٠١٦

+1

hesu picture hesu في ١٣ يوليو ٢٠١٦

+1

jumping picture jumping في ٢٥ يوليو ٢٠١٦

+1

ghost picture ghost في ١٨ أغسطس ٢٠١٦

+1 بحاجة إلى حذف الدلائل الفارغة

carhensi picture carhensi في ٢٦ أغسطس ٢٠١٦

كيف هو تقدم إضافة هذا الخيار --sync-empty-directories ؟
أي ملاحظات من فريق AWS؟
شكرا.

hierony94 picture hierony94 في ٢ سبتمبر ٢٠١٦
👍14 ❤5

سيكون +1 ميزة مفيدة جدًا لأداة مفيدة جدًا

jimbocoder picture jimbocoder في ٤ سبتمبر ٢٠١٦
👍2

+1

SirR4T picture SirR4T في ١٤ سبتمبر ٢٠١٦

+1 (أتمنى أيضًا أن يتم تنفيذ هذه الميزة وأتمنى أن يكون لدى Github.com واجهة StackOverflow.com مثل "التصويت" على المشكلات / الميزات).

Dulani picture Dulani في ١٤ أكتوبر ٢٠١٦

+1

MatthewVance picture MatthewVance في ١٠ نوفمبر ٢٠١٦

+1

VaughnLi picture VaughnLi في ١٥ نوفمبر ٢٠١٦

+1

rrlino picture rrlino في ٢ ديسمبر ٢٠١٦

+1

realsby picture realsby في ١٦ ديسمبر ٢٠١٦

+1

amitlalani picture amitlalani في ١٢ يناير ٢٠١٧

بعد أكثر من عامين وما زال لم يحدث ..؟ هل من أي وقت مضى؟ = /

vesper8 picture vesper8 في ٣١ يناير ٢٠١٧
👍7

+1

MathieuMorrissette picture MathieuMorrissette في ٩ فبراير ٢٠١٧

+1

sptessier picture sptessier في ٢٤ فبراير ٢٠١٧

+1

bobgon picture bobgon في ٢٥ فبراير ٢٠١٧

+1

giseongeom picture giseongeom في ٦ مارس ٢٠١٧

+1000

barbarello picture barbarello في ١١ مارس ٢٠١٧

+1

ekstro picture ekstro في ٢٣ مارس ٢٠١٧

لقد قمت ببعض البحث عن كيفية تنفيذ ذلك. ينتهي الأمر بجميع أوامر s3 باستخدام TransferManager من مكتبة s3transfer . ( المشار إليها هنا )

لدعم إضافة مجلد باستخدام PutObject ، يمكننا إرسال سلسلة فارغة في معلمة النص. لا أعرف ما إذا كان هذا مدعومًا رسميًا أم لا. لقد نفذت هذا هنا:
https://github.com/svleeuwen/s3transfer/commit/b7d3745a995a75c5262950bb798c8c57e481c2b3

أود الحصول على بعض التعليقات على هذا من المشرف قبل المتابعة.

svleeuwen picture svleeuwen في ٢٨ مارس ٢٠١٧

+1

brooksandrew picture brooksandrew في ١٤ أبريل ٢٠١٧

كان الحل هو تركيب دلو مع s3fs و rsync من s3 mount إلى دليل في دليل منزلي.

thenetimp picture thenetimp في ١٤ أبريل ٢٠١٧

+1

mohanen picture mohanen في ٣ مايو ٢٠١٧
😕5

+1 حقًا بحاجة إلى هذا ...

w0203j picture w0203j في ٢٠ مايو ٢٠١٧

+1

مفتوح منذ 2014؟ حقا؟ : unamused:

nethershaw picture nethershaw في ٣٠ يونيو ٢٠١٧
👍5

+1

nickgardos picture nickgardos في ٣ يوليو ٢٠١٧

+1

harishpendela picture harishpendela في ١٢ يوليو ٢٠١٧

+1

opn1 picture opn1 في ٩ أغسطس ٢٠١٧

+1

mickrussom picture mickrussom في ١٠ أغسطس ٢٠١٧

+1

thomassngdata picture thomassngdata في ٧ سبتمبر ٢٠١٧

+1

aaronovz1 picture aaronovz1 في ٢٥ سبتمبر ٢٠١٧

+1

sammerry picture sammerry في ٢٦ سبتمبر ٢٠١٧

+1

PD-123 picture PD-123 في ٢٧ سبتمبر ٢٠١٧

+1

amnobis picture amnobis في ٢٧ سبتمبر ٢٠١٧

thenetimp هذا الحل

AukeTembrink picture AukeTembrink في ١٣ أكتوبر ٢٠١٧

+1

muchaohyy picture muchaohyy في ٨ نوفمبر ٢٠١٧

صباح الخير!

نحن نغلق هذه المشكلة هنا على GitHub ، كجزء من ترحيلنا إلى

سيتيح لنا ذلك الحصول على أهم الميزات لك ، من خلال تسهيل البحث عن الميزات التي تهتم بها وإظهار الدعم لها ، دون إضعاف المحادثة مع تقارير الأخطاء.

ككتاب تمهيدي سريع لبرنامج UserVoice (إن لم يكن مألوفًا بالفعل): بعد نشر الفكرة ، يمكن للأشخاص التصويت على الأفكار ، وسيستجيب فريق المنتج مباشرةً للاقتراحات الأكثر شيوعًا.

لقد قمنا باستيراد طلبات الميزات الحالية من GitHub - ابحث عن هذه المشكلة هناك!

ولا تقلق ، ستظل هذه المشكلة موجودة على GitHub من أجل الأجيال القادمة. نظرًا لأنه استيراد نصي فقط للمنشور الأصلي في UserVoice ، سنظل نضع في اعتبارنا التعليقات والمناقشات الموجودة بالفعل هنا حول مشكلة GitHub.

سيظل GitHub هو القناة للإبلاغ عن الأخطاء.

مرة أخرى ، يمكن الآن العثور على هذه المشكلة من خلال البحث عن العنوان على: https://aws.uservoice.com/forums/598381-aws-command-line-interface

-فريق أدوات وأدوات AWS SDK

يمكن العثور على هذا الإدخال على وجه التحديد في UserVoice على: https://aws.uservoice.com/forums/598381-aws-command-line-interface/suggestions/33168436-aws-s3-sync-does-not-synchronize-s3- مجلد منظم

ASayre picture ASayre في ٦ فبراير ٢٠١٨
👎1

أحسنت صنعًا يا أندريه ، أغلق المشكلة وأعطنا رابطًا لا علاقة له بالمشكلة. من كل المشاركات عديمة الفائدة

thenetimp picture thenetimp في ٦ فبراير ٢٠١٨

النموذج المعياري العام مخيب للآمال. أعتقد أن الخط الفاصل بين طلب الميزة وتقرير الخطأ يمكن أن يكون ضبابيًا جدًا. لحفظ بعض الأشخاص الذين يبحثون في منشور UserVoice عن طلب الميزة هذا ، يتوفر على https://aws.uservoice.com/forums/598381-aws-command-line-interface/suggestions/33168436-aws-s3-sync-does-not -تزامن- s3- المجلد- Structu

skwashd picture skwashd في ٦ فبراير ٢٠١٨

بناءً على تعليقات المجتمع ، قررنا إعادة طلبات الميزات إلى مشكلات GitHub.

jamesls picture jamesls في ٧ أبريل ٢٠١٨
👍15 ❤4

+1

mainframe picture mainframe في ٥ يونيو ٢٠١٨

+1

kipkoan picture kipkoan في ١٧ يونيو ٢٠١٨

+1

thugbeatz picture thugbeatz في ٢٠ يونيو ٢٠١٨

+1

tinyheero picture tinyheero في ٢٣ يوليو ٢٠١٨

+1

shankar-moeng picture shankar-moeng في ٢٦ يوليو ٢٠١٨

+1

Anvesh-Gurudu-Bose picture Anvesh-Gurudu-Bose في ٢٩ أغسطس ٢٠١٨

+1. ستكون ميزة لطيفة لإضافتها.

mukteshkrmishra picture mukteshkrmishra في ٧ سبتمبر ٢٠١٨
👍1

+1

khadrawy picture khadrawy في ١٧ سبتمبر ٢٠١٨

+1

schmite picture schmite في ٦ أكتوبر ٢٠١٨

المشكلة نفسها
awscli == 1.16.74

jqadev picture jqadev في ١٤ ديسمبر ٢٠١٨

+1

foxel picture foxel في ١٢ أبريل ٢٠١٩

-1

jriffel picture jriffel في ١٥ مايو ٢٠١٩

أمر المزامنة aws s3 متكرر بالفعل ، لذلك ليست هناك حاجة لخيار تكراري ، بالإضافة إلى أن أمر المزامنة ينسخ فقط الأشياء غير الموجودة بالفعل في الوجهة. إذا أشرت إلى مجلد ، فسيتم بشكل متكرر مزامنة كل شيء بداخله غير موجود بالفعل في وجهتك المستهدفة. هذا مختلف عن الأمر aws s3 cp. ينسخ الأمر cp كل ما تقوله له ، بغض النظر عن وجوده بالفعل على الهدف. يأخذ الأمر cp / mv / rb خيارًا متكررًا لنسخ / نقل / حذف المجلدات / الملفات بشكل متكرر. شكرا

3ggaurav picture 3ggaurav في ٢٧ مايو ٢٠١٩
❤1 👎1 👍1

@ 3ggaurav ، كانت المشكلة في الأصل من عام 2014 عندما أتذكر أن sync يحتوي على خيار --recursive .

بالإضافة إلى ذلك ، إذا كنت ستقتبس من إجابة تجاوز سعة المكدس حرفيًا ، فمن الممارسات الجيدة عمومًا الإشارة إليها / منحها الفضل.

الجواب تجاوز سعة المكدس هنا.

k3ypad picture k3ypad في ٦ يونيو ٢٠١٩
👍3 👀2 ❤2 🎉2

لا يزال هناك تقدم في هذا؟

aryus96 picture aryus96 في ٨ يونيو ٢٠٢٠

+1

Degraund picture Degraund في ١٨ نوفمبر ٢٠٢٠
هل كانت هذه الصفحة مفيدة؟
0 / 5 - 0 التقييمات

القضايا ذات الصلة

pawelkilian picture pawelkilian  ·  3تعليقات
ronaldpetty picture ronaldpetty  ·  3تعليقات
KimberleySDU picture KimberleySDU  ·  3تعليقات
ikim23 picture ikim23  ·  3تعليقات
ehammond picture ehammond  ·  3تعليقات