Aws-cli: sinkronisasi aws s3 tidak menyinkronkan struktur folder s3 secara lokal

Dibuat pada 12 Sep 2014  ·  100Komentar  ·  Sumber: aws/aws-cli

Sinkronisasi aws s3 tidak sepenuhnya menyinkronkan struktur folder S3 secara lokal bahkan jika saya menggunakannya dengan argumen --delete atau --recursive:

aws --versi
aws-cli / 1.4.3 Python / 2.7.6 Linux / 3.13.0-35-generic

$aws s3 ls s3: //s3.testbucket
$aws s3 ls s3: //s3.testbucket/
$mkdir s3.testfolder
$mkdir s3.testfolder / test1
$aws s3 sync ./s3.testfolder s3: //s3.testbucket/
$aws s3 ls s3: //s3.testbucket/
$ sentuh s3.testfolder / test1 / 1
$aws s3 sync ./s3.testfolder/ s3: //s3.testbucket/
unggah: s3.testfolder / test1 / 1 ke s3: //s3.testbucket/test1/1
$aws s3 sync ./s3.testfolder s3: //s3.testbucket/
$ mkdir ./s3.testfolder/test-to-delete
$aws s3 sync s3: //s3.testbucket/ ./s3.testfolder/ --delete --recursive
$aws s3 sync s3: //s3.testbucket/ ./s3.testfolder/ --delete
$ ls -lah ./s3.testfolder/
total 60K
drwxrwxr-x 4 tobi tobi 4.0K szept 12 15:24.
drwx ------ 71 tobi tobi 44K szept 12 15:22 ..
drwxrwxr-x 2 tobi tobi 4.0K szept 12 15:23 test1
drwxrwxr-x 2 tobi tobi 4.0K szept 12 15:24 tes-untuk-menghapus

$aws s3 ls s3: //s3.testbucket/
tes pra1 /

feature-request s3 s3sync
Sumber
picture tatobi
👍13

Komentar yang paling membantu

Berdasarkan umpan balik komunitas, kami telah memutuskan untuk mengembalikan permintaan fitur ke masalah GitHub.

picture jamesls pada 7 Apr 2018
👍15 ❤4

Semua 100 komentar

Perilaku ini diketahui. Alasan mengapa perintah sync berperilaku seperti ini adalah karena s3 tidak menggunakan direktori secara fisik. Hanya ada ember dan benda. Objek memiliki awalan yang bertindak seperti direktori, tetapi s3 tidak menunjuk objek fisik tertentu untuk menjadi direktori.

Oleh karena itu, ketika sinkronisasi terjadi, hanya file yang ditransfer ke s3 karena s3 tidak memiliki direktori fisik. Jadi ketika Anda mencoba menyinkronkan direktori kosong, tidak ada yang diunggah karena tidak ada file di dalamnya. Setelah Anda meletakkan item di direktori, maka file (dengan awalan yang mewakili direktori) akan diunggah.

kyleknap picture kyleknap pada 12 Sep 2014
👎1 👍1

Terima kasih Kyle, sudah jelas. Saya tahu bagaimana S3 menyimpan file, tetapi terkadang kita memerlukan struktur direktori yang sama di beberapa tempat meskipun ada yang kosong atau hapus dari jika kita tidak membutuhkannya lagi.
Contoh yang bagus jika Anda memiliki struktur direktori yang kompleks dengan banyak konten lokal daripada yang Anda sinkronkan ke S3. Setelah itu mekanisme otomatis menyinkronkan struktur ini secara berkala ke beberapa instance yang sedang berjalan. Anda tetap up-to-date (menghapus) sebagian besar konten dari S3 kemudian otomatisme menyinkronkan ulang ke tempat-tempat yang Anda gunakan sebelumnya. Sayangnya Anda akan menemukan struktur direktori kompleks asli tetap selamanya pada target sinkronisasi yang dapat menyebabkan kebingungan jika Anda ingin memeriksanya atau program Anda mencoba menggunakan folder kosong ini karena Anda harus selalu sama di mana-mana. Selain itu orang-orang yang menggunakannya dengan --delete opsi mungkin menggunakan "rsync" yang setara sebelumnya di Linux yang membuat folder tetap disinkronkan sehingga mengandalkan operasi yang sama.
Saya pikir tidak akan sulit untuk menerapkan sakelar atau opsi untuk alat aws untuk mendeteksi entah bagaimana jika objek S3 adalah file atau folder (daftar, ukuran, dll.) dan membuat/menghapusnya secara lokal atau dalam ember S3 (mis. daftar(ember.daftar("", "/"))?

tatobi picture tatobi pada 12 Sep 2014
👍6

Itu masuk akal. Akan melihat untuk menambahkan fitur untuk itu.

kyleknap picture kyleknap pada 15 Sep 2014
👍2

Ini akan sangat berguna untuk situasi kita juga. Jika ditambahkan sebagai opsi (--sync-empty-directory) orang dapat memilih untuk menggunakannya saat diperlukan.

ururk picture ururk pada 21 Nov 2014

+1 Sangat membutuhkan fitur ini

xbeta picture xbeta pada 15 Jan 2015
👍3

+1. Ingin menggunakannya.

w32-blaster picture w32-blaster pada 7 Mar 2015
👍2

+1

danielwinter83 picture danielwinter83 pada 31 Mar 2015

Saya juga terkejut dengan perilaku ini, mengingat itu disebut "sinkronisasi".
Saya dapat mengatasi ini dalam kasus penggunaan khusus saya, tetapi pengguna masa depan dapat terhindar dari rasa sakit :)

unixmonkey picture unixmonkey pada 6 Mei 2015

+1 untuk dapat menyinkronkan struktur direktori! Jika Anda menghapus folder, itu hanya menghapus konten, tetapi meninggalkan folder di belakang...

athurber picture athurber pada 6 Mei 2015

+1. Saya memiliki kebutuhan yang sama.

zioalex picture zioalex pada 9 Jun 2015

+1 - terkejut karena belum diimplementasikan. Tentu, dalam kasus saya itu tidak terlalu penting, dan saya dapat mengatasinya (atau hanya menggunakan file placeholder saat membuat struktur), tetapi akan bermanfaat jika didukung oleh sinkronisasi s3 atau s3 cp.

benjaminsherwood picture benjaminsherwood pada 1 Jul 2015

+1

s3cmd sync mempertahankan struktur folder tetapi karena itu memiliki beberapa masalah saat memberikan akses saat menyinkronkan sehingga seseorang perlu menjalankan s3cmd setacl --recursive setelahnya…

cauboy picture cauboy pada 20 Jul 2015
👍1

+1

ntmggr picture ntmggr pada 27 Jul 2015

+1

ghost picture ghost pada 30 Jul 2015

+1

asdesilva picture asdesilva pada 13 Agu 2015

Terima kasih atas umpan balik semua orang. Saya pikir opsi terbaik yang pernah saya lihat adalah menambahkan opsi --sync-empty-directories . Mari kita lakukan itu.

jamesls picture jamesls pada 13 Agu 2015
👍4

@jamesls Saya mengharapkan fungsionalitas seperti rsync, tetapi s3 sebagai penyimpanan objek jelas tidak sama.

xbeta picture xbeta pada 14 Agu 2015

+1

makeittotop picture makeittotop pada 1 Sep 2015

+1

mradochonski picture mradochonski pada 5 Okt 2015

Adakah timeline untuk fitur ini?

mradochonski picture mradochonski pada 5 Okt 2015

Sebagai solusi sementara saya menambahkan file .s3keep kosong ke direktori kosong dan itu berfungsi untuk saya. Ini adalah peretasan yang biasanya saya gunakan untuk mengelabui git agar tidak memperlakukan direktori kosong sebagai direktori kosong :)

swarupdonepudi picture swarupdonepudi pada 15 Okt 2015

Apakah ini juga memungkinkan untuk "menghapus/menghapus" direktori kosong di S3?

lcasey001 picture lcasey001 pada 29 Okt 2015

+1

arcadas picture arcadas pada 23 Nov 2015

+1

andrefelipe picture andrefelipe pada 1 Des 2015

+1

srirachapills picture srirachapills pada 18 Jan 2016

+1

mputilin picture mputilin pada 5 Feb 2016

+1

ixtli picture ixtli pada 19 Feb 2016

+1

asyavuz picture asyavuz pada 21 Feb 2016

+1

matteomelani picture matteomelani pada 31 Mar 2016

+1

Darkyj picture Darkyj pada 6 Apr 2016

+1

dijeesh picture dijeesh pada 15 Apr 2016

+1

ghost picture ghost pada 1 Mei 2016

+1

xam7247 picture xam7247 pada 13 Mei 2016

+1

it-marmalade picture it-marmalade pada 17 Mei 2016

+1

steven-klein picture steven-klein pada 26 Mei 2016

+1

moradai picture moradai pada 7 Jun 2016

+1

miggy282 picture miggy282 pada 7 Jun 2016
👍1

+1

_Masuk akal selama migrasi data ke s3._

ritxos picture ritxos pada 15 Jun 2016

+1

thoralf-gutierrez picture thoralf-gutierrez pada 23 Jun 2016

+1 Baru saja dihancurkan oleh ini... Arg....

bdo-eow picture bdo-eow pada 5 Jul 2016

+1

murraybrad13 picture murraybrad13 pada 7 Jul 2016

+10
Dimungkinkan untuk mengatasi ini dengan file dummy tetapi akan lebih bersih jika akan ada opsi untuk memaksa awalan kosong untuk disinkronkan.

quater picture quater pada 10 Jul 2016

+1. Kasus penggunaan: mencadangkan repositori svn.

Lebih umum:
hal sinkronisasi aws s3
sinkronisasi aws s3hal_copy

Saya berharap thing_copy cocok dengan persis.

ghost picture ghost pada 11 Jul 2016

+1

hesu picture hesu pada 13 Jul 2016

+1

jumping picture jumping pada 25 Jul 2016

+1

ghost picture ghost pada 18 Agu 2016

+1 perlu menghapus direktori kosong

carhensi picture carhensi pada 26 Agu 2016

Bagaimana kemajuan penambahan opsi ini --sync-empty-directories ?
ada tanggapan dari Tim AWS?
Terima kasih.

hierony94 picture hierony94 pada 2 Sep 2016
👍14 ❤5

+1 akan menjadi fitur yang sangat berguna untuk alat yang sangat berguna

jimbocoder picture jimbocoder pada 4 Sep 2016
👍2

+1

SirR4T picture SirR4T pada 14 Sep 2016

+1 (Saya juga berharap fitur ini diterapkan dan berharap Github.com memiliki antarmuka seperti StackOverflow.com untuk "memilih" pada masalah/fitur).

Dulani picture Dulani pada 14 Okt 2016

+1

MatthewVance picture MatthewVance pada 10 Nov 2016

+1

VaughnLi picture VaughnLi pada 15 Nov 2016

+1

rrlino picture rrlino pada 2 Des 2016

+1

realsby picture realsby pada 16 Des 2016

+1

amitlalani picture amitlalani pada 12 Jan 2017

2+ tahun kemudian dan itu masih belum terjadi.. ? akankah itu pernah? =/

vesper8 picture vesper8 pada 31 Jan 2017
👍7

+1

MathieuMorrissette picture MathieuMorrissette pada 9 Feb 2017

+1

sptessier picture sptessier pada 24 Feb 2017

+1

bobgon picture bobgon pada 25 Feb 2017

+1

giseongeom picture giseongeom pada 6 Mar 2017

+1000

barbarello picture barbarello pada 11 Mar 2017

+1

ekstro picture ekstro pada 23 Mar 2017

Saya melakukan beberapa penggalian tentang bagaimana ini bisa diimplementasikan. Semua perintah s3 akhirnya menggunakan TransferManager dari perpustakaan s3transfer . ( dirujuk di sini )

Untuk mendukung penambahan folder dengan PutObject kita bisa mengirimkan string kosong di param Body. Saya tidak tahu apakah ini didukung secara resmi. Saya menerapkan ini di sini:
https://github.com/svleeuwen/s3transfer/commit/b7d3745a995a75c5262950bb798c8c57e481c2b3

Saya ingin beberapa umpan balik tentang ini dari pengelola sebelum melanjutkan.

svleeuwen picture svleeuwen pada 28 Mar 2017

+1

brooksandrew picture brooksandrew pada 14 Apr 2017

solusi saya adalah memasang ember saya dengan s3fs dan rsync dari s3 mount ke direktori di direktori home saya.

thenetimp picture thenetimp pada 14 Apr 2017

+1

mohanen picture mohanen pada 3 Mei 2017
😕5

+1 sangat membutuhkan ini ...

w0203j picture w0203j pada 20 Mei 2017

+1

Buka sejak 2014? Betulkah? :tidak senang:

nethershaw picture nethershaw pada 30 Jun 2017
👍5

+1

nickgardos picture nickgardos pada 3 Jul 2017

+1

harishpendela picture harishpendela pada 12 Jul 2017

+1

opn1 picture opn1 pada 9 Agu 2017

+1

mickrussom picture mickrussom pada 10 Agu 2017

+1

thomassngdata picture thomassngdata pada 7 Sep 2017

+1

aaronovz1 picture aaronovz1 pada 25 Sep 2017

+1

sammerry picture sammerry pada 26 Sep 2017

+1

PD-123 picture PD-123 pada 27 Sep 2017

+1

amnobis picture amnobis pada 27 Sep 2017

@thenetimp Solusi ini baik untuk ember kecil. Kami menggunakan ember dengan lebih dari 15TB. S3FS menjadi sangat lambat dengan ember yang lebih besar.

AukeTembrink picture AukeTembrink pada 13 Okt 2017

+1

muchaohyy picture muchaohyy pada 8 Nov 2017

Selamat pagi!

Kami menutup masalah ini di sini di GitHub, sebagai bagian dari migrasi kami ke UserVoice untuk permintaan fitur yang melibatkan AWS CLI.

Ini akan memungkinkan kami mendapatkan fitur yang paling penting bagi Anda, dengan mempermudah pencarian dan menunjukkan dukungan untuk fitur yang paling Anda pedulikan, tanpa mengurangi percakapan dengan laporan bug.

Sebagai primer UserVoice cepat (jika belum terbiasa): setelah sebuah ide diposting, orang dapat memilih ide tersebut, dan tim produk akan langsung menanggapi saran yang paling populer.

Kami telah mengimpor permintaan fitur yang ada dari GitHub - Cari masalah ini di sana!

Dan jangan khawatir, masalah ini akan tetap ada di GitHub demi anak cucu. Karena ini adalah impor teks saja dari posting asli ke UserVoice, kami akan tetap mengingat komentar dan diskusi yang sudah ada di sini pada masalah GitHub.

GitHub akan tetap menjadi saluran untuk melaporkan bug.

Sekali lagi, masalah ini sekarang dapat ditemukan dengan mencari judul di: https://aws.uservoice.com/forums/598381-aws-command-line-interface

-Tim Alat & SDK AWS

Entri ini secara khusus dapat ditemukan di UserVoice di: https://aws.uservoice.com/forums/598381-aws-command-line-interface/suggestions/33168436-aws-s3-sync-does-not-synchronize-s3- folder-struktur

ASayre picture ASayre pada 6 Feb 2018
👎1

bagus sekali Andre, tutup sebuah masalah dan beri kami tautan yang tidak terkait dengan masalah tersebut. Dari semua postingan yang tidak berguna

thenetimp picture thenetimp pada 6 Feb 2018

Boilerplate generik mengecewakan. Saya pikir garis antara permintaan fitur dan laporan bug bisa sangat kabur. Untuk menyelamatkan orang dari pencarian posting UserVoice untuk permintaan fitur ini tersedia di https://aws.uservoice.com/forums/598381-aws-command-line-interface/suggestions/33168436-aws-s3-sync-does-not -sinkronisasi-s3-folder-struktur

skwashd picture skwashd pada 6 Feb 2018

Berdasarkan umpan balik komunitas, kami telah memutuskan untuk mengembalikan permintaan fitur ke masalah GitHub.

jamesls picture jamesls pada 7 Apr 2018
👍15 ❤4

+1

mainframe picture mainframe pada 5 Jun 2018

+1

kipkoan picture kipkoan pada 17 Jun 2018

+1

thugbeatz picture thugbeatz pada 20 Jun 2018

+1

tinyheero picture tinyheero pada 23 Jul 2018

+1

shankar-moeng picture shankar-moeng pada 26 Jul 2018

+1

Anvesh-Gurudu-Bose picture Anvesh-Gurudu-Bose pada 29 Agu 2018

+1. Akan menjadi fitur yang bagus untuk ditambahkan.

mukteshkrmishra picture mukteshkrmishra pada 7 Sep 2018
👍1

+1

khadrawy picture khadrawy pada 17 Sep 2018

+1

schmite picture schmite pada 6 Okt 2018

Masalah yang sama
awscli==1.16.74

jqadev picture jqadev pada 14 Des 2018

+1

foxel picture foxel pada 12 Apr 2019

-1

jriffel picture jriffel pada 15 Mei 2019

Perintah sync aws s3 sudah rekursif, jadi tidak perlu opsi rekursif, Selain itu perintah sync hanya menyalin hal-hal yang belum ada di tujuan. Jika Anda mengarahkan ke folder, itu akan secara rekursif menyinkronkan semua yang ada di dalamnya yang belum ada di tujuan target Anda. Ini berbeda dengan perintah aws s3 cp. Perintah cp menyalin apa pun yang Anda perintahkan, terlepas dari itu sudah ada pada target. Perintah cp/mv/rb mengambil opsi --recursive untuk menyalin/memindahkan/menghapus folder/file secara rekursif. Terima kasih

3ggaurav picture 3ggaurav pada 27 Mei 2019
❤1 👎1 👍1

@3ggaurav masalahnya berasal dari 2014 ketika saya ingat sync memiliki opsi --recursive .

Selain itu jika Anda akan mengutip jawaban stack overflow kata demi kata, umumnya praktik yang baik untuk merujuk/memberikan kredit padanya.

Jawaban stack overflow ada di sini.

k3ypad picture k3ypad pada 6 Jun 2019
👍3 👀2 ❤2 🎉2

Masih tidak ada kemajuan dalam hal ini?

aryus96 picture aryus96 pada 8 Jun 2020

+1

Degraund picture Degraund pada 18 Nov 2020
Apakah halaman ini membantu?
0 / 5 - 0 peringkat

Masalah terkait

hapx101 picture hapx101  ·  3Komentar
KimberleySDU picture KimberleySDU  ·  3Komentar
matt-sexton picture matt-sexton  ·  3Komentar
DrStrangepork picture DrStrangepork  ·  3Komentar
alexejk picture alexejk  ·  3Komentar