Aws-cli: aws s3 syncは、s3フォルダー構造をローカルで同期しません

作成日 2014年09月12日 · 100コメント · ソース: aws/aws-cli

aws s3 syncは、-deleteまたは--recursive引数を指定して使用しても、S3フォルダー構造をローカルで完全に同期しません。

aws --version
aws-cli / 1.4.3 Python / 2.7.6 Linux /3.13.0-35-ジェネリック

$ aws s3 ls s3：//s3.testbucket
$ aws s3 ls s3：//s3.testbucket/
$ mkdir s3.testfolder
$ mkdir s3.testfolder / test1
$ aws s3 sync ./s3.testfolder s3：//s3.testbucket/
$ aws s3 ls s3：//s3.testbucket/
$ touch s3.testfolder / test1 / 1
$ aws s3 sync ./s3.testfolder/ s3：//s3.testbucket/
アップロード：s3.testfolder / test1 / 1からs3：//s3.testbucket/test1/1
$ aws s3 sync ./s3.testfolder s3：//s3.testbucket/
$ mkdir ./s3.testfolder/test-to-delete
$ aws s3 sync s3：//s3.testbucket/ ./s3.testfolder/ --delete --recursive
$ aws s3 sync s3：//s3.testbucket/ ./s3.testfolder/ --delete
$ ls -lah ./s3.testfolder/
合計60K
drwxrwxr-x 4 tobi tobi 4.0K szept 1215：24。
drwx ------ 71 tobi tobi 44K szept 12 15:22 ..
drwxrwxr-x 2 tobi tobi 4.0K szept 12 15:23 test1
drwxrwxr-x 2 tobi tobi 4.0K szept 12 15:24 test-to-delete

$ aws s3 ls s3：//s3.testbucket/
PREテスト1 /

feature-request s3 s3sync

ソース

tatobi

👍13

最も参考になるコメント

コミュニティのフィードバックに基づいて、機能リクエストをGitHubの問題に返すことにしました。

jamesls 2018年04月07日

👍15 ❤4

全てのコメント100件

この動作は既知です。 syncコマンドがこのように動作する理由は、s3が物理的にディレクトリを使用しないためです。バケットとオブジェクトのみがあります。オブジェクトにはディレクトリのように機能するプレフィックスがありますが、s3は特定の物理オブジェクトをディレクトリとして指定しません。

したがって、同期が発生すると、s3には物理ディレクトリがないため、ファイルのみがs3に転送されます。したがって、空のディレクトリを同期しようとすると、ファイルがないため、何もアップロードされません。ディレクトリにアイテムを配置すると、ファイル（ディレクトリを表すプレフィックス付き）がアップロードされます。

kyleknap 2014年09月12日

👎1 👍1

カイルありがとう、それは明らかです。 S3がファイルを保存する方法は知っていますが、空のファイルがある場合でも、複数の場所に同じディレクトリ構造が必要な場合や、不要になった場合は削除する場合があります。
S3に同期したよりもローカルに多くのコンテンツを含む複雑なディレクトリ構造がある場合の良い例です。その後、自動化されたメカニズムがこの構造をいくつかの実行中のインスタンスに定期的に同期します。 S3のほとんどのコンテンツを最新の状態に保つ（削除する）と、自動化によって以前に使用した場所に再同期されます。残念ながら、元の複雑なディレクトリ構造が同期ターゲットに永久に残ることがわかります。これを確認したり、プログラムがこの空のフォルダを使用しようとしたりすると、どこでも常に同じである必要があるため、混乱が生じる可能性があります。さらに、-deleteオプションを指定して使用する人は、以前はLinuxで同等の「rsync」を使用していた可能性があります。これにより、フォルダーの同期が維持されるため、同じ操作が重要になります。
S3オブジェクトがファイルまたはフォルダー（リスト、サイズなど）であるかどうかを何らかの方法で検出し、ローカルまたはS3バケット（例： list（bucket.list（ ""、 "/"））？

tatobi 2014年09月12日

👍6

それは理にかなっている。そのための機能を追加することを検討します。

kyleknap 2014年09月15日

👍2

これは私たちの状況にも非常に役立ちます。オプション（--sync-empty-directories）として追加された場合、人々は必要なときにそれを使用することを選択できます。

ururk 2014年11月21日

+1この機能が非常に必要

xbeta 2015年01月15日

👍3

+1。使いたいです。

w32-blaster 2015年03月07日

👍2

danielwinter83 2015年03月31日

また、「同期」と呼ばれるこの動作にも驚いていました。
私の特定のユースケースではこれを回避できますが、将来のユーザーは苦痛を免れることができます:)

unixmonkey 2015年05月06日

ディレクトリ構造を同期できるようになると+1！フォルダを削除すると、コンテンツのみが削除されますが、フォルダは残ります...

athurber 2015年05月06日

+1。私にも同じニーズがあります。

zioalex 2015年06月09日

+ 1-まだ実装されていないことに驚いています。確かに、私の場合はそれほど重要ではなく、回避することもできます（または、構造を作成するときにプレースホルダーファイルを使用するだけです）が、s3syncまたはs3cpのいずれかでサポートするだけでよいのです。

benjaminsherwood 2015年07月01日

s3cmd syncはフォルダ構造を保持しますが、同期中にアクセスを許可するときにいくつかの問題があるため、後で別のs3cmd setacl --recursiveを実行する必要があります…

cauboy 2015年07月20日

👍1

ntmggr 2015年07月27日

ghost 2015年07月30日

asdesilva 2015年08月13日

皆様からのフィードバックに感謝します。私が見た中で最良のオプションは、 --sync-empty-directoriesオプションを追加することだと思います。それをしましょう。

jamesls 2015年08月13日

👍4

@jamesls rsync機能のようなものを期待していますが、オブジェクトストレージとしてのs3は間違いなく同じではありません。

xbeta 2015年08月14日

makeittotop 2015年09月01日

mradochonski 2015年10月05日

この機能のタイムラインはありますか？

mradochonski 2015年10月05日

一時的な回避策として、空の.s3keepファイルを空のディレクトリに追加しました。これでうまくいきます。これは私が通常gitをだまして空のディレクトリを空のディレクトリとして扱わないようにするために使用するハックです:)

swarupdonepudi 2015年10月15日

これにより、S3の空のディレクトリを「削除/削除」することもできますか？

lcasey001 2015年10月29日

arcadas 2015年11月23日

andrefelipe 2015年12月01日

srirachapills 2016年01月18日

mputilin 2016年02月05日

ixtli 2016年02月19日

asyavuz 2016年02月21日

matteomelani 2016年03月31日

Darkyj 2016年04月06日

dijeesh 2016年04月15日

ghost 2016年05月01日

xam7247 2016年05月13日

it-marmalade 2016年05月17日

steven-klein 2016年05月26日

moradai 2016年06月07日

miggy282 2016年06月07日

👍1

_s3へのデータ移行中に多くの意味を持ちます。_

ritxos 2016年06月15日

thoralf-gutierrez 2016年06月23日

+1これで壊された... Arg...。

bdo-eow 2016年07月05日

murraybrad13 2016年07月07日

+10
ダミーファイルでこれを回避することは可能ですが、空のプレフィックスを強制的に同期させるオプションがあると、よりクリーンになります。

quater 2016年07月10日

+1。ユースケース：svnリポジトリのバックアップ。

より一般的には：
aws s3syncthing
aws s3 syncthings_copy

私はthing_copyがthingと完全に一致することを期待していました。

ghost 2016年07月11日

hesu 2016年07月13日

jumping 2016年07月25日

ghost 2016年08月18日

+1は空のディレクトリを削除する必要があります

carhensi 2016年08月26日

このオプション--sync-empty-directoriesの追加の進捗状況はどうですか？
AWSチームからのフィードバックはありますか？
ありがとう。

hierony94 2016年09月02日

👍14 ❤5

+1は、非常に便利なツールにとって非常に便利な機能です。

jimbocoder 2016年09月04日

👍2

SirR4T 2016年09月14日

+1（この機能が実装され、Github.comに問題/機能に「投票」するためのStackOverflow.comのようなインターフェイスがあることを願っています）。

Dulani 2016年10月14日

MatthewVance 2016年11月10日

VaughnLi 2016年11月15日

rrlino 2016年12月02日

realsby 2016年12月16日

amitlalani 2017年01月12日

2年以上経ってもまだ起こっていない..？それは今までにありますか？ = /

vesper8 2017年01月31日

👍7

MathieuMorrissette 2017年02月09日

sptessier 2017年02月24日

bobgon 2017年02月25日

giseongeom 2017年03月06日

+1000

barbarello 2017年03月11日

ekstro 2017年03月23日

これをどのように実装できるかについて掘り下げました。すべてのs3コマンドは、最終的にs3transferライブラリのTransferManagerを使用することになります。（ここで参照）

PutObjectを使用したフォルダーの追加をサポートするために、Bodyパラメーターで空の文字列を送信できます。しかし、これが公式にサポートされているかどうかはわかりません。私はこれをここに実装しました：
https://github.com/svleeuwen/s3transfer/commit/b7d3745a995a75c5262950bb798c8c57e481c2b3

続行する前に、メンテナからこれに関するフィードバックをお願いします。

svleeuwen 2017年03月28日

brooksandrew 2017年04月14日

私の解決策は、s3fsとrsyncを使用してバケットをs3マウントからホームディレクトリのディレクトリにマウントすることでした。

thenetimp 2017年04月14日

mohanen 2017年05月03日

😕5

+1は本当にこれが必要です...

w0203j 2017年05月20日

2014年からオープンしていますか？本当に？：面白くない：

nethershaw 2017年06月30日

👍5

nickgardos 2017年07月03日

harishpendela 2017年07月12日

opn1 2017年08月09日

mickrussom 2017年08月10日

thomassngdata 2017年09月07日

aaronovz1 2017年09月25日

sammerry 2017年09月26日

PD-123 2017年09月27日

amnobis 2017年09月27日

@thenetimpこのソリューションは、小さなバケットに適しています。 15TB以上のバケットを使用しています。 S3FSは、バケットが大きくなるとひどく遅くなります。

AukeTembrink 2017年10月13日

muchaohyy 2017年11月08日

おはよう！

AWS CLIに関連する機能リクエストのUserVoiceへの移行の一環として、この問題をGitHubでクローズします。

これにより、バグレポートで会話を薄めることなく、最も関心のある機能の検索とサポートの表示が簡単になり、最も重要な機能を取得できるようになります。

簡単なUserVoice入門書として（まだなじみがない場合）：アイデアが投稿された後、人々はアイデアに投票することができ、製品チームは最も人気のある提案に直接応答します。

GitHubから既存の機能リクエストをインポートしました-この問題をそこで検索してください！

そして心配しないでください、この問題は後世のためにGitHubにまだ存在します。元の投稿をUserVoiceにテキストのみでインポートするため、GitHubの問題に関してすでにここに存在するコメントとディスカッションを引き続き念頭に置いておく必要があります。

GitHubは、バグを報告するためのチャネルであり続けます。

繰り返しになりますが、この問題は、 https ：ます。

-AWS SDK＆Toolsチーム

このエントリは、UserVoiceのhttps://aws.uservoice.com/forums/598381-aws-command-line-interface/suggestions/33168436-aws-s3-sync-does-not-synchronize-s3-にあります。 folder-structu

ASayre 2018年02月06日

👎1

アンドレ、お疲れ様でした。問題を閉じて、問題に関係のないリンクを教えてください。すべての役に立たない投稿の

thenetimp 2018年02月06日

一般的な定型文は残念です。機能リクエストとバグレポートの境界線はかなりぼやけていると思います。ユーザーを節約するために、この機能リクエストのUserVoice投稿を検索する人は、 https：//aws.uservoice.com/forums/598381-aws-command-line-interface/suggestions/33168436-aws-s3-sync-does-notで入手でき

skwashd 2018年02月06日

コミュニティのフィードバックに基づいて、機能リクエストをGitHubの問題に返すことにしました。

jamesls 2018年04月07日

👍15 ❤4

mainframe 2018年06月05日

kipkoan 2018年06月17日

thugbeatz 2018年06月20日

tinyheero 2018年07月23日

shankar-moeng 2018年07月26日

Anvesh-Gurudu-Bose 2018年08月29日

+1。追加するのに良い機能になるでしょう。

mukteshkrmishra 2018年09月07日

👍1

khadrawy 2018年09月17日

schmite 2018年10月06日

同じ問題
awscli == 1.16.74

jqadev 2018年12月14日

foxel 2019年04月12日

-1

jriffel 2019年05月15日

aws s3 syncコマンドはすでに再帰的であるため、再帰的オプションは必要ありません。さらに、syncコマンドは、宛先にまだ存在しないもののみをコピーします。フォルダをポイントすると、ターゲットの宛先にまだ存在していない内部のすべてが再帰的に同期されます。これは、aws s3cpコマンドとは異なります。 cpコマンドは、ターゲットにすでに存在しているかどうかに関係なく、指示した内容をコピーします。 cp / mv / rbコマンドは、フォルダー/ファイルを再帰的にコピー/移動/削除するための--recursiveオプションを取ります。ありがとう