Aws-cli: aws s3 同步不会在本地同步 s3 文件夹结构

创建于 2014-09-12  ·  100评论  ·  资料来源: aws/aws-cli

即使我将其与 --delete 或 --recursive 参数一起使用，aws s3 同步也不会在本地完全同步 S3 文件夹结构：

aws --version
aws-cli / 1.4.3 Python / 2.7.6 Linux / 3.13.0-35-generic

$ aws s3 ls s3: //s3.testbucket
$ aws s3 ls s3: //s3.testbucket/
$ mkdir s3.testfolder
$ mkdir s3.testfolder / test1
$ aws s3 同步 ./s3.testfolder s3: //s3.testbucket/
$ aws s3 ls s3: //s3.testbucket/
$ touch s3.testfolder / test1 / 1
$ aws s3 同步 ./s3.testfolder/ s3: //s3.testbucket/
上传：s3.testfolder/test1/1 到 s3：//s3.testbucket/test1/1
$ aws s3 同步 ./s3.testfolder s3: //s3.testbucket/
$ mkdir ./s3.testfolder/test-to-delete
$ aws s3 同步 s3：//s3.testbucket/ ./s3.testfolder/ --delete --recursive
$ aws s3 同步 s3: //s3.testbucket/ ./s3.testfolder/ --delete
$ ls -lah ./s3.testfolder/
总共 60K
drwxrwxr-x 4 tobi tobi 4.0K szept 12 15:24。
drwx ------ 71 tobi tobi 44K szept 12 15:22 ..
drwxrwxr-x 2 tobi tobi 4.0K szept 12 15:23 test1
drwxrwxr-x 2 tobi tobi 4.0K szept 12 15:24 测试删除

$ aws s3 ls s3: //s3.testbucket/
预测试1 /

feature-request s3 s3sync
资料来源
picture tatobi
👍13

最有用的评论

根据社区反馈，我们决定将功能请求返回到 GitHub 问题。

picture jamesls 于 2018-04-07
👍15 ❤4

所有100条评论

这种行为是众所周知的。 sync命令以这种方式运行的原因是 s3 不实际使用目录。 只有桶和对象。 对象具有类似于目录的前缀，但 s3 并未将特定的物理对象指定为目录。

因此，当同步发生时，由于 s3 没有物理目录，因此只有文件传输到 s3。 因此，当您尝试同步空目录时，不会上传任何内容，因为其中没有文件。 将项目放入目录后，文件（带有代表目录的前缀）将被上传。

kyleknap picture kyleknap 于 2014-09-12
👎1 👍1

谢谢凯尔，很清楚。 我知道 S3 如何存储文件，但有时我们需要在几个地方使用相同的目录结构，即使有空的，或者如果我们不再需要就删除。
一个很好的例子，如果你有复杂的目录结构，本地有很多内容而不是同步到 S3。 之后，自动机制会定期将此结构同步到多个正在运行的实例。 您保持最新（删除）S3 中的大部分内容，然后自动重新同步到您之前使用过的地方。 不幸的是，您会发现原始的复杂目录结构永远保留在同步目标上，如果您想检查它或您的程序尝试使用这个空文件夹，这可能会导致混淆，因为您需要在任何地方始终相同。 此外，使用 --delete 选项使用它的人可能之前在 Linux 上使用了“rsync”等价物，它可以保持文件夹同步，因此依赖于相同的操作。
我认为实现 aws 工具的开关或选项以某种方式检测 S3 对象是否是文件或文件夹（列表、大小等）并在本地或 S3 存储桶中创建/删除它们并不难（例如列表（bucket.list（“”，“/”））？

tatobi picture tatobi 于 2014-09-12
👍6

那讲得通。 将考虑为它添加一个功能。

kyleknap picture kyleknap 于 2014-09-15
👍2

这对我们的情况也非常有用。 如果将其添加为选项（--sync-empty-directories），人们可以在需要时选择使用它。

ururk picture ururk 于 2014-11-21

+1 非常需要这个功能

xbeta picture xbeta 于 2015-01-15
👍3

+1。 想用它。

w32-blaster picture w32-blaster 于 2015-03-07
👍2

+1

danielwinter83 picture danielwinter83 于 2015-03-31

我也对这种行为感到惊讶，因为它被称为“同步”。
我可以在我的特定用例中解决这个问题，但未来的用户可以免于痛苦:)

unixmonkey picture unixmonkey 于 2015-05-06

+1 能够同步目录结构！ 如果您删除文件夹，它只会删除内容，但会将文件夹留在后面......

athurber picture athurber 于 2015-05-06

+1。 我也有同样的需求。

zioalex picture zioalex 于 2015-06-09

+1 - 令人惊讶的是尚未实施。 当然，在我的情况下它并不重要，我可以解决它（或者在创建结构时只使用占位符文件），但是让 s3 sync 或 s3 cp 支持它会很有好处。

benjaminsherwood picture benjaminsherwood 于 2015-07-01

+1

s3cmd sync确实保留了文件夹结构，但因此在同步时授予访问权限时存在一些问题，因此需要在之后运行另一个s3cmd setacl --recursive ...

cauboy picture cauboy 于 2015-07-20
👍1

+1

ntmggr picture ntmggr 于 2015-07-27

+1

ghost picture ghost 于 2015-07-30

+1

asdesilva picture asdesilva 于 2015-08-13

感谢大家的反馈。 我认为我见过的最好的选择是添加一个--sync-empty-directories选项。 让我们这样做。

jamesls picture jamesls 于 2015-08-13
👍4

@jamesls我期待有点像 rsync 功能，但 s3 作为对象存储绝对不一样。

xbeta picture xbeta 于 2015-08-14

+1

makeittotop picture makeittotop 于 2015-09-01

+1

mradochonski picture mradochonski 于 2015-10-05

此功能的任何时间表？

mradochonski picture mradochonski 于 2015-10-05

作为临时解决方法，我向空目录添加了一个空的 .s3keep 文件，它对我有用。 这是我通常用来欺骗 git 不将空目录视为空目录的 hack :)

swarupdonepudi picture swarupdonepudi 于 2015-10-15

这是否也允许在 S3 上“删除/删除”空目录？

lcasey001 picture lcasey001 于 2015-10-29

+1

arcadas picture arcadas 于 2015-11-23

+1

andrefelipe picture andrefelipe 于 2015-12-01

+1

srirachapills picture srirachapills 于 2016-01-18

+1

mputilin picture mputilin 于 2016-02-05

+1

ixtli picture ixtli 于 2016-02-19

+1

asyavuz picture asyavuz 于 2016-02-21

+1

matteomelani picture matteomelani 于 2016-03-31

+1

Darkyj picture Darkyj 于 2016-04-06

+1

dijeesh picture dijeesh 于 2016-04-15

+1

ghost picture ghost 于 2016-05-01

+1

xam7247 picture xam7247 于 2016-05-13

+1

it-marmalade picture it-marmalade 于 2016-05-17

+1

steven-klein picture steven-klein 于 2016-05-26

+1

moradai picture moradai 于 2016-06-07

+1

miggy282 picture miggy282 于 2016-06-07
👍1

+1

_在数据迁移到 s3 期间很有意义。_

ritxos picture ritxos 于 2016-06-15

+1

thoralf-gutierrez picture thoralf-gutierrez 于 2016-06-23

+1 刚刚被这个搞砸了... Arg ....

bdo-eow picture bdo-eow 于 2016-07-05

+1

murraybrad13 picture murraybrad13 于 2016-07-07

+10
可以使用虚拟文件解决此问题，但如果有一个选项可以强制使用空前缀进行同步，则会更清晰。

quater picture quater 于 2016-07-10

+1。 用例：备份 svn 存储库。

更普遍：
aws s3 同步的东西
aws s3 同步thing_copy

我希望 thing_copy 与事物完全匹配。

ghost picture ghost 于 2016-07-11

+1

hesu picture hesu 于 2016-07-13

+1

jumping picture jumping 于 2016-07-25

+1

ghost picture ghost 于 2016-08-18

+1 需要删除空目录

carhensi picture carhensi 于 2016-08-26

添加此选项--sync-empty-directories的进度如何？
AWS 团队的任何反馈？
谢谢。

hierony94 picture hierony94 于 2016-09-02
👍14 ❤5

+1 将是一个非常有用的工具的非常有用的功能

jimbocoder picture jimbocoder 于 2016-09-04
👍2

+1

SirR4T picture SirR4T 于 2016-09-14

+1（我也希望实现此功能，并希望 Github.com 有一个类似于 StackOverflow.com 的界面，用于对问题/功能进行“投票”）。

Dulani picture Dulani 于 2016-10-14

+1

MatthewVance picture MatthewVance 于 2016-11-10

+1

VaughnLi picture VaughnLi 于 2016-11-15

+1

rrlino picture rrlino 于 2016-12-02

+1

realsby picture realsby 于 2016-12-16

+1

amitlalani picture amitlalani 于 2017-01-12

2 年多后，它仍然没有发生..？ 它会永远吗？ =/

vesper8 picture vesper8 于 2017-01-31
👍7

+1

MathieuMorrissette picture MathieuMorrissette 于 2017-02-09

+1

sptessier picture sptessier 于 2017-02-24

+1

bobgon picture bobgon 于 2017-02-25

+1

giseongeom picture giseongeom 于 2017-03-06

+1000

barbarello picture barbarello 于 2017-03-11

+1

ekstro picture ekstro 于 2017-03-23

我对如何实现这一点进行了一些挖掘。 所有 s3 命​​令最终都使用s3transfer库中的TransferManager 。 （参考这里）

为了支持使用 PutObject 添加文件夹，我们可以在 Body 参数中发送一个空字符串。 我不知道这是否得到官方支持。 我在这里实现了这个：
https://github.com/svleeuwen/s3transfer/commit/b7d3745a995a75c5262950bb798c8c57e481c2b3

在继续之前，我想从维护者那里得到一些反馈。

svleeuwen picture svleeuwen 于 2017-03-28

+1

brooksandrew picture brooksandrew 于 2017-04-14

我的解决方案是使用 s3fs 和 rsync 将我的存储桶从 s3 挂载到我的主目录中的目录。

thenetimp picture thenetimp 于 2017-04-14

+1

mohanen picture mohanen 于 2017-05-03
😕5

+1 真的需要这个...

w0203j picture w0203j 于 2017-05-20

+1

从 2014 年开始营业？ 真的吗？ :无趣:

nethershaw picture nethershaw 于 2017-06-30
👍5

+1

nickgardos picture nickgardos 于 2017-07-03

+1

harishpendela picture harishpendela 于 2017-07-12

+1

opn1 picture opn1 于 2017-08-09

+1

mickrussom picture mickrussom 于 2017-08-10

+1

thomassngdata picture thomassngdata 于 2017-09-07

+1

aaronovz1 picture aaronovz1 于 2017-09-25

+1

sammerry picture sammerry 于 2017-09-26

+1

PD-123 picture PD-123 于 2017-09-27

+1

amnobis picture amnobis 于 2017-09-27

@thenetimp此解决方案适用于

AukeTembrink picture AukeTembrink 于 2017-10-13

+1

muchaohyy picture muchaohyy 于 2017-11-08

早上好！

我们将在 GitHub 上关闭此问题，作为我们迁移到UserVoice以处理涉及 AWS CLI 的功能请求的一部分。

这将使我们能够为您提供最重要的功能，让您更轻松地搜索和显示对您最关心的功能的支持，而不会因错误报告而淡化对话。

作为 UserVoice 的快速入门（如果还不熟悉的话）：发布想法后，人们可以对想法进行投票，产品团队将直接对最受欢迎的建议做出回应。

我们已经从 GitHub 导入了现有的功能请求 - 在那里搜索这个问题！

别担心，为了后代，这个问题仍然存在于 GitHub 上。 由于它是将原始帖子仅以文本形式导入 UserVoice，因此我们仍会牢记 GitHub 问题上已经存在的评论和讨论。

GitHub 将继续作为报告错误的渠道。

再次，现在可以通过在以下位置搜索标题找到此问题： https :

-AWS 开发工具包和工具团队

此条目可以在 UserVoice 上特别找到： https :

ASayre picture ASayre 于 2018-02-06
👎1

干得好安德烈，关闭一个问题并给我们一个与该问题无关的链接。 在所有无用的帖子中

thenetimp picture thenetimp 于 2018-02-06

通用样板令人失望。 我认为功能请求和错误报告之间的界限可能非常模糊。 为了节省一些人搜索 UserVoice 帖子以获取此功能请求，请访问https://aws.uservoice.com/forums/598381-aws-command-line-interface/suggestions/33168436-aws-s3-sync-does-not -synchronize-s3-folder-structu

skwashd picture skwashd 于 2018-02-06

根据社区反馈，我们决定将功能请求返回到 GitHub 问题。

jamesls picture jamesls 于 2018-04-07
👍15 ❤4

+1

mainframe picture mainframe 于 2018-06-05

+1

kipkoan picture kipkoan 于 2018-06-17

+1

thugbeatz picture thugbeatz 于 2018-06-20

+1

tinyheero picture tinyheero 于 2018-07-23

+1

shankar-moeng picture shankar-moeng 于 2018-07-26

+1

Anvesh-Gurudu-Bose picture Anvesh-Gurudu-Bose 于 2018-08-29

+1。 添加一个不错的功能。

mukteshkrmishra picture mukteshkrmishra 于 2018-09-07
👍1

+1

khadrawy picture khadrawy 于 2018-09-17

+1

schmite picture schmite 于 2018-10-06

同样的问题
awscli==1.16.74

jqadev picture jqadev 于 2018-12-14

+1

foxel picture foxel 于 2019-04-12

-1

jriffel picture jriffel 于 2019-05-15

aws s3 同步命令已经是递归的，所以不需要递归选项，此外同步命令只复制目标上不存在的东西。 如果您指向一个文件夹，它将递归同步目标目的地上尚不存在的所有内容。 这与 aws s3 cp 命令不同。 cp 命令复制你告诉它的任何内容，不管它是否已经存在于目标上。 cp/ mv/ rb 命令采用 --recursive 选项来递归复制/移动/删除文件夹/文件。 谢谢

3ggaurav picture 3ggaurav 于 2019-05-27
❤1 👎1 👍1

@3ggaurav这个问题最初来自 2014 年，当时我记得sync有一个--recursive选项。

此外，如果您要逐字引用堆栈溢出答案，通常最好参考/给予信用。

堆栈溢出答案在这里。

k3ypad picture k3ypad 于 2019-06-06
👍3 👀2 ❤2 🎉2

在这方面仍然没有进展吗？

aryus96 picture aryus96 于 2020-06-08

+1

Degraund picture Degraund 于 2020-11-18
此页面是否有帮助？
0 / 5 - 0 等级

相关问题

kangman picture kangman  ·  3评论
levequej picture levequej  ·  3评论
hapx101 picture hapx101  ·  3评论
rahul003 picture rahul003  ·  3评论
braddr picture braddr  ·  3评论