我们有一个非常奇怪的问题。 我们正在将大型（10M）文件从EC2实例上载到同一区域中的S3存储桶。 我们将aws s3 cp用于上传角色，并将实例角色用于身份验证。
如果我们使用m1.small EC2实例，则上传正常。 但是，如果我们增加实例大小（我们尝试了m1.large和m3.large ），则上传失败。
这是我们得到的错误：
upload failed: <file> to <s3-address>
HTTPSConnectionPool(host='<bucket>.s3.amazonaws.com', port=443): Max retries exceeded with url: <s2-key>?partNumber=2&uploadId=Hw6FZhXeH03ZzzCtxu2XcsspmpN2lx83GxWGzrJ96I81XlajjjNCxsSj0vs0BIbf_xJmzfdZwZY_UzUL3NCT57rpqEwIuLD1qryr7KKjlR6rA0YIW_ltopZQkoo32i0qTPUAlBc55WRAYxjwJ8Iw1A-- (Caused by <class 'socket.error'>: [Errno 104] Connection reset by peer)
这是完全可复制的-经过数十次尝试，我们从未成功上传过此类文件。 我们从未在数百次尝试的m1.small实例上看到问题。
我们遇到了10M文件的问题。 我们发现它可以重现至大约1M。 远不止于此，每次都能正常工作。
任何关于正在发生的事情的想法将不胜感激。
benbc
所有41条评论
您正在使用什么版本的CLI？ 看起来像https://github.com/aws/aws-cli/pull/594 ，已在1.2.11中修复。
jamesls
于 2014-02-06
实际上，这个问题是关于下载的，而这个问题是关于上传的，因此可能是一个不同的问题。 我需要进一步研究。 如果您可以提供--debug日志，这将有助于解决问题。
另外，您一次上传了大约10M个文件？
jamesls
于 2014-02-06
我从笔记本电脑（OSX特立独行者）上传到s3时也遇到了问题。 424KB文件失败，
并且一个344KB的文件起作用了。 我一次上传一个文件，具有以下版本：
awscli==1.2.13
boto==2.24.0
botocore==0.33.0
错误与原始帖子相同：
upload failed: ./test to s3://<bucket>/deploys/test HTTPSConnectionPool(host='bnch.s3.amazonaws.com', port=443): Max retries exceeded with url: /deploys/test (Caused by <class 'socket.error'>: [Errno 32] Broken pipe)
我用--debug来运行它，这是继续重试的部分：
2014-02-06 21:20:17,138 - botocore.retryhandler - DEBUG - Retry needed, action of: 3.28890874908
2014-02-06 21:20:17,138 - botocore.endpoint - DEBUG - Response received to retry, sleeping for 3.28890874908 seconds
2014-02-06 21:20:20,428 - botocore.awsrequest - DEBUG - Rewinding stream: <open file u'<redacted>/test', mode 'rb' at 0x101dc6c90>
2014-02-06 21:20:20,428 - botocore.endpoint - DEBUG - Sending http request: <PreparedRequest [PUT]>
2014-02-06 21:20:20,429 - botocore.vendored.requests.packages.urllib3.connectionpool - INFO - Starting new HTTPS connection (4): <bucket>.s3.amazonaws.com
2014-02-06 21:20:21,693 - botocore.hooks - DEBUG - Event needs-retry.s3.PutObject: calling handler <botocore.retryhandler.RetryHandler object at 0x101e0d550>
2014-02-06 21:20:21,693 - botocore.retryhandler - DEBUG - retry needed, retryable exception caught: HTTPSConnectionPool(host='<bucket>.s3.amazonaws.com', port=443): Max retries exceeded with url: /deploys/test (Caused by <class 'socket.error'>: [Errno 32] Broken pipe)
Traceback (most recent call last):
File "<redacted>/lib/python2.7/site-packages/botocore/retryhandler.py", line 262, in _should_retry
return self._checker(attempt_number, response, caught_exception)
File "<redacted>/lib/python2.7/site-packages/botocore/retryhandler.py", line 310, in __call__
caught_exception)
File "<redacted>/lib/python2.7/site-packages/botocore/retryhandler.py", line 219, in __call__
return self._check_caught_exception(attempt_number, caught_exception)
File "<redacted>/lib/python2.7/site-packages/botocore/retryhandler.py", line 352, in _check_caught_exception
raise caught_exception
ConnectionError: HTTPSConnectionPool(host='<bucket>.s3.amazonaws.com', port=443): Max retries exceeded with url: /deploys/test (Caused by <class 'socket.error'>: [Errno 32] Broken pipe)
2014-02-06 21:20:21,693 - botocore.retryhandler - DEBUG - Retry needed, action of: 2.598356941
2014-02-06 21:20:21,693 - botocore.endpoint - DEBUG - Response received to retry, sleeping for 2.598356941 seconds
2014-02-06 21:20:24,293 - botocore.awsrequest - DEBUG - Rewinding stream: <open file u'<redacted>/test', mode 'rb' at 0x101dc6c90>
2014-02-06 21:20:24,293 - botocore.endpoint - DEBUG - Sending http request: <PreparedRequest [PUT]>
2014-02-06 21:20:24,294 - botocore.vendored.requests.packages.urllib3.connectionpool - INFO - Starting new HTTPS connection (5): <bucket>.s3.amazonaws.com
2014-02-06 21:20:25,888 - botocore.hooks - DEBUG - Event needs-retry.s3.PutObject: calling handler <botocore.retryhandler.RetryHandler object at 0x101e0d550>
2014-02-06 21:20:25,888 - awscli.customizations.s3.tasks - DEBUG - <redacted>/test upload failure: HTTPSConnectionPool(host='<bucket>.s3.amazonaws.com', port=443): Max retries exceeded with url: /deploys/test (Caused by <class 'socket.error'>: [Errno 32] Broken pipe)
2014-02-06 21:20:25,888 - botocore.operation - DEBUG - Operation:PutObject called with kwargs: {'body': <open file u'<redacted>/test', mode 'rb' at 0x101e61d20>, 'bucket': u'<bucket>', 'key': u'deploys/test'}
2014-02-06 21:20:25,889 - botocore.endpoint - DEBUG - Making request for Operation:PutObject (verify_ssl=True) with params: {'headers': {}, 'uri_params': {u'Bucket': u'<bucket>', u'Key': u'deploys/test'}, 'payload': <botocore.payload.Payload object at 0x101fc3ed0>}
2014-02-06 21:20:25,889 - botocore.endpoint - DEBUG - Building URI for rest endpoint.
2014-02-06 21:20:25,889 - botocore.endpoint - DEBUG - Templated URI path: /{Bucket}/{Key}
2014-02-06 21:20:25,889 - botocore.endpoint - DEBUG - Templated URI query_params:
2014-02-06 21:20:25,889 - botocore.endpoint - DEBUG - Rendered path: /<bucket>/deploys/test
2014-02-06 21:20:25,889 - botocore.endpoint - DEBUG - Rendered query_params:
2014-02-06 21:20:25,890 - botocore.hooks - DEBUG - Event before-auth.s3: calling handler <function fix_s3_host at 0x101b24410>
2014-02-06 21:20:25,890 - botocore.handlers - DEBUG - Checking for DNS compatible bucket for: https://s3-us-west-2.amazonaws.com/<bucket>/deploys/test
2014-02-06 21:20:25,890 - botocore.handlers - DEBUG - URI updated to: https://<bucket>.s3.amazonaws.com/deploys/test
2014-02-06 21:20:25,890 - botocore.auth - DEBUG - Calculating signature using hmacv1 auth.
2014-02-06 21:20:25,890 - botocore.auth - DEBUG - HTTP request method: PUT
2014-02-06 21:20:25,890 - botocore.auth - DEBUG - StringToSign:
PUT
Fri, 07 Feb 2014 05:20:25 GMT
/<bucket>/deploys/test
2014-02-06 21:20:25,891 - botocore.endpoint - DEBUG - Sending http request: <PreparedRequest [PUT]>
2014-02-06 21:20:25,891 - botocore.vendored.requests.packages.urllib3.connectionpool - INFO - Starting new HTTPS connection (6): <bucket>.s3.amazonaws.com
2014-02-06 21:20:27,373 - botocore.hooks - DEBUG - Event needs-retry.s3.PutObject: calling handler <botocore.retryhandler.RetryHandler object at 0x101e0d550>
2014-02-06 21:20:27,374 - botocore.retryhandler - DEBUG - retry needed, retryable exception caught: HTTPSConnectionPool(host='<bucket>.s3.amazonaws.com', port=443): Max retries exceeded with url: /deploys/test (Caused by <class 'socket.error'>: [Errno 32] Broken pipe)
Traceback (most recent call last):
File "<redacted>/lib/python2.7/site-packages/botocore/retryhandler.py", line 262, in _should_retry
return self._checker(attempt_number, response, caught_exception)
File "<redacted>/lib/python2.7/site-packages/botocore/retryhandler.py", line 310, in __call__
caught_exception)
File "<redacted>/lib/python2.7/site-packages/botocore/retryhandler.py", line 219, in __call__
return self._check_caught_exception(attempt_number, caught_exception)
File "<redacted>/lib/python2.7/site-packages/botocore/retryhandler.py", line 352, in _check_caught_exception
raise caught_exception
ConnectionError: HTTPSConnectionPool(host='<bucket>.s3.amazonaws.com', port=443): Max retries exceeded with url: /deploys/test (Caused by <class 'socket.error'>: [Errno 32] Broken pipe)
2014-02-06 21:20:27,374 - botocore.retryhandler - DEBUG - Retry needed, action of: 0.627294998584
2014-02-06 21:20:27,374 - botocore.endpoint - DEBUG - Response received to retry, sleeping for 0.627294998584 seconds
joshma
于 2014-02-07
我们正在使用1.2.13版。 这些文件中大约有200个要上传，但我们是连续进行的。 问题总是发生在第一个。
这是您要求的失败的调试日志： https :
benbc
于 2014-02-07
关于此问题是否有任何更新。 我看到尝试上传到新创建的存储桶的问题完全相同。
zindello
于 2014-03-07
是的，我相信应该在1.3.0版中对此进行修复。 我认为根本原因与https://github.com/aws/aws-cli/issues/544相同
您可以尝试使用最新的CLI版本吗？ 如果您仍然遇到问题，请附加--debug日志，我将再次提出问题。
jamesls
于 2014-03-07
我仍然有这个问题上传到s3，无论是从我的笔记本电脑还是从debian服务器上载。文件约为100MB。 我一次上传一个文件，具有以下版本：
aws-cli/1.3.1 Python/2.7.3 Linux/3.2.0-4-amd64
aws-cli/1.3.1 Python/2.7.5 Darwin/13.0.0
这是我遇到的问题：
Max retries exceeded with url: <myfile>?partNumber=13&uploadId=bR1a29GdR1Qb0CW4fSDv9Vvi4PKJLF3eizWErF1SGvuMxUAh4vmHLmVQ7XjVSsFGmQi0N1U8KX5dR1uukEAMaAS8JxoQA89nJN2FFmQu2MRzIlrIzeMr4re5Zwvn3Hvv.n9IKm.OXOqy4NN87yohIA-- (Caused by <class 'socket.error'>: [Errno 104] Connection reset by peer)
这是调试日志：
Wed, 19 Mar 2014 03:28:03 GMT
/<mybucket>/<myfile>?partNumber=9&uploadId=psq_ysXJSW9eplwLTW97ueGw1BMzG2qEXVoP9XiQsm06RP0_N_J_qPS1vZf4OOj0W33Bwdey2w4KNsbEltH_GIWO3jOQbcP64MEfTMd.OSUVsmZKsMIWCxZoqdbmspb1bD0YzAbG92F9R8pQQrXdkA--
2014-03-19 11:28:03,343 - botocore.endpoint - DEBUG - Sending http request: <PreparedRequest [PUT]>
partNumber=8&uploadId=psq_ysXJSW9eplwLTW97ueGw1BMzG2qEXVoP9XiQsm06RP0_N_J_qPS1vZf4OOj0W33Bwdey2w4KNsbEltH_GIWO3jOQbcP64MEfTMd.OSUVsmZKsMIWCxZoqdbmspb1bD0YzAbG92F9R8pQQrXdkA-- (Caused by <class 'socket.error'>: [Errno 104] Connection reset by peer)
Traceback (most recent call last):
File "/usr/local/lib/python2.7/dist-packages/botocore/retryhandler.py", line 262, in _should_retry
return self._checker(attempt_number, response, caught_exception)
File "/usr/local/lib/python2.7/dist-packages/botocore/retryhandler.py", line 310, in __call__
caught_exception)
File "/usr/local/lib/python2.7/dist-packages/botocore/retryhandler.py", line 219, in __call__
return self._check_caught_exception(attempt_number, caught_exception)
File "/usr/local/lib/python2.7/dist-packages/botocore/retryhandler.py", line 352, in _check_caught_exception
raise caught_exception
ConnectionError: HTTPSConnectionPool(host='<mybucket>.s3.amazonaws.com', port=443): Max retries exceeded with url: /<myfile>?partNumber=8&uploadId=psq_ysXJSW9eplwLTW97ueGw1BMzG2qEXVoP9XiQsm06RP0_N_J_qPS1vZf4OOj0W33Bwdey2w4KNsbEltH_GIWO3jOQbcP64MEfTMd.OSUVsmZKsMIWCxZoqdbmspb1bD0YzAbG92F9R8pQQrXdkA-- (Caused by <class 'socket.error'>: [Errno 104] Connection reset by peer)
2014-03-19 11:28:05,374 - botocore.retryhandler - DEBUG - Retry needed, action of: 0.41042383996
2014-03-19 11:28:05,374 - botocore.endpoint - DEBUG - Response received to retry, sleeping for 0.41042383996 seconds
2014-03-19 11:28:05,579 - botocore.hooks - DEBUG - Event needs-retry.s3.UploadPart: calling handler <botocore.retryhandler.RetryHandler object at 0x308bfd0>
2014-03-19 11:28:05,580 - botocore.retryhandler - DEBUG - retry needed, retryable exception caught: HTTPSConnectionPool(host=<mybucket>.s3.amazonaws.com', port=443): Max retries exceeded with url: /<myfile>?partNumber=1&uploadId=psq_ysXJSW9eplwLTW97ueGw1BMzG2qEXVoP9XiQsm06RP0_N_J_qPS1vZf4OOj0W33Bwdey2w4KNsbEltH_GIWO3jOQbcP64MEfTMd.OSUVsmZKsMIWCxZoqdbmspb1bD0YzAbG92F9R8pQQrXdkA-- (Caused by <class 'socket.error'>: [Errno 104] Connection reset by peer)
Traceback (most recent call last):
File "/usr/local/lib/python2.7/dist-packages/botocore/retryhandler.py", line 262, in _should_retry
return self._checker(attempt_number, response, caught_exception)
File "/usr/local/lib/python2.7/dist-packages/botocore/retryhandler.py", line 310, in __call__
caught_exception)
File "/usr/local/lib/python2.7/dist-packages/botocore/retryhandler.py", line 219, in __call__
return self._check_caught_exception(attempt_number, caught_exception)
File "/usr/local/lib/python2.7/dist-packages/botocore/retryhandler.py", line 352, in _check_caught_exception
raise caught_exception
ConnectionError: HTTPSConnectionPool(host='<mybucket>.s3.amazonaws.com', port=443): Max retries exceeded with url: /<myfile>?partNumber=1&uploadId=psq_ysXJSW9eplwLTW97ueGw1BMzG2qEXVoP9XiQsm06RP0_N_J_qPS1vZf4OOj0W33Bwdey2w4KNsbEltH_GIWO3jOQbcP64MEfTMd.OSUVsmZKsMIWCxZoqdbmspb1bD0YzAbG92F9R8pQQrXdkA-- (Caused by <class 'socket.error'>: [Errno 104] Connection reset by peer)
hola8352
于 2014-03-19
仍然在新存储桶上使用aws cp和aws sync看到此问题。 较小的文件没有问题，较大的文件可靠地失败，如此处和＃544所述
aws --version
aws-cli/1.3.3 Python/2.7.5+ Linux/3.8.0-35-generic
>>> print botocore.__version__
>>> 0.37.0
upload failed: ./file.tar.gz to s3://mybucket/file.tar.gz
HTTPSConnectionPool(host='mybucket.s3.amazonaws.com', port=443): Max retries exceeded with url: /file.tar.gz?partNumber=... (Caused by <class 'socket.error'>: [Errno 104] Connection reset by peer)
curl https://mybucket.s3.amazonaws.com
<?xml version="1.0" encoding="UTF-8"?>
<Error><Code>TemporaryRedirect</Code><Message>Please re-send this request to the specified temporary endpoint. Continue to use the original request endpoint for future requests.</Message><RequestId>...</RequestId><Bucket>mybucket</Bucket><HostId>...</HostId><Endpoint>mybucket.s3-us-west-1.amazonaws.com</Endpoint></Error>
here
于 2014-03-26
正如其他人所报道的那样，在TemporaryRedirect代码清除后，现在可以正常使用了-
$ curl https://mybucket.s3.amazonaws.com
<?xml version="1.0" encoding="UTF-8"?>
<Error><Code>AccessDenied</Code><Message>Access Denied</Message><RequestId>...</RequestId><HostId>...</HostId></Error>%
我在新的爱尔兰存储桶上仍然遇到版本1.3.4的问题。
ubuntu@ip-172-31-40-164:~$ aws --version
aws-cli/1.3.4 Python/2.7.5+ Linux/3.11.0-15-generic
调试日志： https :
corruptmem
于 2014-03-27
使用'aws s3 sync'时对我来说是同样的错误
$ aws --version
aws-cli / 1.3.4 Python / 2.7.3 Linux / 3.2.0-57-virtual
我的水桶在爱尔兰。
调试日志： https ：//paste.buntux.org/
编辑：我在“美国标准”区域的存储桶上进行了测试->没问题
edit2：调试日志的新URL https://paste.jeekajoo.eu/?c511ef0a27305636#e1/B5RiyBuZq60LHmLNpZt59wz2zDyY2KVdjCM + mO7E =
jeekajoo
于 2014-03-28
我正在重新打开这个问题。 调试之后，我可以确认其他人说了什么。 尝试将大文件上传到不在经典区域中的新创建的存储桶时，会出现此问题。
据我所知，CLI正确地重试了请求并进行了307次重定向。 但是，问题是CLI发送_entire_请求，然后等待响应。 但是，S3将在我们完成发送正文之前立即发送307响应。 最终，它只会关闭连接，如果我们仍在流式处理正文中，我们将看不到响应。 相反，我们得到ConnectionError，如上面的各种调试日志所示。
解决此问题的正常方法是使用Expect 100 Continue标头。 但是，我们使用的HTTP客户端（请求）不支持此功能。 可能有一种方法可以解决此问题，但是我需要深入研究请求库，以查看解决此问题的最佳方法。
了解更多信息后，我将更新此问题。
jamesls
于 2014-04-18
任何新闻？
pex
于 2014-05-21
我的测试表明，即使boto库出现故障，AWS CLI也可以正常工作。 AWS CLI有何不同之处？
mjpan
于 2014-05-21
我认为在请求库中没有任何解决方法。 我认为我们的最佳选择（除了编写自己的支持100连续的HTTP客户端）是S3代码中的一些特定解决方法。
jamesls
于 2014-05-22
我也刚打过我的文件不大，只有几兆字节。
pwaller
于 2014-05-27
使用323KB CSS文件获取此文件。
danielsamuels
于 2014-05-27
对此进行修复的工作将在我有更多信息时更新。
jamesls
于 2014-05-28
将大文件（3GB）上载到S3时遇到相同的问题。 上传小文件就可以了。
upload failed: ../../tmp/anonymousAction.log.2014-05-12.tokyo1b-http-4-1.20140513T003001 to s3://between-data-analysis-temp/anonymousAction.log.2014-05-12.tokyo1b-http-4-1.20140513T003001
HTTPSConnectionPool(host='between-data-analysis-temp.s3.amazonaws.com', port=443): Max retries exceeded with url: /anonymousAction.log.2014-05-12.tokyo1b-http-4-1.20140513T003001?partNumber=6&uploadId=Wdj8309FlXToB8mXw6JHnz8Xf8f4ADIC2SiaM3a6foSDJXH9t7xLk2uFK_EgTtjMn.OyCWdTJjP9al3rgISEltpMwj9j77Irfjc5wqssG2zgnUKhXM2gEUU5QfAuH0kuJNg8deDipYvwBkE0r7k3Qw-- (Caused by <class 'socket.error'>: [Errno 104] Connection reset by peer)
...
我的aws版本；
aws-cli / 1.3.13 Python / 2.7.3 Linux / 3.2.0-61-virtual
swkimme
于 2014-05-28
当我们通过特定的存储API进行工作时，我间歇性地使用请求库间歇性地遇到了类似的问题（每20个文件中大约有1个文件，文件大约500MB）。 这是从EC2实例上传的。
File "/data/opi/upload.py", line 174, in upload
response = requests.put(url, data=data, **kwargs)
File "/usr/local/lib/python2.7/dist-packages/requests-2.1.0-py2.7.egg/requests /api.py", line 99, in put
return request('put', url, data=data, **kwargs)
File "/usr/local/lib/python2.7/dist-packages/requests-2.1.0-py2.7.egg/requests /api.py", line 44, in request
return session.request(method=method, url=url, **kwargs)
File "/usr/local/lib/python2.7/dist-packages/requests-2.1.0-py2.7.egg/requests /sessions.py", line 382, in request
resp = self.send(prep, **send_kwargs)
File "/usr/local/lib/python2.7/dist-packages/requests-2.1.0-py2.7.egg/requests /sessions.py", line 485, in send
r = adapter.send(request, **kwargs)
File "/usr/local/lib/python2.7/dist-packages/requests-2.1.0-py2.7.egg/requests /adapters.py", line 372, in send
raise ConnectionError(e)
requests.exceptions.ConnectionError: HTTPSConnectionPool(host='our-bucket.s3.amazonaws.com', port=443): Max retries exceeded with url: /folder/subfolder/filename?Signature=XXX&Expires=1401262800&AWSAccessKeyId=YYY -amz-acl=private (Caused by <class 'socket.error'>: [Errno 104] Connection reset by peer)
sd2k
于 2014-05-28
只是一个更新，仍在进行此操作。 到目前为止，最可行的方法是将HTTPConnection子类化，并尝试在我们的子类中实现期望的100个连续逻辑。 然后，我们将其放入urllib3的连接池中，该连接池将由请求（这是我们使用的http库）提取。
因此，我相信我有潜在的解决方案，但需要更多测试。 当我有更多信息时将更新。
jamesls
于 2014-05-30
@jamesls一旦有公共分支要测试，我将使用它:)
pwaller
于 2014-05-30
嗨，您好，
由于未在线程中明确说明它，因此您仍然可以通过指定--region参数，使用“ aws”命令将文件上传到另一个区域。
- 这个失败
aws s3 cp ./really_big_file s3：// MY-BUCKET / - 这个作品
aws --region eu-west-1 s3 cp ./really_big_file s3：// MY-BUCKET /
jan-carreras
于 2014-06-03
@ inedit00谢谢！ 我不知道这与问题有关。
pwaller
于 2014-06-03
修复程序在这里： https :
但是我想对此做更多的测试。 我还想看看将期望的100个连续标头发送给perf会发生什么。
jamesls
于 2014-06-06
从本地复制大文件（〜3GB）到S3（爱尔兰）时，也会出现此错误。 使用aws-cli / 1.3.17 Python / 2.6.6 Linux / 2.6.32-71.29.1.el6.x86_64和botocore 0.51.0。
nylund
于 2014-06-17
只是快速更新，此问题的解决方法是在boto / botocore＃303中进行的，但是我们只在python2.6中捕获到了回归，因此我们不得不还原PR。
我认为仍然可以解决此问题，但是由于httplib从python2.6到> python2.6的内部更改，它的侵入性会稍强一些。 当我有更多信息时，我将对其进行更新。
jamesls
于 2014-06-17
我能够在以前的PR中修复python2.6问题，以解决此问题。 所有测试都通过了此更改，并且我可以确认这解决了无法将大文件上传到新创建的非标准S3存储桶的问题。 如果您仍然遇到问题，请告诉我，感谢您在我们解决此问题期间的耐心配合。
jamesls
于 2014-06-20
感谢您修复@jamesls。 此修复程序将在哪个awscli版本中发布？
benbc
于 2014-06-23
在最新版本的CLI（v1.3.18）中可用。
另外，如果将来有人需要调试它，您将看到与期望的100 Continue标头相关的调试日志：
2014-06-23 10:40:32,495 - Thread-4 - botocore.hooks - DEBUG - Event before-call.s3.UploadPart: calling handler <function add_expect_header at 0x10d3469b0>
2014-06-23 10:40:32,495 - Thread-4 - botocore.handlers - DEBUG - Adding expect 100 continue header to request.
2014-06-23 10:40:32,500 - Thread-4 - botocore.endpoint - DEBUG - Sending http request: <PreparedRequest [PUT]>
2014-06-23 10:40:32,502 - Thread-4 - botocore.awsrequest - DEBUG - Waiting for 100 Continue response.
2014-06-23 10:40:32,506 - Thread-4 - botocore.awsrequest - DEBUG - Received a non 100 Continue response from the server, NOT sending request body.
2014-06-23 10:40:32,512 - Thread-4 - botocore.awsrequest - DEBUG - Redirect received, rewinding stream: <awscli.customizations.s3.utils.ReadFileChunk object at 0x10d7f1450>
2014-06-23 10:40:32,512 - Thread-4 - botocore.awsrequest - DEBUG - Rewinding stream: <awscli.customizations.s3.utils.ReadFileChunk object at 0x10d7f1450>
2014-06-23 10:40:32,513 - Thread-4 - botocore.awsrequest - DEBUG - Waiting for 100 Continue response.
2014-06-23 10:40:32,533 - Thread-4 - botocore.awsrequest - DEBUG - 100 Continue response seen, now sending request body.
...
2014-06-23 10:40:34,530 - Thread-4 - awscli.errorhandler - DEBUG - HTTP Response Code: 200
我相信这仍然是＃823的问题。
ErikEvenson
于 2014-06-24
看起来像是另外一个问题。 errno特别不同。
kevin-canadian
于 2014-06-24
有同样的问题。
upload failed: images1/1103/142_b2d35e8005321b582ce891ca835df65d_75.jpg to s3://opgirl-v2/images/images1/1103/142_b2d35e8005321b582ce891ca835df65d_75.jpg A client error (RequestTimeout) occurred when calling the PutObject operation: Your socket connection to the server was not read from or written to within the timeout period. Idle connections will be closed.
Cleaning up. Please wait...
upload failed: images1/1103/142_d0754d4c8708dc2d7c68cc27da2ad2fa_100.jpg to s3://opgirl-v2/images/images1/1103/142_d0754d4c8708dc2d7c68cc27da2ad2fa_100.jpg The write operation timed out
upload failed: images1/1103/1430_0a6a493f08b693789cba32fbbc6ade83_75.jpg to s3://opgirl-v2/images/images1/1103/1430_0a6a493f08b693789cba32fbbc6ade83_75.jpg ('Connection aborted.', error(104, 'Connection reset by peer'))
# aws --version
aws-cli/1.9.15 Python/2.6.6 Linux/3.2.0-0.bpo.1-amd64 botocore/1.3.15
达到AWS s3的性能极限了吗？
https://stackoverflow.com/questions/23397460/error-handling-boto-error-104-connection-reset-by-peer
KeithTt
于 2018-04-24
我遇到了同样的问题。 这个线程很旧。 这个问题还在调查中吗？
('Connection aborted.', ConnectionResetError(104, 'Connection reset by peer'))
# aws --version
aws-cli/1.11.13 Python/3.5.2 Linux/4.4.0-1055-aws botocore/1.4.70
jaakkovarjo
于 2018-04-26
面对同样的问题
``
aws s3 cp /opt/tradetracker/dataStream/tracker-hits-2018-04-30_11:00:00.log s3：// tt-feeder-dumps
上传失败：../ dataStream / tracker-hits-2018-04-30_11：00：00.log到s3：// tt-feeder-dumps / tracker-hits-2018-04-30_11：00：00.log（ “连接已中止。”，ConnectionResetError（104，“对等方重置连接”））
ls -hal /opt/tradetracker/dataStream/tracker-hits-2018-04-30_11:00:00.log
-rw-rw-rw-1 1 www-data www-data 13M Apr 30 13:56 /opt/tradetracker/dataStream/tracker-hits-2018-04-30_11:00:00.log
aws --version
aws-cli / 1.11.13 Python / 3.5.2 Linux / 4.4.0-1049-aws botocore / 1.4.70
``
adilbaig
于 2018-05-01
同上。 +1
档案大小：1G
aws-cli/1.15.12 Python/3.4.3 Linux/4.4.0-71-generic botocore/1.10.12
对于我的设置，可以通过以下方法解决：
s3 =
max_concurrent_requests = 5
最大带宽= 210KB / s
在我使用的配置文件的.aws / config文件中。 看到这里： https :
bilyum
于 2018-05-03
当我尝试使用boto3 python包将文件上传到s3存储桶时，我也遇到了同样的问题。
直到大约4天前，它一直都可以正常工作，此后便出现上传问题。
CSRaghunandan
于 2018-06-18
我在eu-west-1地区新建的存储分区也遇到了同样的问题。
使用的命令：
aws s3 sync . s3://<bucket_name> --profile test --region eu-west-1
$ aws --version
aws-cli/1.11.13 Python/3.5.2 Linux/4.13.0-45-generic botocore/1.4.70
uldall
于 2018-06-19
这个问题与我连接的网络有关吗？ 当我连接到4G加密狗时，上传失败，而当我连接到wifi路由器时，一切都很好。
但是，4G软件狗给了我10Mbps的速度。 所以，不知道问题出在哪里
CSRaghunandan
于 2018-06-19
@uldall如果尚未解决此问题，对我而言，此问题已通过安装aws-cli的最新版本进行了修复
https://www.slashroot.in/how-to-install-and-configure-aws-cli-on-ubuntu-16-04
chrisairpos
于 2018-07-31
在Ubuntu 18上
安装python 3
须藤apt-get install python3-pip
pip3 install awscli --upgrade --user
aws s3同步./ s3：// mybucket01
https://linuxhint.com/install_aws_cli_ubuntu/
https://linuxhint.com/install_aws_cli_ubuntu/
kenny1323
于 2019-11-30
相关问题
pawelkilian
·
3评论
ypant
·
3评论
kangman
·
3评论
ikim23
·
3评论
levequej
·
3评论
最有用的评论
@uldall如果尚未解决此问题，对我而言，此问题已通过安装aws-cli的最新版本进行了修复
https://www.slashroot.in/how-to-install-and-configure-aws-cli-on-ubuntu-16-04