Aws-cli: EC2 इंस्टेंस से S3 में फाइल अपलोड करना कुछ उदाहरण प्रकारों पर विफल रहता है

आप CLI के किस संस्करण का उपयोग कर रहे हैं? यह https://github.com/aws/aws-cli/pull/594 की तरह दिखता है, जो 1.2.11 में तय किया गया था

दरअसल, यह मुद्दा डाउनलोड के लिए था, यह एक अपलोड के लिए है इसलिए यह एक अलग मुद्दा है। मुझे इस पर और गौर करने की जरूरत है। यदि आप इस पर --debug लॉग प्रदान कर सकते हैं, तो यह समस्या निवारण में मदद करेगा।

इसके अलावा लगभग कितनी 10M फ़ाइलें आप एक बार में अपलोड कर रहे हैं?

मुझे s3 में अपलोड करने में समस्या आ रही है, लेकिन अपने लैपटॉप (OSX mavericks) से। 424KB फ़ाइल विफल,
और 344KB फ़ाइल ने काम किया। मैं एक बार में एक फ़ाइल अपलोड कर रहा हूं, जिसमें निम्नलिखित संस्करण हैं:

awscli==1.2.13
boto==2.24.0
botocore==0.33.0

त्रुटि मूल पोस्ट के समान है:

upload failed: ./test to s3://<bucket>/deploys/test HTTPSConnectionPool(host='bnch.s3.amazonaws.com', port=443): Max retries exceeded with url: /deploys/test (Caused by <class 'socket.error'>: [Errno 32] Broken pipe)

मैंने इसे --debug के साथ चलाया, और यहाँ वह हिस्सा है जो पुन: प्रयास करता रहता है:

2014-02-06 21:20:17,138 - botocore.retryhandler - DEBUG - Retry needed, action of: 3.28890874908
2014-02-06 21:20:17,138 - botocore.endpoint - DEBUG - Response received to retry, sleeping for 3.28890874908 seconds
2014-02-06 21:20:20,428 - botocore.awsrequest - DEBUG - Rewinding stream: <open file u'<redacted>/test', mode 'rb' at 0x101dc6c90>
2014-02-06 21:20:20,428 - botocore.endpoint - DEBUG - Sending http request: <PreparedRequest [PUT]>
2014-02-06 21:20:20,429 - botocore.vendored.requests.packages.urllib3.connectionpool - INFO - Starting new HTTPS connection (4): <bucket>.s3.amazonaws.com
2014-02-06 21:20:21,693 - botocore.hooks - DEBUG - Event needs-retry.s3.PutObject: calling handler <botocore.retryhandler.RetryHandler object at 0x101e0d550>
2014-02-06 21:20:21,693 - botocore.retryhandler - DEBUG - retry needed, retryable exception caught: HTTPSConnectionPool(host='<bucket>.s3.amazonaws.com', port=443): Max retries exceeded with url: /deploys/test (Caused by <class 'socket.error'>: [Errno 32] Broken pipe)
Traceback (most recent call last):
  File "<redacted>/lib/python2.7/site-packages/botocore/retryhandler.py", line 262, in _should_retry
    return self._checker(attempt_number, response, caught_exception)
  File "<redacted>/lib/python2.7/site-packages/botocore/retryhandler.py", line 310, in __call__
    caught_exception)
  File "<redacted>/lib/python2.7/site-packages/botocore/retryhandler.py", line 219, in __call__
    return self._check_caught_exception(attempt_number, caught_exception)
  File "<redacted>/lib/python2.7/site-packages/botocore/retryhandler.py", line 352, in _check_caught_exception
    raise caught_exception
ConnectionError: HTTPSConnectionPool(host='<bucket>.s3.amazonaws.com', port=443): Max retries exceeded with url: /deploys/test (Caused by <class 'socket.error'>: [Errno 32] Broken pipe)
2014-02-06 21:20:21,693 - botocore.retryhandler - DEBUG - Retry needed, action of: 2.598356941
2014-02-06 21:20:21,693 - botocore.endpoint - DEBUG - Response received to retry, sleeping for 2.598356941 seconds
2014-02-06 21:20:24,293 - botocore.awsrequest - DEBUG - Rewinding stream: <open file u'<redacted>/test', mode 'rb' at 0x101dc6c90>
2014-02-06 21:20:24,293 - botocore.endpoint - DEBUG - Sending http request: <PreparedRequest [PUT]>
2014-02-06 21:20:24,294 - botocore.vendored.requests.packages.urllib3.connectionpool - INFO - Starting new HTTPS connection (5): <bucket>.s3.amazonaws.com
2014-02-06 21:20:25,888 - botocore.hooks - DEBUG - Event needs-retry.s3.PutObject: calling handler <botocore.retryhandler.RetryHandler object at 0x101e0d550>
2014-02-06 21:20:25,888 - awscli.customizations.s3.tasks - DEBUG - <redacted>/test upload failure: HTTPSConnectionPool(host='<bucket>.s3.amazonaws.com', port=443): Max retries exceeded with url: /deploys/test (Caused by <class 'socket.error'>: [Errno 32] Broken pipe)
2014-02-06 21:20:25,888 - botocore.operation - DEBUG - Operation:PutObject called with kwargs: {'body': <open file u'<redacted>/test', mode 'rb' at 0x101e61d20>, 'bucket': u'<bucket>', 'key': u'deploys/test'}
2014-02-06 21:20:25,889 - botocore.endpoint - DEBUG - Making request for Operation:PutObject (verify_ssl=True) with params: {'headers': {}, 'uri_params': {u'Bucket': u'<bucket>', u'Key': u'deploys/test'}, 'payload': <botocore.payload.Payload object at 0x101fc3ed0>}
2014-02-06 21:20:25,889 - botocore.endpoint - DEBUG - Building URI for rest endpoint.
2014-02-06 21:20:25,889 - botocore.endpoint - DEBUG - Templated URI path: /{Bucket}/{Key}
2014-02-06 21:20:25,889 - botocore.endpoint - DEBUG - Templated URI query_params:
2014-02-06 21:20:25,889 - botocore.endpoint - DEBUG - Rendered path: /<bucket>/deploys/test
2014-02-06 21:20:25,889 - botocore.endpoint - DEBUG - Rendered query_params:
2014-02-06 21:20:25,890 - botocore.hooks - DEBUG - Event before-auth.s3: calling handler <function fix_s3_host at 0x101b24410>
2014-02-06 21:20:25,890 - botocore.handlers - DEBUG - Checking for DNS compatible bucket for: https://s3-us-west-2.amazonaws.com/<bucket>/deploys/test
2014-02-06 21:20:25,890 - botocore.handlers - DEBUG - URI updated to: https://<bucket>.s3.amazonaws.com/deploys/test
2014-02-06 21:20:25,890 - botocore.auth - DEBUG - Calculating signature using hmacv1 auth.
2014-02-06 21:20:25,890 - botocore.auth - DEBUG - HTTP request method: PUT
2014-02-06 21:20:25,890 - botocore.auth - DEBUG - StringToSign:
PUT


Fri, 07 Feb 2014 05:20:25 GMT
/<bucket>/deploys/test
2014-02-06 21:20:25,891 - botocore.endpoint - DEBUG - Sending http request: <PreparedRequest [PUT]>
2014-02-06 21:20:25,891 - botocore.vendored.requests.packages.urllib3.connectionpool - INFO - Starting new HTTPS connection (6): <bucket>.s3.amazonaws.com
2014-02-06 21:20:27,373 - botocore.hooks - DEBUG - Event needs-retry.s3.PutObject: calling handler <botocore.retryhandler.RetryHandler object at 0x101e0d550>
2014-02-06 21:20:27,374 - botocore.retryhandler - DEBUG - retry needed, retryable exception caught: HTTPSConnectionPool(host='<bucket>.s3.amazonaws.com', port=443): Max retries exceeded with url: /deploys/test (Caused by <class 'socket.error'>: [Errno 32] Broken pipe)
Traceback (most recent call last):
  File "<redacted>/lib/python2.7/site-packages/botocore/retryhandler.py", line 262, in _should_retry
    return self._checker(attempt_number, response, caught_exception)
  File "<redacted>/lib/python2.7/site-packages/botocore/retryhandler.py", line 310, in __call__
    caught_exception)
  File "<redacted>/lib/python2.7/site-packages/botocore/retryhandler.py", line 219, in __call__
    return self._check_caught_exception(attempt_number, caught_exception)
  File "<redacted>/lib/python2.7/site-packages/botocore/retryhandler.py", line 352, in _check_caught_exception
    raise caught_exception
ConnectionError: HTTPSConnectionPool(host='<bucket>.s3.amazonaws.com', port=443): Max retries exceeded with url: /deploys/test (Caused by <class 'socket.error'>: [Errno 32] Broken pipe)
2014-02-06 21:20:27,374 - botocore.retryhandler - DEBUG - Retry needed, action of: 0.627294998584
2014-02-06 21:20:27,374 - botocore.endpoint - DEBUG - Response received to retry, sleeping for 0.627294998584 seconds

हम 1.2.13 संस्करण का उपयोग कर रहे हैं। अपलोड करने के लिए हमारे पास लगभग 200 फाइलें हैं, लेकिन हम इसे श्रृंखला में कर रहे हैं। समस्या हमेशा पहले एक पर होती है।

यहां विफलता का डिबग लॉग है जो आपने पूछा था: https://gist.github.com/benbc/8861033।

क्या इस मुद्दे पर कोई अपडेट है। मैं बिल्कुल वही मुद्दा देख रहा हूं जो एक नई बनाई गई बाल्टी में अपलोड करने की कोशिश कर रहा है।

हां मेरा मानना ​​है कि इसे अब संस्करण 1.3.0 में तय किया जाना चाहिए। मेरा मानना ​​है कि इसका मूल कारण https://github.com/aws/aws-cli/issues/544 है।

क्या आप कृपया नवीनतम CLI संस्करण के साथ प्रयास कर सकते हैं। यदि आप अभी भी समस्या देख रहे हैं, तो कृपया एक -debug लॉग संलग्न करें और मैं इस समस्या को हल कर दूंगा।

मैं अभी भी इस मुद्दे को s3 पर अपलोड कर रहा हूं, न तो मेरे लैपटॉप से, न ही डेबियन सर्वर से। फाइल लगभग 100MB की है। मैं एक बार में एक फ़ाइल अपलोड कर रहा हूं, जिसमें निम्नलिखित संस्करण हैं:

   aws-cli/1.3.1 Python/2.7.3 Linux/3.2.0-4-amd64
   aws-cli/1.3.1 Python/2.7.5 Darwin/13.0.0

यहाँ मुझे प्राप्त होने वाला मुद्दा है:

Max retries exceeded with url: <myfile>?partNumber=13&uploadId=bR1a29GdR1Qb0CW4fSDv9Vvi4PKJLF3eizWErF1SGvuMxUAh4vmHLmVQ7XjVSsFGmQi0N1U8KX5dR1uukEAMaAS8JxoQA89nJN2FFmQu2MRzIlrIzeMr4re5Zwvn3Hvv.n9IKm.OXOqy4NN87yohIA-- (Caused by <class 'socket.error'>: [Errno 104] Connection reset by peer)

यहाँ डिबग लॉग है:

Wed, 19 Mar 2014 03:28:03 GMT
/<mybucket>/<myfile>?partNumber=9&uploadId=psq_ysXJSW9eplwLTW97ueGw1BMzG2qEXVoP9XiQsm06RP0_N_J_qPS1vZf4OOj0W33Bwdey2w4KNsbEltH_GIWO3jOQbcP64MEfTMd.OSUVsmZKsMIWCxZoqdbmspb1bD0YzAbG92F9R8pQQrXdkA--
2014-03-19 11:28:03,343 - botocore.endpoint - DEBUG - Sending http request: <PreparedRequest [PUT]>
partNumber=8&uploadId=psq_ysXJSW9eplwLTW97ueGw1BMzG2qEXVoP9XiQsm06RP0_N_J_qPS1vZf4OOj0W33Bwdey2w4KNsbEltH_GIWO3jOQbcP64MEfTMd.OSUVsmZKsMIWCxZoqdbmspb1bD0YzAbG92F9R8pQQrXdkA-- (Caused by <class 'socket.error'>: [Errno 104] Connection reset by peer)
Traceback (most recent call last):
  File "/usr/local/lib/python2.7/dist-packages/botocore/retryhandler.py", line 262, in _should_retry
    return self._checker(attempt_number, response, caught_exception)
  File "/usr/local/lib/python2.7/dist-packages/botocore/retryhandler.py", line 310, in __call__
    caught_exception)
  File "/usr/local/lib/python2.7/dist-packages/botocore/retryhandler.py", line 219, in __call__
    return self._check_caught_exception(attempt_number, caught_exception)
  File "/usr/local/lib/python2.7/dist-packages/botocore/retryhandler.py", line 352, in _check_caught_exception
    raise caught_exception
ConnectionError: HTTPSConnectionPool(host='<mybucket>.s3.amazonaws.com', port=443): Max retries exceeded with url: /<myfile>?partNumber=8&uploadId=psq_ysXJSW9eplwLTW97ueGw1BMzG2qEXVoP9XiQsm06RP0_N_J_qPS1vZf4OOj0W33Bwdey2w4KNsbEltH_GIWO3jOQbcP64MEfTMd.OSUVsmZKsMIWCxZoqdbmspb1bD0YzAbG92F9R8pQQrXdkA-- (Caused by <class 'socket.error'>: [Errno 104] Connection reset by peer)
2014-03-19 11:28:05,374 - botocore.retryhandler - DEBUG - Retry needed, action of: 0.41042383996
2014-03-19 11:28:05,374 - botocore.endpoint - DEBUG - Response received to retry, sleeping for 0.41042383996 seconds
2014-03-19 11:28:05,579 - botocore.hooks - DEBUG - Event needs-retry.s3.UploadPart: calling handler <botocore.retryhandler.RetryHandler object at 0x308bfd0>
2014-03-19 11:28:05,580 - botocore.retryhandler - DEBUG - retry needed, retryable exception caught: HTTPSConnectionPool(host=<mybucket>.s3.amazonaws.com', port=443): Max retries exceeded with url: /<myfile>?partNumber=1&uploadId=psq_ysXJSW9eplwLTW97ueGw1BMzG2qEXVoP9XiQsm06RP0_N_J_qPS1vZf4OOj0W33Bwdey2w4KNsbEltH_GIWO3jOQbcP64MEfTMd.OSUVsmZKsMIWCxZoqdbmspb1bD0YzAbG92F9R8pQQrXdkA-- (Caused by <class 'socket.error'>: [Errno 104] Connection reset by peer)
Traceback (most recent call last):
  File "/usr/local/lib/python2.7/dist-packages/botocore/retryhandler.py", line 262, in _should_retry
    return self._checker(attempt_number, response, caught_exception)
  File "/usr/local/lib/python2.7/dist-packages/botocore/retryhandler.py", line 310, in __call__
    caught_exception)
  File "/usr/local/lib/python2.7/dist-packages/botocore/retryhandler.py", line 219, in __call__
    return self._check_caught_exception(attempt_number, caught_exception)
  File "/usr/local/lib/python2.7/dist-packages/botocore/retryhandler.py", line 352, in _check_caught_exception
    raise caught_exception
ConnectionError: HTTPSConnectionPool(host='<mybucket>.s3.amazonaws.com', port=443): Max retries exceeded with url: /<myfile>?partNumber=1&uploadId=psq_ysXJSW9eplwLTW97ueGw1BMzG2qEXVoP9XiQsm06RP0_N_J_qPS1vZf4OOj0W33Bwdey2w4KNsbEltH_GIWO3jOQbcP64MEfTMd.OSUVsmZKsMIWCxZoqdbmspb1bD0YzAbG92F9R8pQQrXdkA-- (Caused by <class 'socket.error'>: [Errno 104] Connection reset by peer)

फिर भी एक नई बाल्टी पर aws cp और aws sync का उपयोग करके इस मुद्दे को देखते हुए। छोटी फ़ाइलों को कोई समस्या नहीं हुई, बड़ी फाइलें विश्वसनीय रूप से यहाँ और # 544 के रूप में वर्णित हैं

aws --version
aws-cli/1.3.3 Python/2.7.5+ Linux/3.8.0-35-generic

>>> print botocore.__version__
>>> 0.37.0

upload failed: ./file.tar.gz to s3://mybucket/file.tar.gz
HTTPSConnectionPool(host='mybucket.s3.amazonaws.com', port=443): Max retries exceeded with url: /file.tar.gz?partNumber=... (Caused by <class 'socket.error'>: [Errno 104] Connection reset by peer)

curl https://mybucket.s3.amazonaws.com
<?xml version="1.0" encoding="UTF-8"?>
<Error><Code>TemporaryRedirect</Code><Message>Please re-send this request to the specified temporary endpoint. Continue to use the original request endpoint for future requests.</Message><RequestId>...</RequestId><Bucket>mybucket</Bucket><HostId>...</HostId><Endpoint>mybucket.s3-us-west-1.amazonaws.com</Endpoint></Error>

जैसा कि दूसरों ने बताया है, यह अब TemporaryRedirect कोड क्लियर होने के बाद ठीक काम कर रहा है -

$ curl https://mybucket.s3.amazonaws.com
<?xml version="1.0" encoding="UTF-8"?>
<Error><Code>AccessDenied</Code><Message>Access Denied</Message><RequestId>...</RequestId><HostId>...</HostId></Error>%

मैं अभी भी एक नई आयरलैंड बाल्टी पर संस्करण 1.3.4 के साथ इस समस्या का सामना कर रहा हूं।

ubuntu@ip-172-31-40-164:~$ aws --version
aws-cli/1.3.4 Python/2.7.5+ Linux/3.11.0-15-generic

डिबग लॉग: https://gist.github.com/anonymous/9814978

'Aws s3 सिंक' का उपयोग करते समय मेरे लिए समान बग
$ aws --version
aws-cli / 1.3.4 पायथन / 2.7.3 लिनक्स / 3.2.0-57-आभासी

मेरी बाल्टी इरलैंड में है।

डिबग लॉग: https://paste.buntux.org/?c511ef0a27305636#e1/B5RiyBuZq60LHmLNpZt59wz2zDyY2KVVjjCM + mO7E =

संपादित करें: मैंने "यूएस स्टैंडर्ड" क्षेत्र में एक बाल्टी पर परीक्षण किया -> कोई समस्या नहीं
EDIT2: डीबग लॉग के लिए नए यूआरएल https://paste.jeekajoo.eu/?c511ef0a27305636#e1/B5RiyBuZq60LHmLNpZt59wz2zDyY2KVdjCM + mO7E =

मैं इस मुद्दे को फिर से खोल रहा हूं। यह डिबग करने के बाद मैं पुष्टि कर सकता हूं कि दूसरों ने क्या कहा है। यह समस्या तब होती है जब एक बड़ी फ़ाइल को एक नई बनाई गई बाल्टी में अपलोड करने की कोशिश की जाती है जो क्लासिक क्षेत्र में नहीं है।

मैं जो बता सकता हूं कि सीएलआई अनुरोधों को ठीक से पुन: प्रयास कर रहा है और 307 रीडायरेक्ट का अनुसरण कर रहा है। हालाँकि, समस्या यह है कि CLI _entire_ अनुरोध भेजता है और फिर प्रतिक्रिया का इंतजार करता है। हालाँकि, S3 शरीर भेजने से पहले 307 प्रतिक्रिया तुरंत भेज देगा। आखिरकार यह कनेक्शन को बंद कर देगा, और यदि हम अभी भी शरीर को स्ट्रीम करने की प्रक्रिया में हैं, तो हम प्रतिक्रिया नहीं देखेंगे। इसके बजाय हमें ऊपर दिए गए विभिन्न डिबग लॉग में दिखाया गया है।

इसे संबोधित करने का सामान्य तरीका उम्मीद के मुताबिक 100 जारी हेडर का उपयोग करना होगा। हालाँकि, HTTP क्लाइंट जिसका हम उपयोग करते हैं (अनुरोध) इसका समर्थन नहीं करता है। इस के आसपास काम करने का एक तरीका हो सकता है, लेकिन मुझे इस समस्या को ठीक करने का सबसे अच्छा तरीका देखने के लिए अनुरोध पुस्तकालय में कुछ खुदाई करने की आवश्यकता होगी।

अधिक जानकारी होने पर मैं इस मुद्दे को अपडेट करूंगा।

कोई खबर?

मेरे परीक्षण से पता चलता है कि जब बोटो पुस्तकालय विफल हो रहा है, तब भी AWS CLI ठीक काम करता है। AWS सीएलआई अलग क्या कर रहा है?

मुझे नहीं लगता कि अनुरोध लाइब्रेरी में वर्कअराउंड करने का कोई तरीका है। मुझे लगता है कि हमारा सबसे अच्छा विकल्प (हमारे अपने HTTP क्लाइंट को लिखने से जो उम्मीद करता है कि 100 जारी रहेगा) एस 3 कोड में कुछ विशिष्ट समाधान है।

मैंने भी यही मारा है। मेरी फ़ाइल बड़ी नहीं है, बस कुछ मेगाबाइट है।

यह एक 323KB सीएसएस फ़ाइल के साथ हो रही है।

इसके लिए एक फिक्स पर काम करना, अधिक जानकारी होने पर मैं अपडेट करूंगा।

S3 में बड़ी फ़ाइल (3GB) अपलोड करते समय एक ही समस्या हो रही है। छोटी फ़ाइल अपलोड करना ठीक है।

upload failed: ../../tmp/anonymousAction.log.2014-05-12.tokyo1b-http-4-1.20140513T003001 to s3://between-data-analysis-temp/anonymousAction.log.2014-05-12.tokyo1b-http-4-1.20140513T003001
HTTPSConnectionPool(host='between-data-analysis-temp.s3.amazonaws.com', port=443): Max retries exceeded with url: /anonymousAction.log.2014-05-12.tokyo1b-http-4-1.20140513T003001?partNumber=6&uploadId=Wdj8309FlXToB8mXw6JHnz8Xf8f4ADIC2SiaM3a6foSDJXH9t7xLk2uFK_EgTtjMn.OyCWdTJjP9al3rgISEltpMwj9j77Irfjc5wqssG2zgnUKhXM2gEUU5QfAuH0kuJNg8deDipYvwBkE0r7k3Qw-- (Caused by <class 'socket.error'>: [Errno 104] Connection reset by peer)
... 

मेरे aws संस्करण;
aws-cli / 1.3.13 पायथन / 2.7.3 लिनक्स / 3.2.0-61-आभासी

मैं एक समान मुद्दे को आंतरायिक रूप से प्राप्त कर रहा हूं (प्रत्येक 20 में 1 फ़ाइल, फ़ाइलें लगभग 500 एमबी हैं) सीधे अनुरोध लाइब्रेरी का उपयोग करते हुए हम अपने विशिष्ट भंडारण एपीआई के माध्यम से काम कर रहे हैं। यह EC2 उदाहरण से अपलोड हो रहा है।

  File "/data/opi/upload.py", line 174, in upload
    response = requests.put(url, data=data, **kwargs)
  File "/usr/local/lib/python2.7/dist-packages/requests-2.1.0-py2.7.egg/requests /api.py", line 99, in put
    return request('put', url, data=data, **kwargs)
  File "/usr/local/lib/python2.7/dist-packages/requests-2.1.0-py2.7.egg/requests /api.py", line 44, in request
    return session.request(method=method, url=url, **kwargs)
  File "/usr/local/lib/python2.7/dist-packages/requests-2.1.0-py2.7.egg/requests /sessions.py", line 382, in request
    resp = self.send(prep, **send_kwargs)
  File "/usr/local/lib/python2.7/dist-packages/requests-2.1.0-py2.7.egg/requests /sessions.py", line 485, in send
    r = adapter.send(request, **kwargs)
  File "/usr/local/lib/python2.7/dist-packages/requests-2.1.0-py2.7.egg/requests /adapters.py", line 372, in send
    raise ConnectionError(e)
requests.exceptions.ConnectionError: HTTPSConnectionPool(host='our-bucket.s3.amazonaws.com', port=443): Max retries exceeded with url: /folder/subfolder/filename?Signature=XXX&Expires=1401262800&AWSAccessKeyId=YYY -amz-acl=private (Caused by <class 'socket.error'>: [Errno 104] Connection reset  by peer)

बस एक अद्यतन, अभी भी इस पर काम कर रहा है। अब तक का सबसे व्यवहार्य दृष्टिकोण HTTPConnection उप-वर्ग करना है और हमारे उपवर्ग में 100-जारी तर्क को लागू करने का प्रयास करना है। फिर हम इसे urllib3 के कनेक्शनप्लूम्स में प्लम करेंगे, जिसे अनुरोधों (जिसे हम उपयोग करते हैं http लाइब्रेरी है) द्वारा उठाया जाएगा।

इसलिए मेरा मानना ​​है कि मेरे पास एक संभावित सुधार है, लेकिन इसे और परीक्षण की आवश्यकता है। जब मेरे पास अधिक जानकारी होगी तो अपडेट करेंगे।

@jamesls जैसे ही आपके पास परीक्षण करने के लिए एक सार्वजनिक शाखा है, मैं इसका उपयोग करूँगा :)

नमस्ते,

चूँकि इसके स्पष्ट रूप से सूत्र में नहीं कहा गया है, आप अभी भी - aregion param को निर्दिष्ट करके दूसरे क्षेत्र में फाइल अपलोड करने के लिए "aws" कमांड का उपयोग कर सकते हैं।

• यह एक रंग है
  aws s3 cp। /really_big_file s3: // MY-BUCKET /
• यह एक काम करता है
  aws --region यूरोप-पश्चिम -1 s3 cp। /really_big_file s3: // MY-BUCKET /

@ inedit00 धन्यवाद! मुझे नहीं पता था कि यह समस्या से संबंधित था।

इसके लिए फिक्स यहाँ है: https://github.com/boto/botocore/pull/303

लेकिन मैं इस पर और परीक्षण करना चाहूंगा। मैं यह भी देखना चाहता हूं कि 100-जारी हैडर को क्या करने की उम्मीद है।

यह त्रुटि हमें स्थानीय एस 3 (आयरलैंड) से एक बड़ी फ़ाइल (~ 3 जीबी) की नकल करते समय भी मिल रही है। Aws-cli / 1.3.17 पायथन / 2.6.6 लिनक्स / 2.6.32-71.29.1.el6.x86_64 और botocore 0.51.0 का उपयोग करना।

बस एक त्वरित अपडेट, इसके लिए फिक्स बोटो / बोटोकोर # 303 में था, हालांकि हमने एक रिग्रेशन पकड़ा जो केवल python2.6 में था इसलिए हमें PR को वापस करना पड़ा।

मुझे लगता है कि इसे ठीक करना अभी भी संभव है, लेकिन यह कैंथिलिब में python2.6 से python2.6 में आंतरिक परिवर्तन के कारण थोड़ा अधिक आक्रामक होगा। अधिक जानकारी होने पर मैं इसे अपडेट करूंगा।

मैं इस मुद्दे को ठीक करने के लिए पिछले पीआर में python2.6 मुद्दे को ठीक करने में सक्षम था। सभी परीक्षण इस बदलाव के साथ गुजर रहे हैं, और मैं पुष्टि कर सकता हूं कि यह नई बनाई गई गैर-मानक एस 3 बाल्टियों में बड़ी फ़ाइलों को अपलोड करने में सक्षम नहीं होने के मुद्दे को ठीक करता है। कृपया मुझे बताएं कि क्या आप अभी भी समस्याएँ देख रहे हैं, और जब हमने इस समस्या को हल किया तो आपके धैर्य के लिए धन्यवाद।

फिक्स @jamesls के लिए धन्यवाद। कौन सी अंसकली रिलीज़ है / क्या यह फिक्स अंदर होगी?

यह सीएलआई के नवीनतम संस्करण (v1.3.18) में उपलब्ध है।

इसके अलावा, अगर किसी को भविष्य में इसे डिबग करने की आवश्यकता है, तो आप डिबग लॉग को उम्मीद से संबंधित 100 जारी हेडर देखेंगे:

2014-06-23 10:40:32,495 - Thread-4 - botocore.hooks - DEBUG - Event before-call.s3.UploadPart: calling handler <function add_expect_header at 0x10d3469b0>
2014-06-23 10:40:32,495 - Thread-4 - botocore.handlers - DEBUG - Adding expect 100 continue header to request.
2014-06-23 10:40:32,500 - Thread-4 - botocore.endpoint - DEBUG - Sending http request: <PreparedRequest [PUT]>
2014-06-23 10:40:32,502 - Thread-4 - botocore.awsrequest - DEBUG - Waiting for 100 Continue response.
2014-06-23 10:40:32,506 - Thread-4 - botocore.awsrequest - DEBUG - Received a non 100 Continue response from the server, NOT sending request body.
2014-06-23 10:40:32,512 - Thread-4 - botocore.awsrequest - DEBUG - Redirect received, rewinding stream: <awscli.customizations.s3.utils.ReadFileChunk object at 0x10d7f1450>
2014-06-23 10:40:32,512 - Thread-4 - botocore.awsrequest - DEBUG - Rewinding stream: <awscli.customizations.s3.utils.ReadFileChunk object at 0x10d7f1450>
2014-06-23 10:40:32,513 - Thread-4 - botocore.awsrequest - DEBUG - Waiting for 100 Continue response.
2014-06-23 10:40:32,533 - Thread-4 - botocore.awsrequest - DEBUG - 100 Continue response seen, now sending request body.
...
2014-06-23 10:40:34,530 - Thread-4 - awscli.errorhandler - DEBUG - HTTP Response Code: 200

मेरा मानना ​​है कि यह अभी भी # 823 प्रति समस्या है।

जो एक अलग समस्या की तरह दिखता है। विशेष रूप से इरनो अलग है।

एक ही मुद्दा है।

upload failed: images1/1103/142_b2d35e8005321b582ce891ca835df65d_75.jpg to s3://opgirl-v2/images/images1/1103/142_b2d35e8005321b582ce891ca835df65d_75.jpg A client error (RequestTimeout) occurred when calling the PutObject operation: Your socket connection to the server was not read from or written to within the timeout period. Idle connections will be closed.
Cleaning up. Please wait...
upload failed: images1/1103/142_d0754d4c8708dc2d7c68cc27da2ad2fa_100.jpg to s3://opgirl-v2/images/images1/1103/142_d0754d4c8708dc2d7c68cc27da2ad2fa_100.jpg The write operation timed out
upload failed: images1/1103/1430_0a6a493f08b693789cba32fbbc6ade83_75.jpg to s3://opgirl-v2/images/images1/1103/1430_0a6a493f08b693789cba32fbbc6ade83_75.jpg ('Connection aborted.', error(104, 'Connection reset by peer'))

# aws --version
aws-cli/1.9.15 Python/2.6.6 Linux/3.2.0-0.bpo.1-amd64 botocore/1.3.15

AWS s3 की प्रदर्शन सीमा तक पहुँचना?
https://stackoverflow.com/questions/23397460/error-handling-boto-error-104-connection-reset-by-peer

मैं एक ही मुद्दे का सामना कर रहा हूँ। यह धागा बल्कि पुराना है। क्या इस मुद्दे की अभी भी जाँच की जा रही है?

('Connection aborted.', ConnectionResetError(104, 'Connection reset by peer'))

# aws --version aws-cli/1.11.13 Python/3.5.2 Linux/4.4.0-1055-aws botocore/1.4.70

उसी मुद्दे का सामना किया

`` ``

aws s3 cp /opt /tradetracker/dataStream/tracker-hits-2018-04-30_11:00:00.log s3: // tt-feeder-dumps
अपलोड विफल: ../dataStream/tracker-hits-2018-04-30_11:00:00.log to s3: // tt-feeder-dumps / tracker-hits-2018-04-30_11: 00: 00.log ( 'कनेक्शन निरस्त।', ConnectionResetError (104, 'पीयर द्वारा कनेक्शन रीसेट'))

ls -hal /opt/tradetracker/dataStream/tracker-hits-2018-04-30_11:00:00 .log
-rw-rw-rw- 1 www-data www-data 13M Apr 30 13:56 /opt /tradetracker/dataStream/tracker-hits-2018-04-30_11:00.log

अर्स - विसर्जन
aws-cli / 1.11.13 पायथन / 3.5.2 लिनक्स / 4.4.0-1049-aws botocore / 1.4.70
`` ``

डिट्टो। +1
फ़ाइलें आकार: 1G
aws-cli/1.15.12 Python/3.4.3 Linux/4.4.0-71-generic botocore/1.10.12

मेरे सेटअप के लिए यह सेटिंग द्वारा हल किया गया था:
s3 =
max_concurrent_requests = 5
max_bandwidth = 210KB / s

जिस प्रोफाइल का मैं उपयोग कर रहा था, उसके लिए .aws / config फाइल। यहां देखें: https://docs.aws.amazon.com/cli/latest/topic/s3-config/#

मैं एक ही मुद्दा रहा हूँ, जब मैंने b33 अजगर पैकेज का उपयोग करके s3 बाल्टी में फ़ाइल अपलोड करने की कोशिश की।

यह लगभग 4 दिन पहले तक ठीक काम करता था, और तब से अपलोड करने में समस्या आ रही थी।

मैं वही मुद्दा बना रहा हूं, जो कि यूरोप-पश्चिम -1 क्षेत्र में एक नवनिर्मित बाल्टी के साथ है।

उपयोग की गई कमांड:
aws s3 sync . s3://<bucket_name> --profile test --region eu-west-1

$ aws --version
aws-cli/1.11.13 Python/3.5.2 Linux/4.13.0-45-generic botocore/1.4.70

क्या यह समस्या मुझे जिस नेटवर्क से जुड़ी है, उससे संबंधित है? जब मैं 4 जी डोंगल से जुड़ा था, तो अपलोड विफल हो रहा था, जबकि जब मैं अपने वाईफाई राउटर से जुड़ा था, तो सब कुछ ठीक था।

लेकिन, 4 जी डोंगल मुझे 10Mbps स्पीड दे रहा था। तो, निश्चित नहीं है कि समस्या कहां है

@uldall यदि आपने इसे पहले से हल नहीं किया है, तो मेरे लिए यह aws-cli का नवीनतम संस्करण स्थापित करके तय किया गया था - apt-get पर नवीनतम संस्करण पुराना है और इसलिए आपको पाइप का उपयोग करके इंस्टॉल करना होगा। यहाँ निर्देश हैं:
https://www.slashroot.in/how-to-install-and-configure-aws-cli-on-ubuntu-16-04

Ubuntu 18 पर
अजगर 3 स्थापित करें
sudo apt-get install python3-pip
pip3 इंस्टॉल करें awscli --upgrad --user
aws s3 सिंक ।/ s3: // mybucket01

https://linuxhint.com/install_aws_cli_ubuntu/
https://linuxhint.com/install_aws_cli_ubuntu/