Requests: `PUT` в Amazon S3 не работает

Созданный на 10 июл. 2015 · 4Комментарии · Источник: psf/requests

Я пытаюсь загрузить файл в Amazon S3 с помощью запросов Python (Python - версия 2.7.9, а запросы - версия 2.7). Следуя команде curl, которая отлично работает:

curl --request PUT --upload-file img.png https://mybucket-dev.s3.amazonaws.com/6b89e187-26fa-11e5-a04f-a45e60d45b53?Signature=Ow%3D&Expires=1436595966&AWSAccessKeyId=AQ

Однако, когда я попытался сделать то же самое с запросами, он потерпел неудачу с 403 со следующей ошибкой:

<Error><Code>SignatureDoesNotMatch</Code><Message>The request signature we calculated does not match the signature you provided. Check your key and signing method.</Message>

Вот что я пробовал:

url = https://mybucket-dev.s3.amazonaws.com/6b89e187-26fa-11e5-a04f-a45e60d45b53?Signature=Ow%3D&Expires=1436595966&AWSAccessKeyId=AQ
headers = {'Content-Length': '52369', 'Host': 'mybucket-dev.s3.amazonaws.com', 'Expect': '100-continue', 'Accept': '*/*', 'User-Agent': 'curl/7.37.1'}
payload={'Expires': '1436595966', 'AWSAccessKeyId': 'AQ', 'Signature': 'Ow%3D'}

requests.put(url, files={'file': base64_encoded_image})
requests.put(url, files={'upload_file': base64_encoded_image})
requests.put(url, files={'file': base64_encoded_image}, headers=headers)
requests.put(url, files={'file': base64_encoded_image}, headers=headers, data=payload)

Все они терпят неудачу с одной и той же ошибкой. Вот curl в подробном режиме:

* Hostname was NOT found in DNS cache
*   Trying 54.231.168.134...
* Connected to mybucket-dev.s3.amazonaws.com (54.231.168.134) port 443 (#0)
* TLS 1.2 connection using TLS_ECDHE_RSA_WITH_AES_128_CBC_SHA
* Server certificate: *.s3.amazonaws.com
* Server certificate: VeriSign Class 3 Secure Server CA - G3
* Server certificate: VeriSign Class 3 Public Primary Certification Authority - G5
> PUT /6b89e187-26fa-11e5-a04f-a45e60d45b53?Signature=Ow%3D&Expires=1436595966&AWSAccessKeyId=AQ HTTP/1.1
> User-Agent: curl/7.37.1
> Host: mybucket-dev.s3.amazonaws.com
> Accept: */*
> Content-Length: 52369
> Expect: 100-continue
>
< HTTP/1.1 100 Continue
* We are completely uploaded and fine
< HTTP/1.1 200 OK
< x-amz-id-2: 5lLCQ3FVrTBg2vkyk44E+MecQJb2OGiloO0+2pKePtxPgZptKECNlUyYN43sl4LBNe9f8idh/cc=
< x-amz-request-id: 636A24D53DEB5215
< Date: Fri, 10 Jul 2015 12:04:44 GMT
< ETag: "5802130d4320b56a72afe720e2c323a7"
< Content-Length: 0
* Server AmazonS3 is not blacklisted
< Server: AmazonS3
<
* Connection #0 to host mybucket-dev.s3.amazonaws.com left intact

Источник

avinassh

Самый полезный комментарий

Итак, я сделал случайное изображение и сделал

curl --request PUT --upload-file img.png https://httpbin.org/put

Чтобы убедиться, что curl делает именно то, что я ожидал (что и происходит). Он загружает файл как необработанные данные.

Параметр files= в запросах выполняет загрузку multipart/form-data , а не загрузку необработанных данных. Все, что вам нужно сделать, чтобы воспроизвести такое же поведение в запросах, - это следующее:

with open('img.png', 'rb') as data:
    requests.put(url, data=data)

Запросы будут обрабатывать установку длины содержимого и всего остального.

sigmavirus24 10 июл. 2015

👍3

Все 4 Комментарий

Что ж, шаг 1 - избежать отправки Expect: 100 Continue . Мы не справляемся с ними должным образом. Пожалуйста, также не отправляйте свой собственный заголовок Content-Length : запросы сделают это за вас.

Настоящая проблема заключается в том, что я думаю, что ваша загрузка будет составной / закодированной в форме, но curl загружает файл напрямую. Попробуйте: requests.put(url, data=open('img.png', 'rb'))

Lukasa 10 июл. 2015

Итак, я сделал случайное изображение и сделал

curl --request PUT --upload-file img.png https://httpbin.org/put

with open('img.png', 'rb') as data:
    requests.put(url, data=data)

Запросы будут обрабатывать установку длины содержимого и всего остального.

sigmavirus24 10 июл. 2015

👍3

работает! Спасибо большое, ребята: dancer:: smile:

avinassh 10 июл. 2015

При попытке использовать zip-файл я получаю следующее, любые подсказки: (requests-2.13.0)

with open('default.zip', 'rb') as data:
    requests.put(url, data=data)

Выход:

C:\svn\libraries\cpp>python req_put.py default.zip
MD5: 5dc0658d93e942fa7d1fa443e04bba83
SHA1: 18e7980d9d9ac544ac3e684a4d051932c3a3a336
Traceback (most recent call last):
  File "req_put.py", line 102, in <module>
    resp = requests.put(uri,  headers=headers, data=data) # data=data , params=payload)
  File "C:\Python27\lib\site-packages\requests\api.py", line 124, in put
    return request('put', url, data=data, **kwargs)
  File "C:\Python27\lib\site-packages\requests\api.py", line 56, in request
    return session.request(method=method, url=url, **kwargs)
  File "C:\Python27\lib\site-packages\requests\sessions.py", line 488, in request
    resp = self.send(prep, **send_kwargs)
  File "C:\Python27\lib\site-packages\requests\sessions.py", line 609, in send
    r = adapter.send(request, **kwargs)
  File "C:\Python27\lib\site-packages\requests\adapters.py", line 473, in send
    raise ConnectionError(err, request=request)
requests.exceptions.ConnectionError: ('Connection aborted.', error(10054, 'An existing connection was forcibly closed by the remote host'))