Requests: `PUT` para Amazon S3 está falhando

Criado em 10 jul. 2015 · 4Comentários · Fonte: psf/requests

Estou tentando fazer upload de um arquivo para o Amazon S3 com Python Requests (Python é v2.7.9 e solicitações é v2.7). Seguindo o comando curl que funciona perfeitamente:

curl --request PUT --upload-file img.png https://mybucket-dev.s3.amazonaws.com/6b89e187-26fa-11e5-a04f-a45e60d45b53?Signature=Ow%3D&Expires=1436595966&AWSAccessKeyId=AQ

No entanto, quando tentei fazer o mesmo com as solicitações, ele falhou com 403 com o seguinte erro:

<Error><Code>SignatureDoesNotMatch</Code><Message>The request signature we calculated does not match the signature you provided. Check your key and signing method.</Message>

Aqui está o que eu tentei:

url = https://mybucket-dev.s3.amazonaws.com/6b89e187-26fa-11e5-a04f-a45e60d45b53?Signature=Ow%3D&Expires=1436595966&AWSAccessKeyId=AQ
headers = {'Content-Length': '52369', 'Host': 'mybucket-dev.s3.amazonaws.com', 'Expect': '100-continue', 'Accept': '*/*', 'User-Agent': 'curl/7.37.1'}
payload={'Expires': '1436595966', 'AWSAccessKeyId': 'AQ', 'Signature': 'Ow%3D'}

requests.put(url, files={'file': base64_encoded_image})
requests.put(url, files={'upload_file': base64_encoded_image})
requests.put(url, files={'file': base64_encoded_image}, headers=headers)
requests.put(url, files={'file': base64_encoded_image}, headers=headers, data=payload)

Todos eles falham, com o mesmo erro. Aqui está o curl no modo detalhado:

* Hostname was NOT found in DNS cache
*   Trying 54.231.168.134...
* Connected to mybucket-dev.s3.amazonaws.com (54.231.168.134) port 443 (#0)
* TLS 1.2 connection using TLS_ECDHE_RSA_WITH_AES_128_CBC_SHA
* Server certificate: *.s3.amazonaws.com
* Server certificate: VeriSign Class 3 Secure Server CA - G3
* Server certificate: VeriSign Class 3 Public Primary Certification Authority - G5
> PUT /6b89e187-26fa-11e5-a04f-a45e60d45b53?Signature=Ow%3D&Expires=1436595966&AWSAccessKeyId=AQ HTTP/1.1
> User-Agent: curl/7.37.1
> Host: mybucket-dev.s3.amazonaws.com
> Accept: */*
> Content-Length: 52369
> Expect: 100-continue
>
< HTTP/1.1 100 Continue
* We are completely uploaded and fine
< HTTP/1.1 200 OK
< x-amz-id-2: 5lLCQ3FVrTBg2vkyk44E+MecQJb2OGiloO0+2pKePtxPgZptKECNlUyYN43sl4LBNe9f8idh/cc=
< x-amz-request-id: 636A24D53DEB5215
< Date: Fri, 10 Jul 2015 12:04:44 GMT
< ETag: "5802130d4320b56a72afe720e2c323a7"
< Content-Length: 0
* Server AmazonS3 is not blacklisted
< Server: AmazonS3
<
* Connection #0 to host mybucket-dev.s3.amazonaws.com left intact

Fonte

avinassh

Comentários muito úteis

Então, eu fiz uma imagem aleatória e fiz

curl --request PUT --upload-file img.png https://httpbin.org/put

Para verificar se o curl estava fazendo exatamente o que eu esperava (o que faz). Ele carrega o arquivo como dados brutos.

O parâmetro files= nas solicitações faz multipart/form-data uploads, não uploads de dados brutos. Para replicar o mesmo comportamento em solicitações, tudo o que você precisa fazer é o seguinte:

with open('img.png', 'rb') as data:
    requests.put(url, data=data)

As solicitações cuidarão da configuração do comprimento do conteúdo e de tudo o mais.

sigmavirus24 em 10 jul. 2015

👍3

Todos 4 comentários

Bem, o passo 1 é evitar o envio de Expect: 100 Continue . Não os tratamos adequadamente. Também não envie seu próprio cabeçalho Content-Length : as solicitações farão isso por você.

O verdadeiro problema é que eu acho que seu upload será multipart / form-encoded, mas curl está enviando o arquivo diretamente. Experimente: requests.put(url, data=open('img.png', 'rb'))

Lukasa em 10 jul. 2015

Então, eu fiz uma imagem aleatória e fiz

curl --request PUT --upload-file img.png https://httpbin.org/put

Para verificar se o curl estava fazendo exatamente o que eu esperava (o que faz). Ele carrega o arquivo como dados brutos.

with open('img.png', 'rb') as data:
    requests.put(url, data=data)

As solicitações cuidarão da configuração do comprimento do conteúdo e de tudo o mais.

sigmavirus24 em 10 jul. 2015

👍3

trabalho! Muito obrigado pessoal: dançarino:: sorria:

avinassh em 10 jul. 2015

Ao usar a tentativa de um arquivo zip, recebo as seguintes dicas: (solicitações-2.13.0)

with open('default.zip', 'rb') as data:
    requests.put(url, data=data)

Saída:

C:\svn\libraries\cpp>python req_put.py default.zip
MD5: 5dc0658d93e942fa7d1fa443e04bba83
SHA1: 18e7980d9d9ac544ac3e684a4d051932c3a3a336
Traceback (most recent call last):
  File "req_put.py", line 102, in <module>
    resp = requests.put(uri,  headers=headers, data=data) # data=data , params=payload)
  File "C:\Python27\lib\site-packages\requests\api.py", line 124, in put
    return request('put', url, data=data, **kwargs)
  File "C:\Python27\lib\site-packages\requests\api.py", line 56, in request
    return session.request(method=method, url=url, **kwargs)
  File "C:\Python27\lib\site-packages\requests\sessions.py", line 488, in request
    resp = self.send(prep, **send_kwargs)
  File "C:\Python27\lib\site-packages\requests\sessions.py", line 609, in send
    r = adapter.send(request, **kwargs)
  File "C:\Python27\lib\site-packages\requests\adapters.py", line 473, in send
    raise ConnectionError(err, request=request)
requests.exceptions.ConnectionError: ('Connection aborted.', error(10054, 'An existing connection was forcibly closed by the remote host'))