हाँ, मुझे लगता है कि यह एक बड़ी विशेषता होगी। मैं सोच रहा हूँ कि यह एक नया s3 उपकमांड होगा? मैं उप कमांड को जोड़ना आसान बनाने के लिए s3 कमांड कोड में कुछ आंतरिक परिवर्तनों पर काम कर रहा हूं। मैं ls साथ रिपोर्ट की गई कई समस्याओं को ठीक करने के लिए ls कमांड को फिर से शुरू करने के लिए इसका उपयोग कर रहा हूं।

अभी तक पूरी तरह से नहीं किया गया है, लेकिन यहां मेरे पास अब तक है:
https://github.com/jamesls/aws-cli/compare/s3-ls-permissions#diff -b88a66f4bd148577a9390cb980d7eeb9R321

हाँ, यह मैं ढूंढ रहा था। कृपया, न केवल अवधि के आधार पर, बल्कि एक विशिष्ट दिनांक समय के अनुसार भी समाप्ति निर्दिष्ट करने की अनुमति दें। यूटीसी टाइमज़ोन, आईएसओ प्रारूप, पूर्ण सेकंड की आवश्यकता है, "जेड" के साथ समाप्त होने वाली स्ट्रिंग मुझे अच्छी तरह से प्रयोग करने योग्य लगती है (उदाहरण के लिए "2014-05-30T00:00:00Z")।

मामले में, आपको वास्तव में कमांड लाइन से tmpurl उत्पन्न करने की आवश्यकता है, मैं अपने कमांड लाइन टूल s3tmpgen की सिफारिश कर सकता

वैसे भी, मैं वास्तव में एडब्ल्यूएस सीएलआई में ऐसी कार्यक्षमता को आमंत्रित करता हूं, जो एडब्ल्यूएस एस 3 के साथ मेरे दैनिक कार्य के लिए मूल्यवान उपकरण बन गया।

+1

+1

मैं हेरोकू में तैनात करने के लिए कोड बंडल होस्ट करने के लिए एस 3 का उपयोग करना चाहता हूं और यह एक शानदार विशेषता होगी :)

https://blog.heroku.com/archives/2014/5/22/introducing_the_app_json_application_manifest

+1

+1 इसे एडब्ल्यूएस सीएलआई में रखना बहुत अच्छा होगा

यहां आने वाले किसी भी व्यक्ति के लिए बस एक नोट, आप boto लाइब्रेरी में पहुंचकर इसे स्वयं तुच्छ रूप से कर सकते हैं: https://boto.readthedocs.org/en/latest/ref/s3.html#boto .s3.key.Key.generate_url

प्रतिपुष्टि के लिए धन्यवाद। मैं इसे देख लूंगा, मैं मानता हूं कि एडब्ल्यूएस सीएलआई में जोड़ने के लिए यह एक शानदार विशेषता होगी।

धन्यवाद, @johnboxall। बोटो निश्चित रूप से एक विकल्प है, हालांकि मूल पायथन परिनियोजन (विंडोज उपयोगकर्ताओं के बारे में सोचें) के बिना क्ली बाइनरी को तैनात करने वाले लोगों के लिए, उस मार्ग पर जाना पावरशेल एसडीके को खींचने और .NET एसडीके के माध्यम से काम करने के समान ही काम है। अभी भी इस मूल निवासी को सीएलआई में देखना चाहेंगे। मुस्कराहट:

बस अब तक सीधे बोटो का उपयोग करने वाले किसी भी व्यक्ति के लिए जब तक इसे एडब्ल्यूएस-क्ली में जोड़ा नहीं जाता है, मुझे लगा कि मैं एक त्वरित नमूना निर्देश जोड़ूंगा। मैं अब इसे दो बार ढूंढ रहा हूं और इसके बजाय इस टिकट और @johnboxall टिप्पणी के साथ इसे प्राप्त

एक बॉक्स पर जिसमें पहले से ही अजगर स्थापित है

$ python --version
Python 2.7.6
$ sudo pip install boto
$ python
>>> import boto
>>> s3 = boto.connect_s3()
>>> bucket = s3.get_bucket('your-bucket-name')
>>> key = bucket.get_key('the-prefix/the-name-of-the-object.mp4')
>>> key.generate_url(3600)
'https://your-bucket-name.s3.amazonaws.com/the-prefix/the-name-of-the-object.mp4?Signature=CgDfFa45DBXFiMfASxSTpiSuHKM%3D&Expires=1415913273&AWSAccessKeyId=ABCDEDKSY344ACVDG'

@isleshocky77 के उदाहरण पर निर्माण... तर्क जोड़ना और मामूली त्रुटि जाँच:

लिपि

$ cat boto-get-signed-url.py
#!/usr/bin/python
import boto
import argparse

parser = argparse.ArgumentParser(description='Generate an S3 signed URL')
parser.add_argument('-b', '--bucket', help='bucket name')
parser.add_argument('-k', '--key', help='prefix/key')
parser.add_argument('-s', '--seconds', type=int, help='time in seconds until the URL will expire')
args = parser.parse_args()

s3 = boto.connect_s3()
bucket = s3.get_bucket(args.bucket)
key = bucket.get_key(args.key)
if bucket.get_key(args.key):
  print key.generate_url(args.seconds)
else:
  print 's3://' + args.bucket + '/' + args.key + ' does not exist'

उदाहरण उपयोग और सहायता

$ ./boto-get-signed-url.py -b superbucket -k "test" -s 60
https://superbucket.s3.amazonaws.com/test?Signature=n6cO8RH%2FbNwQhuZVNNazo3q04x0%3D&Expires=1416695021&AWSAccessKeyId=AKIEXAMPLEKEYNOTREAL

$ boto-get-signed-url.py --help
usage: boto-get-signed-url.py [-h] [-b BUCKET] [-k KEY] [-s SECONDS]

Generate an S3 signed URL

optional arguments:
  -h, --help            show this help message and exit
  -b BUCKET, --bucket BUCKET
                        bucket name
  -k KEY, --key KEY     prefix/key
  -s SECONDS, --seconds SECONDS
                        time in seconds until the URL will expire

नमस्ते
इस मुद्दे की स्थिति के बारे में एक और जांच के बाद मैं उपकरण प्रदान ttr.aws.utils.s3 अजगर पैकेज के लिए एक अद्यतन किया जाता s3tmpgen । अद्यतन न केवल https का उपयोग करके url उत्पन्न करने की अनुमति देता है, बल्कि (विकल्प के साथ -http ) भी http।

अभी भी इसे awscli समाधान के साथ बदलने की उम्मीद है।

:+1:

क्लि का हिस्सा बनने के लिए s3 हस्ताक्षरित url के लिए +1

:+1:

+1

मुझे लगता है, मैं समझता हूं, इसमें इतना समय क्यों लगता है: चीजें क्रम में होनी चाहिए और अच्छी बात यह है कि ऐसा लगता है कि यह रोडमैप पर है।

चूंकि एडब्ल्यूएस सीएलआई botocore पर आधारित है,

पुल अनुरोध boto/botocore#504 को पहले ही शाखा clients-only में विलय कर दिया गया था और रोडमैप (https://github.com/boto/botocore पर README पर उल्लिखित) का दावा है, botocore वर्तमान में शाखा clients-only विलय करने से पहले सिर्फ एक कदम है।

@vlcinsky

हां, एक बार जब ग्राहक-केवल शाखा बोटोकोर में विलय हो जाती है, तो हम सीएलआई में हस्ताक्षरित यूआरएल की पीढ़ी को लेने में सक्षम होंगे। फिर, सीएलआई पक्ष पर जो मुख्य कार्य करना होगा, वह एक अच्छा एपीआई बनाना है जो सुविधा को उजागर करता है।

https://github.com/boto/botocore/issues/291 पहले ही 23 जून को बंद कर दिया गया था: "यह सुविधा वर्तमान में बोटोकोर में उपलब्ध है।"

:+1: वास्तव में एक आसान सुविधा होगी

+1

जैसा कि @kyleknap ने उल्लेख किया है, इस सुविधा के लिए एक अच्छा एपीआई डिजाइन करना है।

मैं निम्नलिखित उपयोग के मामले देखता हूं:

• "tmpGET": GET अनुरोध के लिए tmpurl बनाएं
• "tmpPOST": POST अनुरोध के लिए tmpurl बनाएं
• "tmp???": समर्थन करने के लिए कोई और तरीका है? मुझे इसके बारे में पता नहीं है (और कभी भी इसके अलावा अन्य का उपयोग नहीं किया है)
  प्राप्त करें और पोस्ट करें)

"TmpGET" वास्तव में आसान है क्योंकि केवल आउटपुट url है और केवल इनपुट बकेट/कुंजी और समाप्ति है
दिनांक (समाप्ति समय)।

"TmpPOST" बहुत अधिक जटिल है क्योंकि किसी को पोस्टिंग के लिए एक नीति को परिभाषित करना होता है।

हल करने के लिए एक प्रश्न यह है कि इन कार्यों को कहां रखा जाए, दो विकल्प प्रतीत होते हैं:

• aws s3
• aws s3api

मैं आज अधिक जटिल "tmpPOST" से नहीं निपटूंगा और सरल "tmpGET" पर ध्यान केंद्रित करूंगा

त्वरित समाधान: aws s3 tmpurl

इस तरह के समाधान को लागू करना आसान होगा, इससे 80% वास्तविक में मदद मिलेगी
स्थितियों का उपयोग करें (ऑब्जेक्ट को AWS S3 पर प्रकाशित करें और साझा करने के लिए अस्थायी url प्रदान करें
किसी क साथ)।

अवधारणा निम्नलिखित अंतरों के साथ मौजूदा aws s3 ls पर निर्मित होगी:

• उस दिनांक और समय को परिभाषित करने के लिए एक विकल्प --expires जोड़ें जिस पर url समाप्त होता है या --expires-in
  समाप्ति तक सेकंड की संख्या निर्दिष्ट करें
• केवल tmpurls का उत्पादन करेगा, प्रति सूचीबद्ध वस्तु में एक पंक्ति

मुझे डर है, वर्तमान में सटीक समय के लिए tmp url बनाने का कोई आसान तरीका नहीं है, इसलिए आरंभिक
संस्करण 3600 सेकंड के डिफ़ॉल्ट मान के साथ केवल --expires-in विकल्प की पेशकश करेगा।

फायदा और नुकसान

पेशेवरों

एडब्ल्यूएस एस 3 पर मौजूदा वस्तुओं की संख्या के लिए टीएमपी यूआरएल का गुच्छा बनाना बहुत आसान है। यह बचाता है
सटीक बाल्टी/कुंजी नाम मान प्राप्त करने में बाधा।

दोष

इस aws s3 ls आधारित दृष्टिकोण का नुकसान यह है कि कोई किसी वस्तु के लिए tmp url नहीं बना सकता है, जो
अभी तक मौजूद नहीं है।

वैसे भी, इसे बाद में aws s3api समाधान द्वारा हल किया जा सकता है।

बहुत अच्छे से वहाँ रखा है। जबकि एक पोस्ट कुछ ऐसा है जो लगभग निश्चित रूप से पोस्ट किए गए डेटा के कुछ सर्वर साइड हैंडलिंग के आसपास बनाया जाएगा, प्राप्त विधि उपयोग के मामले आमतौर पर काफी आसान होते हैं। जब आप कहते हैं कि अधिकांश उपयोग के मामलों को कवर किया जाएगा, तो मैं दृढ़ता से सहमत हूं।

मैं हालांकि जोड़ना चाहता था, मुझे नहीं लगता कि अस्थायी यूआरएल को एस 3 पर फाइलों का पता लगाने के साथ कुछ लेना देना चाहिए। अगर कोई हस्ताक्षरित यूआरएल के पूरे सेट उत्पन्न करना चाहता है, तो यह तर्क है कि क्ली को लपेटने के लिए और कुछ करने की आवश्यकता नहीं है। मेरे दिमाग में tmpurl आदिम न्यूनतम व्यवहार्य उत्पाद है।

मैंने अपनी स्थानीय शाखा में s3 वस्तुओं के लिए पूर्व-हस्ताक्षरित URL लागू किया है (पूरी तरह से नहीं)।

https://github.com/quiver/aws-cli/tree/s3-presigned-url

यह botocore.generate_presigned_url लिए एक पतला-आवरण है, और यह अभी तक तैयार नहीं है। जैसा कि @vlcinsky ने उल्लेख किया है, हमें AWSCLI रूप में एक अच्छे API डिज़ाइन की आवश्यकता है। एक बार यह तय हो जाने के बाद मैं इसे लागू कर सकता हूं।

एक बात जो मैंने नोट की है वह यह है कि generate_presigned_url लिए client_method पैरामीटर की आवश्यकता होती है, जो साइन करने के लिए S3 API (जैसे get_object ) को निर्दिष्ट करता है। मेरे वर्तमान कार्यान्वयन में, यह उपयोगकर्ता के संपर्क में है, लेकिन उपयोगकर्ता के अनुकूल होना बेहतर होगा, जैसे विभिन्न उप-आदेश प्रदान करना( aws s3 geturl , aws s3 uploadurl ) या स्विच विकल्प ( --type upload )

प्रयोग

S3 . पर ऑब्जेक्ट अपलोड करें

$ echo hello world > test.txt

$ aws s3 url s3://BUCKET/test.txt --client-method put_object --expires-in 180
https://BUCKET.s3.amazonaws.com/test.txt?AWSAccessKeyId=AKIAIXXXXXXXXXXXXXXX&Expires=1451449621&Signature=KgwO9lBx942fFvln0JW0NX7mKS0%3D

$ URL=`aws s3 url s3://BUCKET/test.txt --client-method put_object --expires-in 180`

$ curl -D - -X PUT --upload-file test.txt $URL
HTTP/1.1 100 Continue

HTTP/1.1 200 OK
x-amz-id-2: /90B1axPysBg3P8kv8BlR8RoqdO1JfajCN5BM5/TxIT3VjGphKmyGX8EgCQEtCXYhuNkVne5+GM=
x-amz-request-id: 685F03CA6C84FAC0
Date: Wed, 30 Dec 2015 05:18:38 GMT
ETag: "6f5902ac237024bdd0c176cb93063dc4"
Content-Length: 0
Server: AmazonS3

$ aws s3 cp s3://BUCKET/test.txt -
hello world

S3 . से ऑब्जेक्ट प्राप्त करें

$ URL=`aws s3 url s3://BUCKET/test.txt --client-method get_object --expires-in 180`

$ curl -D - -X GET $URL
HTTP/1.1 200 OK
x-amz-id-2: WuRokcBm9wnDMaRkD8kNeGijuKEzVp3eagi7JbpPXmmchEljsiP4wZX5w1TaeuK94n2526FGKMI=
x-amz-request-id: 1EBCAA7A691A577D
Date: Wed, 30 Dec 2015 05:20:14 GMT
Last-Modified: Wed, 30 Dec 2015 05:19:15 GMT
ETag: "6f5902ac237024bdd0c176cb93063dc4"
Accept-Ranges: bytes
Content-Type: binary/octet-stream
Content-Length: 12
Server: AmazonS3

hello world

उपरोक्त पायथन एक यूआरएल उत्पन्न करता है जैसे: 'https://.s3.amazonaws.com/dir/dir/file

जब मैं फ़ाइल को कर्ल करने का प्रयास करता हूं, तो मुझे SSL प्रमाणपत्र समस्या मिलती है: अमान्य प्रमाणपत्र श्रृंखला
अगर मैं विकल्प -k के साथ कर्ल करता हूं, तो मैं इसे पार कर सकता हूं, लेकिन मुझे यह भी पता है कि अगर यूआरएल ऐसा दिखता है: ' https://s3-.amazonaws.com//डीआईआर/डीआईआर/फाइल'
प्रमाणपत्र मान्य है, क्या यूआरएल बदलने का कोई तरीका है, या कोई अन्य फिक्स है?
धन्यवाद,
गैरी

उदाहरण: ' https://s3-us-west-1.amazonaws.com/bucket/dir/dir/file '

अद्यतन, boto3 का उपयोग करके सही ढंग से हस्ताक्षरित url उत्पन्न करने में सक्षम था।

+1

प्रभावशाली - 3 वर्षों में आधिकारिक सीएलआई उपकरण को हस्ताक्षरित यूआरएल लागू करने के लिए समर्थन नहीं मिला, हालांकि यह boto और

1+

+1

+1

इस पर किसी भी अद्यतन? आश्चर्य है कि यह अभी तक उपलब्ध नहीं है।

+1

मैंने वर्कअराउंड के रूप में एक लिखा और उम्मीद के मुताबिक काम किया: https://github.com/gdbtek/aws-tools

हाय सब, प्रतिक्रिया के लिए धन्यवाद। यह कुछ ऐसा है जो हमारे बैकलॉग पर है। मेरे पास अभी सटीक तिथियां नहीं हैं, लेकिन पुल अनुरोध प्राप्त होने के बाद मैं इस मुद्दे से लिंक करूंगा।

महान! थैंक्स!

क्या एक संपूर्ण एस 3 फ़ोल्डर में एक निर्धारित यूआरएल प्राप्त करना संभव है? फ़ोल्डर के माध्यम से नेविगेट करने के लिए वेब इंटरफ़ेस सहित?

@tommeda संभव नहीं है। पूर्व-हस्ताक्षरित यूआरएल हमेशा एकल संग्रहीत वस्तु से संबंधित होता है। आप जिस बारे में बात करते हैं वह स्थिर वेब साइट के समान है लेकिन उस तक पहुंच को नियंत्रित करने के लिए (यदि एडब्ल्यूएस एस 3 पर आधारित है), किसी को कुछ प्रॉक्सी लिखना होगा। कुछ प्रयास पहले से मौजूद हैं, मुझे कोई भी आसान नहीं लगा (लगभग एक साल पहले शोध किया गया)।

आप हमेशा एक वेबपेज जेनरेट कर सकते हैं जो प्रत्येक ऑब्जेक्ट के लिए एक इंटरफ़ेस प्रदान करता है और पूर्व हस्ताक्षरित यूआरएल शामिल करता है, और फिर इंटरफ़ेस को एस 3 में डाल देता है और इंटरफ़ेस पर एक पूर्व हस्ताक्षरित यूआरएल वापस कर देता है। बिल्कुल आसान नहीं है, और इंटरफ़ेस विशिष्ट उपयोग करना चाहेगा