Aws-cli: aws s3 ls - संशोधित तिथि के अनुसार फ़ाइलें खोजें?

को निर्मित 21 जन॰ 2015 · 87टिप्पणियाँ · स्रोत: aws/aws-cli

नमस्ते,
हम हाल ही में जोड़े गए या अपडेट किए गए ऑब्जेक्ट्स को खोजने के लिए कई हज़ारों (संभावित रूप से सैकड़ों हजारों तक बढ़ रहे हैं) ऑब्जेक्ट्स और फ़ोल्डर्स/उपसर्गों के साथ एक बाल्टी खोजने में सक्षम होना चाहते हैं। पूरे बकेट पर aws s3 ls दिन में कई बार निष्पादित करना और फिर सूची के माध्यम से छांटना अक्षम लगता है। क्या संशोधित समय <,>, = एक निश्चित टाइमस्टैम्प के साथ वस्तुओं की सूची का अनुरोध करने का कोई तरीका है?

साथ ही, क्या हमसे aws s3 ls अनुरोध के लिए एक बार शुल्क लिया जाता है, या अनुरोध द्वारा लौटाए गए प्रत्येक ऑब्जेक्ट के लिए एक बार शुल्क लिया जाता है?

जीथब के लिए नया, काश मैं वास्तविक कोड का योगदान करने के लिए पर्याप्त जानता ... मदद की सराहना करता हूं।

guidance

स्रोत

ChrisSLT

👍34

सबसे उपयोगी टिप्पणी

@jwieder यह उपयोगकर्ता को सूची कॉल की संख्या को s3 तक कम करने में मदद नहीं करता है। मान लें कि आप प्रतिदिन एक बाल्टी में ~1000 समाचार लेख संग्रहीत करते हैं। फिर ग्राहक पक्ष पर डिफ़ॉल्ट रूप से पिछले 3 दिनों के लेख प्राप्त करना चाहते हैं (और केवल स्पष्ट रूप से अनुरोध किए जाने पर)। समय की शुरुआत के बाद से सभी लेखों की एक सूची लाने के लिए, 100k कहते हैं, समय लगता है और नेटवर्क लागत अर्जित करता है (क्योंकि एक सूची कॉल केवल 1000 आइटम तक वापस आ जाएगी)। यह कहने में सक्षम होना बहुत अच्छा होगा "मुझे 3 दिन पहले से बनाई गई/संशोधित वस्तुओं की एक सूची दें"।

PuchatekwSzortach 18 जन॰ 2016

👍78

सभी 87 टिप्पणियाँ

S3 API इसका समर्थन नहीं करता है, इसलिए S3 का उपयोग करके ऐसा करने का एकमात्र तरीका क्लाइंट साइड सॉर्टिंग करना है।

जहाँ तक S3 मूल्य निर्धारण की बात है , हम एक ListObjects अनुरोध का उपयोग करते हैं जो एक बार में 1000 ऑब्जेक्ट लौटाता है। इसलिए aws s3 ls का उपयोग करते समय आपसे प्रति 1000 वस्तुओं पर एक सूची अनुरोध के लिए शुल्क लिया जाएगा।

एक अन्य विकल्प एस 3 के बाहर एक सहायक सूचकांक को स्टोर करना है, जैसे डायनेमोडब। अगर आपके पास कोई अन्य सवाल है तो मुझे बताएं।

jamesls 27 जन॰ 2015

👎176 👍2

शुक्रिया

ChrisSLT 27 जन॰ 2015

यद्यपि यह कार्यक्षमता aws-cli से अनुपस्थित प्रतीत होती है, इसे बैश में स्क्रिप्ट करना बहुत आसान है। उदाहरण के लिए:

#!/bin/bash
DATE=$(date +%Y-%m-%d)
aws s3 ls s3://bucket.example.com/somefolder/ | grep ${DATE}

jwieder 15 जन॰ 2016

👎23 👍3

PuchatekwSzortach 18 जन॰ 2016

👍78

बिल्कुल!

सूर्य पर, १७ जनवरी २०१६ अपराह्न ११:५३ बजे, पुचटेकवसोर्टैच <
सूचनाएं@github.com> ने लिखा:

@jwieder https://github.com/jwieder यह उपयोगकर्ता को कम करने में मदद नहीं करता है
s3 को सूची कॉल की संख्या। मान लें कि आप प्रतिदिन ~1000 समाचार संग्रहीत करते हैं
एक बाल्टी में लेख। फिर ग्राहक पक्ष पर पिछले 3 . के लेख प्राप्त करना चाहते हैं
डिफ़ॉल्ट रूप से दिन (और अधिक केवल स्पष्ट रूप से अनुरोध किए जाने पर)। लाने के लिए एक
समय की शुरुआत के बाद से सभी लेखों की सूची, 100k कहते हैं, समय लगता है
और नेटवर्क लागत अर्जित करता है (क्योंकि एक सूची कॉल केवल ऊपर वापस आएगी
1000 वस्तुओं के लिए)। यह कहने में सक्षम होना बहुत अच्छा होगा "मुझे एक सूची दें
3 दिन पहले से निर्मित/संशोधित आइटम"।
-
इस ईमेल का सीधे उत्तर दें या इसे GitHub पर देखें
https://github.com/aws/aws-cli/issues/1104#issuecomment -172425517।

ChrisSLT 18 जन॰ 2016

👍8

@PuchatekwSzortach @ChrisSLT आप सही हैं, मेरे लंगड़े उत्तर के लिए खेद है; और मैं सहमत हूं कि इस प्रकार की कार्यक्षमता एडब्ल्यूएस-क्ली में बहुत मददगार होगी। इस बुनियादी सुविधा को छोड़ने और फ़ाइल लिस्टिंग के लिए बिलिंग का संयोजन अत्यधिक संदिग्ध है। जब तक AWS पेनी-पिंचिंग को रोकता है और फ़ाइल गुणों द्वारा लिस्टिंग का परिचय देता है, यहाँ एक और विचार है जिसका मैंने उपयोग किया है जो इस थ्रेड के लिए अधिक प्रासंगिक है तो मेरा पहला उत्तर: उन फ़ाइलों के लिए जिन्हें इस तरह से ट्रैक करने की आवश्यकता है, फ़ाइलों को टाइमस्टैम्प के साथ नाम दिया गया है . फ़ाइलों की एक सूची स्थानीय पाठ फ़ाइल में संग्रहीत की जाती है (या डीबी हो सकती है यदि आपके पास चिंता करने के लिए लाखों फाइलें हैं)। किसी तिथि की खोज में फ़ाइल खोलना शामिल है, आज की तारीख से मेल खाने वाले फ़ाइल नामों की तलाश कुछ इस तरह दिख सकती है:

पढ़ते समय -r फ़ाइलनाम
करना
अगर ["$fileName" == "$आज"]; फिर
aws s3 सिंक $BUCKETURL /some/local/directory --exclude "*" --include "$fileName"
फाई
किया <"$FILE"

जहां $FILE आपका स्थानीय फ़ाइल नाम अनुक्रमणिका है और $TODAY वह तिथि है जिसे आप खोज रहे हैं। आपको इस लूप पर स्थिति बदलने की आवश्यकता होगी, लेकिन उम्मीद है कि यह आपको एक विचार दे सकता है।

इस तरह से काम करने से आपको अपनी बकेट में फाइलों को सूचीबद्ध करने से संबंधित किसी भी शुल्क से राहत मिलती है; लेकिन यह उस क्लाइंट पर भी निर्भर करता है जिसे आप स्थानीय फ़ाइल सूची तक पहुंच प्राप्त करने के लिए खोज कर रहे हैं ... आपके एप्लिकेशन/सिस्टम आर्किटेक्चर के आधार पर जो इस प्रकार के दृष्टिकोण को अक्षम्य बना सकता है। वैसे भी, उम्मीद है कि यह मेरे पहले के डरावने उत्तर के लिए फिर से मदद करता है और क्षमा चाहता है।

jwieder 19 जन॰ 2016

👍7

सहमत और धन्यवाद

मंगलवार, 19 जनवरी, 2016 को सुबह 10:00 बजे, जोश विएडर नोटिफिकेशन @github.com
लिखा था:

@PuchatekwSzortach https://github.com/PuchatekwSzortach @ChrisSLT
https://github.com/ChrisSLT आप सही हैं, मेरे लंगड़े उत्तर के लिए खेद है; तथा
मैं सहमत हूं कि इस तरह की कार्यक्षमता एडब्ल्यूएस-क्ली में बहुत मददगार होगी। NS
फ़ाइल लिस्टिंग के लिए इस बुनियादी सुविधा को छोड़ने और बिलिंग का संयोजन
अत्यधिक संदिग्ध है। जब तक एडब्ल्यूएस पेनी-पिंचिंग बंद नहीं करता और लिस्टिंग पेश नहीं करता
फ़ाइल गुण, यहाँ एक और विचार है जिसका मैंने उपयोग किया है जो अधिक प्रासंगिक है
इस धागे के लिए तो मेरा पहला उत्तर: उन फाइलों के लिए जिन्हें इसमें ट्रैक करने की आवश्यकता है
वैसे, फाइलों को टाइमस्टैम्प के साथ नाम दिया गया है। फ़ाइलों की एक सूची स्थानीय में संग्रहीत की जाती है
टेक्स्ट फ़ाइल (या डीबी हो सकती है यदि आपके पास चिंता करने के लिए लाखों फाइलें हैं)।
एक तिथि की खोज में फ़ाइल खोलना, फ़ाइल नामों की तलाश करना शामिल है
जो आज की तारीख से मेल खाता है कुछ इस तरह दिख सकता है:
पढ़ते समय -r फ़ाइलनाम
करना
अगर ["$fileName" == "$आज"]; फिर
aws s3 सिंक $BUCKETURL /some/local/directory --exclude "*" --include
"$फ़ाइलनाम"
फाई
किया <"$FILE"
जहां $FILE आपका स्थानीय फ़ाइल नाम अनुक्रमणिका है और $TODAY वह दिनांक है जहां आप हैं
के लिए खोज रहे हैं। आपको इस लूप पर कंडीशन बदलनी होगी, लेकिन
उम्मीद है कि यह आपको एक विचार दे सकता है।
चीजों को इस तरह से करने से आपको लिस्टिंग से संबंधित किसी भी शुल्क से राहत मिलती है
आपकी बाल्टी में फ़ाइलें; लेकिन यह उस क्लाइंट पर भी निर्भर करता है जिसे आप संचालित कर रहे हैं
स्थानीय फ़ाइल सूची तक पहुँच प्राप्त करने की खोज ... आपके पर निर्भर करती है
एप्लिकेशन / सिस्टम आर्किटेक्चर जो इस तरह का दृष्टिकोण बना सकता है
अक्षम्य। वैसे भी, उम्मीद है कि यह मेरे पहले के लिए फिर से मदद करता है और क्षमा चाहता है
डरपोक जवाब।
-
इस ईमेल का सीधे उत्तर दें या इसे GitHub पर देखें
https://github.com/aws/aws-cli/issues/1104#issuecomment -172878454।

ChrisSLT 19 जन॰ 2016

S3api और --query फ़ंक्शन के साथ ऐसा करने का एक तरीका है। यह OSX पर परीक्षण किया जाता है
aws s3api सूची-वस्तुओं --bucket "बकेट-नाम" --query 'Contents[?LastModified>= 2016-05-20 ][].{Key: Key}'
फिर आप अन्य s3api कार्यों के साथ प्रसंस्करण करने के लिए jq या grep का उपयोग करके फ़िल्टर कर सकते हैं।

संपादित करें: सुनिश्चित नहीं है कि वे क्यों नहीं दिख रहे हैं, लेकिन आपको उस तिथि को घेरने के लिए बैकटिक्स का उपयोग करना होगा जिसे आप पूछताछ कर रहे हैं

willstruebing 25 मई 2016

👍73 👎7 😕3

क्या आपके लिए प्रत्येक दिन के लिए फ़ोल्डर बनाना संभव है और इस तरह, आप नवीनतम फ़ाइलों को प्राप्त करने के लिए केवल आज की फ़ाइलों या अधिकांश कल के फ़ोल्डरों तक ही पहुँच प्राप्त करेंगे।

snandyala 27 मई 2016

👍3

हां। यद्यपि आपको अपनी कुंजियों के लिए केवल दिनांक उपसर्ग का उपयोग करना आसान लग सकता है (आप --bucket विकल्प का उपयोग करके बकेटनाम/फ़ोल्डरनाम संयोजन को क्वेरी नहीं कर सकते हैं)। दिनांक उपसर्ग का उपयोग करने से आप क्ली में --prefix ध्वज का उपयोग कर सकते हैं और अपने प्रश्नों को तेज कर सकते हैं क्योंकि AWS ने प्रतिक्रिया समय में वृद्धि के लिए प्रमुख नामों की शुरुआत में संख्याओं या हैश का उपयोग करने की सिफारिश की है।

willstruebing 31 मई 2016

@willstruebing , आपका समाधान अभी भी S3 API कॉल की संख्या, सर्वर-साइड क्वेरी जटिलता, या वायर पर भेजे गए डेटा की मात्रा को कम नहीं करता है। --query पैरामीटर केवल क्लाइंट-साइड jmespath फ़िल्टरिंग करता है।

kislyuk 20 फ़र॰ 2017

👍18 👎1

@kislyuk मैं पूरी तरह से सहमत हूं कि दक्षता के मुद्दों का जवाब नहीं है। हालाँकि, मेरा इरादा विशिष्ट प्रश्न का उत्तर देना था:

Is there a way to simply request a list of objects with a modified time <, >, = a certain timestamp?

वह मूल प्रश्न यह है कि मैं इस सूत्र पर कैसे पहुंचा, और इसलिए मैंने इसका उत्तर शामिल करना उचित समझा। इस मुद्दे को "aws s3 ls - संशोधित तिथि के अनुसार फ़ाइलें ढूंढें?" लेबल किया गया है।

मुझे प्रश्न के दक्षता भागों पर किसी के विचार सुनना अच्छा लगेगा, क्योंकि मेरे पास स्वयं नहीं है और मैं अभी भी उत्सुक हूं।

willstruebing 20 फ़र॰ 2017

👍9

s3cmd ls | awk {'print $3'} फॉर आई इन

sreeninair 15 जून 2017

एडब्ल्यूएस रिटर्निंग फाइलों के लिए डिफ़ॉल्ट क्या है? क्या यह उन्हें वर्णानुक्रम में वापस करता है, या सबसे हाल ही में संशोधित द्वारा, या वह मानदंड क्या है जो आपके द्वारा 1000 फ़ाइल नामों के अपने पहले बैच का अनुरोध करते समय उपयोग किया जाता है?

मैं सहमत हूं कि निश्चित रूप से किसी प्रकार का फ़िल्टर होना चाहिए (तारीख के आधार पर, नाम के अनुसार, आदि) जिसका उपयोग आप फ़ाइलों का अनुरोध करते समय कर सकते हैं ... निश्चित रूप से एक अनुपलब्ध विशेषता। :(

jshrek 24 नव॰ 2017

👍25

मैं सहमत हूं कि यह फ़िल्टरिंग सर्वर साइड होनी चाहिए और यह एक मूलभूत आवश्यकता है।

don1uppa 6 मार्च 2018

👍48

सर्वर साइड क्वेरी/फ़िल्टरिंग के लिए +1

mpapetti 8 मार्च 2018

सर्वर साइड फ़िल्टरिंग के लिए +1

bugking 28 मार्च 2018

वास्तव में अभी भी बहुत जरूरी है, +1

chescales 9 अप्रैल 2018

@chescales और बाकी के साथ सहमत, सर्वर साइड फ़िल्टरिंग के लिए +1

alecdotico 1 मई 2018

👍5

tonymporter 22 मई 2018

likeshumidity 4 जून 2018

jamieshiz 7 जून 2018

ramsaybell 18 जून 2018

PeterSzegedi 18 जून 2018

marouanehassanioptimistik 18 जून 2018

dubrox 26 जून 2018

👍1

gFaro 27 जून 2018

ZedYeung 29 जून 2018

AlexBantiuc 10 जुल॰ 2018

TheAvgTech 17 जुल॰ 2018

GitHubUUP 18 जुल॰ 2018

kinkerl 20 जुल॰ 2018

यह सुविधा पहले से कैसे नहीं है?

+100000

AdamShechter9 24 जुल॰ 2018

+1e999

inletjenkins 25 जुल॰ 2018

utenakr 27 जुल॰ 2018

duginivijay 27 जुल॰ 2018

dlahyani 1 अग॰ 2018

shuklaneerajdev 1 अग॰ 2018

ilsundal 1 अग॰ 2018

dmasyukov 7 अग॰ 2018

muhufuk 13 अग॰ 2018

CoeusCC 15 अग॰ 2018

+65535

ysyyork 16 अग॰ 2018

😄7 👍5

@willstruebing की टिप्पणी ने मेरे लिए काम किया, जैसे:

aws s3api list-objects --bucket "mybucket" --prefix "some/prefix" --query "Contents[?LastModified>=`2018-08-22`].{Key: Key}"

ओह कोई बात नहीं - मैं इस कमांड से नेटवर्क ट्रैफ़िक को देखने के बाद देखता हूं कि सभी कुंजियाँ अभी भी s3 से डाउनलोड की जा रही हैं और aws cli फ़िल्टरिंग क्लाइंट साइड कर रही है!

gfody 22 अग॰ 2018

👍8

igiloh 23 अक्तू॰ 2018

tomisaacson 24 अक्तू॰ 2018

Alex-Willenbrink 29 अक्तू॰ 2018

naveen-venkat 30 अक्तू॰ 2018

--exclude और --include फ़िल्टर के बारे में क्या?

!/बिन/बाश

DATE=$(दिनांक +%Y-%m-%d)
aws s3 ls s3://bucket.example.com/somefolder/ --exclude " " --include

umjohndacosta 31 अक्तू॰ 2018

Ak-sky 9 नव॰ 2018

nalinguptalinux 12 नव॰ 2018

+1 मिलियन

HarveyEV 6 दिस॰ 2018

😄9 👎1

mduca 5 जन॰ 2019

+∞

Besjan 22 जन॰ 2019

+∞+1

matneves 24 जन॰ 2019

dvidr 1 फ़र॰ 2019

umeshksingla 2 फ़र॰ 2019

genki0406 3 फ़र॰ 2019

parhamfh 5 फ़र॰ 2019

gubbaraviteja 8 मार्च 2019

dmead 19 मार्च 2019

farzaa 21 मार्च 2019

+1 :( :(

souuu 26 मार्च 2019

मुझे लगता है कि यह AWS के मूल्य निर्धारण मॉडल का हिस्सा है, सुपर सस्ते स्टोरेज लेकिन एक्सेस टू पे। बड़ी फ़ाइलों के लिए अच्छा है लेकिन यदि आप लाखों छोटी फ़ाइलों को क्वेरी/प्रबंधित करना चाहते हैं तो यह आपको बर्बाद कर देगा।

mehditlili 10 अप्रैल 2019

davidfetter 18 अप्रैल 2019

मुझे लगता है यही कारण है कि उन्होंने एथेना बनाया? कुछ घंटियाँ और सीटी जोड़ते समय बिल करने का दूसरा तरीका?

nickfreemandesign 24 अप्रैल 2019

antgus 15 मई 2019

nshaf 16 मई 2019

joshx0rfz 21 मई 2019

मुझे s3 बाल्टी वस्तुओं को सूचीबद्ध करना है जो पूर्व में दो तिथियों के बीच संशोधित हैं। 2019-06-08 से 2019-06-11

कोई विचार किसी को?

hemantkhokhar 11 जून 2019

aws s3api list-objects --bucket "BUCKET" --prefix "OPTIONAL" --query "Contents[?LastModified>='2019-06-08'][].{Key: Key,LastModified: LastModified}" और फिर 2019-06-11 . के बाद फ़िल्टर करने के लिए JQ या अपने पसंदीदा टूल का उपयोग करें

willstruebing 11 जून 2019

👍2

यह एपीआई कॉल को खत्म नहीं करता है। वे प्रश्न ग्राहक पक्ष हैं

मंगल, जून 11, 2019 पर, 2:07 willstruebing [email protected]
लिखा था:

एडब्ल्यूएस s3api सूची-वस्तुओं --बाल्टी "बकेट" --उपसर्ग "वैकल्पिक" --क्वेरी
"सामग्री [? LastModified> = '2019-06-08'] []। {कुंजी: कुंजी, LastModified:
LastModified}" और उसके बाद फ़िल्टर करने के लिए JQ या अपने पसंदीदा टूल का उपयोग करें
2019-06-11
-
आप इसे प्राप्त कर रहे हैं क्योंकि आपने टिप्पणी की थी।
इस ईमेल का सीधे उत्तर दें, इसे GitHub पर देखें
https://github.com/aws/aws-cli/issues/1104?email_source=notifications&email_token=AABLGMW5AFAU5BUNM7FEMZ3PZ7SV3A5CNFSM4A2VNZ2KYY3PNVWWK3TUL52HS4DFVREXG43VMVB#03ZGODNMVX
या थ्रेड को म्यूट करें
https://github.com/notifications/unsubscribe-auth/AABLGMVTIZDPPIEUK2CZR6TPZ7SV3ANCNFSM4A2VNZ2A
.

dmead 11 जून 2019

👍1

@dmead मैं पूरी तरह से सहमत हूँ। हालांकि, सर्वर साइड फ़िल्टरिंग करने की कार्यक्षमता वर्तमान में मौजूद नहीं है (मुझे लगता है कि यही कारण है कि इतने सारे लोग इस विशेष पोस्ट पर समाप्त होते हैं), इसलिए यह एकमात्र कामकाज है जिसे मैं कार्य को पूरा करने के बारे में जानता हूं। क्या आपके पास इसे सर्वर साइड करने का कोई तरीका है या यह प्रस्तावित समाधान के बारे में सिर्फ एक अवलोकन है? मुझे यह कैसे करना है और एपीआई कॉल की मात्रा को कम करने के बारे में इनपुट सुनना अच्छा लगेगा।

willstruebing 12 जून 2019

यदि आपके पास समय है, तो मैं एथेना में मेटाडेटा का चयन करना चाहूंगा। मैं
मुझे खुद मौका नहीं मिला, लेकिन यह एक संभावित समाधान की तरह लग रहा था।

बुध, जून 12, 2019 10:28 पूर्वाह्न willstruebing पर पर [email protected]
लिखा था:

@dmead https://github.com/dmead मैं पूरी तरह सहमत हूं। हालांकि
सर्वर साइड फ़िल्टरिंग करने की कार्यक्षमता वर्तमान में मौजूद नहीं है (मुझे लगता है)
यही कारण है कि इतने सारे लोग इस विशेष पोस्ट पर समाप्त होते हैं), तो यह है
केवल कार्य को पूरा करने के लिए मुझे पता है कि कामकाज। क्या आपके पास एक हैं
इसे सर्वर साइड करने का तरीका या यह प्रस्तावित के बारे में सिर्फ एक अवलोकन है
समाधान? मुझे यह कैसे करना है और इसकी मात्रा को कम करने के बारे में इनपुट सुनना अच्छा लगेगा
एपीआई कॉल।
-
आप इसे प्राप्त कर रहे हैं क्योंकि आपका उल्लेख किया गया था।
इस ईमेल का सीधे उत्तर दें, इसे GitHub पर देखें
https://github.com/aws/aws-cli/issues/1104?email_source=notifications&email_token=AABLGMTQZD6OWVH4KDMSJPLP2EBY7A5CNFSM4A2VNZ2KYY3PNVWWK3TUL52HS4DFVREXG43VMVBJ#TZ1229H
या थ्रेड को म्यूट करें
https://github.com/notifications/unsubscribe-auth/AABLGMRLA5OYSYGEYNPUY5DP2EBY7ANCNFSM4A2VNZ2A
.

dmead 12 जून 2019

+24

miryee 1 अग॰ 2019

हर कोई इसे ऊपर उठा रहा है, इसे एडब्ल्यूएस सीएलआई के साथ दाखिल करने से मदद नहीं मिलती है। एडब्ल्यूएस सीएलआई S3 द्वारा बाध्य है। यदि आप इसे ठीक करना चाहते हैं तो टूल के जीथब के बजाय एस 3 टीम के साथ फाइल करें: पी

mike-bailey 14 अग॰ 2019

👍2

@ माइक-बेली ठीक है, और मैं यह कैसे करूँ?

baharev 18 अग॰ 2019

👍2

अगर यह मैं व्यक्तिगत रूप से होता तो मैं AWS टिकट दाखिल करता ताकि यह सेवा दल को मिल जाए। लेकिन मैं एडब्ल्यूएस के लिए काम नहीं करता। मुझे पता है कि इस पर '+1' टिप्पणी करने से कोई बदलाव नहीं होगा।

mike-bailey 18 अग॰ 2019

S3api और --query फ़ंक्शन के साथ ऐसा करने का एक तरीका है। यह OSX पर परीक्षण किया जाता है
aws s3api सूची-वस्तुओं --bucket "बकेट-नाम" --query 'Contents[?LastModified>= 2016-05-20 ][].{Key: Key}'
फिर आप अन्य s3api कार्यों के साथ प्रसंस्करण करने के लिए jq या grep का उपयोग करके फ़िल्टर कर सकते हैं।
संपादित करें: सुनिश्चित नहीं है कि वे क्यों नहीं दिख रहे हैं, लेकिन आपको उस तिथि को घेरने के लिए बैकटिक्स का उपयोग करना होगा जिसे आप पूछताछ कर रहे हैं

इस उत्तर को आजमाने से पहले सुनिश्चित करें कि आपके पास awscli का नवीनतम संस्करण है। मैंने अपग्रेड किया
awscli 1.11.47 -> 1.16.220
और इसने खूंखार क्लाइंट-साइड फ़िल्टरिंग किया लेकिन यह काम कर गया।
सर्वर-साइड फ़िल्टरिंग के लिए +1।

kamalptw 20 अग॰ 2019

jaidisido 17 नव॰ 2019

itsUnsmart 15 दिस॰ 2019

कृपया धागा पढ़ें, +1 कुछ नहीं करता

mike-bailey 15 दिस॰ 2019

👍1

आप इसे आसानी से नहीं कर सकते हैं लेकिन इन टिप्पणियों में निम्नलिखित टिप है:

 aws s3api list-objects --bucket "bucket-name" --query 'Contents[?LastModified>=`2016-05-20`][].{Key: Key}'

यह अभी भी क्लाइंट साइड है और बहुत सारे अनुरोध करेगा।

atcol 22 दिस॰ 2019

👍1

जैसा कि पहले उल्लेख किया गया है, यह इसे क्लाइंट साइड संभालता है। तो आप अभी भी संभावित रूप से कॉल के साथ बाल्टी को पटक देते हैं।

mike-bailey 22 दिस॰ 2019

👍1

फ़िल्टरिंग सर्वर साइड होनी चाहिए और मेरे विचार से यह एक मूलभूत आवश्यकता है।

akhilrajvc 3 जन॰ 2020

👍2 👎1

यहाँ aws s3 सिंक का उपयोग करके एक उदाहरण दिया गया है, इसलिए केवल नई फ़ाइलें डाउनलोड की जाती हैं। यह लॉग को एक लॉग फ़ाइल में जोड़ता है और फ़ाइल को सहेजने से पहले टिप्पणियों को हटा देता है। फिर आप लॉग डेटा प्राप्त करने के लिए grep और चीजों का उपयोग कर सकते हैं। मेरे मामले में, मुझे एक विशिष्ट फ़ाइल में अद्वितीय हिट गिनने की आवश्यकता थी। नीचे दिया गया यह कोड इस लिंक से अनुकूलित किया गया था: https://shapeshed.com/aws-cloudfront-log/ sed कमांड मैक पर भी काम करता है और लेख में जो है उससे अलग है। उम्मीद है ये मदद करेगा!

aws s3 sync s3://<YOUR_BUCKET> .
cat *.gz > combined.log.gz
gzip -d combined.log.gz
sed -i '' '/^#/ d' combined.log

# counts unique logs for px.gif hits
grep '/px.gif' combined.log | cut -f 1,8 | sort | uniq -c | sort -n -r

# above command will return something like below. The total count followed by the date and the file name.
17 2020-01-02 /px.gif
 9 2020-01-03 /px.gif

bansawbanchee 3 जन॰ 2020

मैं इसे एक पुराना मुद्दा जानता हूं लेकिन यहां एक सुरुचिपूर्ण समाधान छोड़ना है:

aws s3api सूची-वस्तुओं --output=text --query "Contents[?LastModified >= <DATE_YOU_WANT_TO_START> ].{Key: Key}"

bes1002t 7 मई 2020

👎4

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स

Aws-cli: aws s3 ls - संशोधित तिथि के अनुसार फ़ाइलें खोजें?

सबसे उपयोगी टिप्पणी

सभी 87 टिप्पणियाँ

!/बिन/बाश

संबंधित मुद्दों