Aws-cli: aws s3 ls - 수정 날짜로 파일을 찾으시겠습니까?

에 만든 2015년 01월 21일 · 87코멘트 · 출처: aws/aws-cli

안녕하세요,
우리는 최근에 추가되거나 업데이트된 객체를 찾기 위해 수천(수십만까지 증가할 수 있음)의 객체와 폴더/접두사가 있는 버킷을 검색할 수 있기를 바랍니다. 전체 버킷에서 aws s3 ls를 하루에 여러 번 실행한 다음 목록을 정렬하는 것은 비효율적입니다. 수정된 시간 <, >, = 특정 타임스탬프가 있는 객체 목록을 단순히 요청하는 방법이 있습니까?

또한 aws s3 ls 요청에 대해 한 번만 청구됩니까, 아니면 요청에 의해 반환된 각 객체에 대해 한 번 청구됩니까?

github을 처음 사용하는 사람에게 실제 코드를 제공할 만큼 충분히 알고 싶었습니다. 도움을 주셔서 감사합니다.

guidance

출처

ChrisSLT

👍34

가장 유용한 댓글

@jwieder 이것은 사용자가 s3에 대한 목록 호출 수를 줄이는 데 도움이 되지 않습니다. 매일 ~1000개의 뉴스 기사를 양동이에 저장한다고 가정해 보겠습니다. 그런 다음 클라이언트 측에서는 기본적으로 지난 3일 동안의 기사를 받기를 원합니다(명시적으로 요청한 경우에만). 예를 들어 100k와 같이 시간이 시작된 이후로 모든 기사의 목록을 가져와야 하면 시간이 걸리고 네트워크 비용이 발생합니다(단일 목록 호출이 최대 1000개 항목만 반환하기 때문). "3일 전에 생성/수정된 항목 목록을 주세요"라고 말할 수 있다면 훨씬 좋을 것입니다.

PuchatekwSzortach 에 2016년 01월 18일

👍78

모든 87 댓글

S3 API는 이를 지원하지 않으므로 S3를 사용하여 이를 수행하는 유일한 방법은 클라이언트 측 정렬을 수행하는 것입니다.

S3 가격 책정 에 관해서는 한 번에 1000개의 객체를 반환하는 ListObjects 요청을 사용합니다. 따라서 aws s3 ls 사용할 때 1000개 개체당 LIST 요청에 대해 요금이 부과됩니다.

또 다른 대안은 dynamodb와 같은 보조 인덱스를 S3 외부에 저장하는 것입니다. 다른 질문이 있으면 알려주세요.

jamesls 에 2015년 01월 27일

👎176 👍2

감사합니다

ChrisSLT 에 2015년 01월 27일

이 기능은 aw-cli에 없는 것처럼 보이지만 bash에서 스크립팅하는 것은 매우 쉽습니다. 예를 들어:

#!/bin/bash
DATE=$(date +%Y-%m-%d)
aws s3 ls s3://bucket.example.com/somefolder/ | grep ${DATE}

jwieder 에 2016년 01월 15일

👎23 👍3

PuchatekwSzortach 에 2016년 01월 18일

👍78

정확히!

2016년 1월 17일 일요일 오후 11시 53분, PuchatekwSzortach <
[email protected]>은 다음과 같이 썼습니다.

@jwieder https://github.com/jwieder 이것은 사용자 감소에 도움이되지 않습니다
s3에 대한 목록 호출 수. 매일 ~1000개의 뉴스를 저장한다고 가정해 봅시다.
양동이에 기사. 그런 다음 클라이언트 측에서 마지막 3에 대한 기사를 원합니다.
기본적으로 일(명시적으로 요청한 경우에만). 가져오는 데
시간이 시작된 이후의 모든 기사 목록(예: 100k)에는 시간이 걸립니다.
네트워크 비용이 발생합니다(단일 목록 호출은
1000개 항목까지). "나에게 목록을 줘.
3일 전에 생성/수정된 항목".
—
이 이메일에 직접 답장하거나 GitHub에서 확인하세요.
https://github.com/aws/aws-cli/issues/1104#issuecomment -172425517.

ChrisSLT 에 2016년 01월 18일

👍8

@PuchatekwSzortach @ChrisSLT 네 말이 맞아요, 형편 없는 답변을 해서 죄송합니다. 이러한 종류의 기능이 aws-cli에서 매우 유용할 것이라는 데 동의합니다. 이 기본 기능을 제외하고 파일 목록에 대한 청구를 결합하는 것은 매우 의심스럽습니다. AWS가 페니 핀칭을 중지하고 파일 속성별 목록을 도입할 때까지 이 스레드와 첫 번째 응답과 더 관련이 있는 또 다른 아이디어가 있습니다. 이러한 방식으로 추적해야 하는 파일의 경우 파일 이름은 타임스탬프로 지정됩니다. . 파일 목록은 로컬 텍스트 파일에 저장됩니다(또는 걱정할 파일이 엄청나게 많은 경우 db가 될 수 있음). 날짜 검색은 파일 열기를 포함하며 오늘 날짜와 일치하는 파일 이름을 찾는 것은 다음과 같을 수 있습니다.

읽는 동안 -r fileName
~하다
if [ "$fileName" == "$TODAY" ]; 그 다음에
aws s3 동기화 $BUCKETURL /some/local/directory --exclude "*" --include "$fileName"
파이
완료 < "$FILE"

여기서 $FILE은 로컬 파일 이름 인덱스이고 $TODAY는 검색하는 날짜입니다. 이 루프의 조건을 변경해야 하지만 이것이 아이디어를 제공할 수 있기를 바랍니다.

이렇게 하면 버킷에 있는 파일을 나열하는 것과 관련된 요금이 면제됩니다. 그러나 로컬 파일 목록에 대한 액세스 권한이 있는지 검색을 수행하는 클라이언트에 따라 달라집니다. 이러한 접근 방식을 실행 불가능하게 만들 수 있는 애플리케이션/시스템 아키텍처에 따라 다릅니다. 어쨌든, 이것이 도움이 되기를 바라며 이전의 derpy 답변에 대해 다시 사과드립니다.

jwieder 에 2016년 01월 19일

👍7

동의하고 감사합니다

2016년 1월 19일 화요일 오전 10시, Josh Wieder [email protected]
썼다:

@PuchatekwSzortach https://github.com/PuchatekwSzortach @ChrisSLT
https://github.com/ChrisSLT 네 말이 맞아요, 형편없는 답변을 해서 죄송합니다. 그리고
이러한 종류의 기능이 aws-cli에서 매우 유용할 것이라는 데 동의합니다. NS
이 기본 기능을 제외하고 파일 목록에 대한 청구 조합
매우 의심스럽습니다. AWS가 페니 핀칭을 중단하고 상장을 도입할 때까지
파일 속성, 여기에 더 관련성이 높은 또 다른 아이디어가 있습니다.
이 스레드에 다음 내 첫 번째 답장: 이 항목에서 추적해야 하는 파일의 경우
방식으로 파일 이름은 타임스탬프로 지정됩니다. 파일 목록은 로컬에 저장됩니다.
텍스트 파일(또는 걱정할 파일이 엄청나게 많은 경우 db가 될 수 있음).
날짜 검색에는 파일 열기, 파일 이름 찾기가 포함됩니다.
오늘 날짜와 일치하는 항목은 다음과 같을 수 있습니다.
읽는 동안 -r fileName
~하다
if [ "$fileName" == "$TODAY" ]; 그 다음에
aws s3 동기화 $BUCKETURL /some/local/directory --exclude "*" --include
"$파일이름"
파이
완료 < "$FILE"
여기서 $FILE은 로컬 파일 이름 인덱스이고 $TODAY는 현재 날짜입니다.
찾고 있습니다. 이 루프의 조건을 변경해야 하지만
이것이 당신에게 아이디어를 줄 수 있기를 바랍니다.
이런 식으로 일을 하면 리스팅과 관련된 모든 비용이 면제됩니다.
버킷의 파일 그러나 그것은 또한 당신이 수행하는 클라이언트에 달려 있습니다
로컬 파일 목록에 대한 액세스 권한 검색 ... 사용자에 따라
이러한 접근 방식을 만들 수 있는 애플리케이션/시스템 아키텍처
불가능하다. 어쨌든 이것이 도움이되기를 바라며 이전에 다시 사과드립니다.
더피 대답.
—
이 이메일에 직접 답장하거나 GitHub에서 확인하세요.
https://github.com/aws/aws-cli/issues/1104#issuecomment -172878454.

ChrisSLT 에 2016년 01월 19일

s3api 및 --query 기능을 사용하여 이를 수행하는 방법이 있습니다. 이것은 OSX에서 테스트되었습니다.
aws s3api 목록 개체 --bucket "버킷 이름" --query '내용[?LastModified>= 2016-05-20 ][].{키: 키}'
그런 다음 jq 또는 grep을 사용하여 필터링하여 다른 s3api 기능으로 처리할 수 있습니다.

편집: 왜 표시되지 않는지 확실하지 않지만 쿼리하는 날짜를 둘러싸기 위해 백틱을 사용해야 합니다.

willstruebing 에 2016년 05월 25일

👍73 👎7 😕3

매일 폴더를 만들 수 있습니까? 그러면 오늘 파일에만 액세스하거나 최대 어제 폴더에 액세스하여 최신 파일을 얻을 수 있습니다.

snandyala 에 2016년 05월 27일

👍3

예. 단순히 키에 날짜 접두사를 사용하는 것이 더 쉬울 수 있지만(--bucket 옵션을 사용하여 버킷 이름/폴더 이름 조합을 쿼리할 수 없음). 날짜 접두사를 사용하면 cli에서 --prefix 플래그를 사용하고 쿼리 속도를 높일 수 있습니다. AWS에서는 응답 시간을 늘리기 위해 키 이름의 시작 부분에 숫자나 해시를 사용할 것을 권장합니다.

willstruebing 에 2016년 05월 31일

@willstruebing , 귀하의 솔루션은 여전히 S3 API 호출 수, 서버 측 쿼리 복잡성 또는 유선을 통해 전송되는 데이터 양을 줄이지 않습니다. --query 매개변수는 클라이언트 측 jmespath 필터링만 수행합니다.

kislyuk 에 2017년 02월 20일

👍18 👎1

@kislyuk 효율성 문제에 대한 답이 아니라는 점에 전적으로 동의합니다. 그러나 내 의도는 다음과 같은 구체적인 질문에 답하는 것이었습니다.

Is there a way to simply request a list of objects with a modified time <, >, = a certain timestamp?

그 기본적인 질문은 내가 이 스레드에서 어떻게 끝났는지에 대한 것이므로 이에 대한 답변을 포함하는 것이 합리적이라고 생각했습니다. 문제의 레이블은 "aws s3 ls - 수정된 날짜로 파일을 찾으시겠습니까?"입니다.

나는 나 자신이 없고 여전히 궁금하기 때문에 질문의 효율성 부분에 대한 누군가의 아이디어를 듣고 싶습니다.

willstruebing 에 2017년 02월 20일

👍9

#for i in s3cmd ls | awk {'print $3'} ; do aws s3 ls $i --recursive ; 완료 >> s3-full.out

sreeninair 에 2017년 06월 15일

AWS 반환 파일의 기본값은 무엇입니까? 알파벳순으로 또는 가장 최근에 수정된 순서로 반환합니까, 아니면 1000개 파일 이름의 첫 번째 배치를 요청할 때 사용하는 기준이 무엇입니까?

파일을 요청할 때 사용할 수 있는 일종의 필터(날짜, 이름 등으로 정렬)가 있어야 한다는 데 동의합니다. 확실히 누락된 기능입니다. :(

jshrek 에 2017년 11월 24일

👍25

나는 이 필터링이 서버 측이어야 하고 기본적인 요구 사항이라는 데 동의합니다.

don1uppa 에 2018년 03월 06일

👍48

서버 측 쿼리/필터링의 경우 +1

mpapetti 에 2018년 03월 08일

서버 측 필터링의 경우 +1

bugking 에 2018년 03월 28일

여전히 매우 필요합니다. +1

chescales 에 2018년 04월 09일

@chescales 및 나머지에 동의, 서버 측 필터링에 +1

alecdotico 에 2018년 05월 01일

👍5

tonymporter 에 2018년 05월 22일

likeshumidity 에 2018년 06월 04일

jamieshiz 에 2018년 06월 07일

ramsaybell 에 2018년 06월 18일

PeterSzegedi 에 2018년 06월 18일

marouanehassanioptimistik 에 2018년 06월 18일

dubrox 에 2018년 06월 26일

👍1

gFaro 에 2018년 06월 27일

ZedYeung 에 2018년 06월 29일

AlexBantiuc 에 2018년 07월 10일

TheAvgTech 에 2018년 07월 17일

GitHubUUP 에 2018년 07월 18일

kinkerl 에 2018년 07월 20일

어떻게 이것이 이미 기능이 아닌가?

+100000

AdamShechter9 에 2018년 07월 24일

+1999년

inletjenkins 에 2018년 07월 25일

utenakr 에 2018년 07월 27일

duginivijay 에 2018년 07월 27일

dlahyani 에 2018년 08월 01일

shuklaneerajdev 에 2018년 08월 01일

ilsundal 에 2018년 08월 01일

dmasyukov 에 2018년 08월 07일

muhufuk 에 2018년 08월 13일

CoeusCC 에 2018년 08월 15일

+65535

ysyyork 에 2018년 08월 16일

😄7 👍5

@willstruebing 의 의견이 저에게

aws s3api list-objects --bucket "mybucket" --prefix "some/prefix" --query "Contents[?LastModified>=`2018-08-22`].{Key: Key}"

oh Nevermind - 이 명령의 네트워크 트래픽을 본 후 모든 키가 여전히 s3에서 다운로드되고 aws cli가 클라이언트 측에서 필터링을 수행하고 있음을 알 수 있습니다!

gfody 에 2018년 08월 22일

👍8

igiloh 에 2018년 10월 23일

tomisaacson 에 2018년 10월 24일

Alex-Willenbrink 에 2018년 10월 29일

naveen-venkat 에 2018년 10월 30일

--exclude 및 --include 필터는 어떻습니까?

!/bin/bash

날짜=$(날짜 +%Y-%m-%d)
aws s3 ls s3://bucket.example.com/somefolder/ --exclude " " --include " ${DATE}*"

umjohndacosta 에 2018년 10월 31일

Ak-sky 에 2018년 11월 09일

nalinguptalinux 에 2018년 11월 12일

+1백만

HarveyEV 에 2018년 12월 06일

😄9 👎1

mduca 에 2019년 01월 05일

+∞

Besjan 에 2019년 01월 22일

+∞+1

matneves 에 2019년 01월 24일

dvidr 에 2019년 02월 01일

umeshksingla 에 2019년 02월 02일

genki0406 에 2019년 02월 03일

parhamfh 에 2019년 02월 05일

gubbaraviteja 에 2019년 03월 08일

dmead 에 2019년 03월 19일

farzaa 에 2019년 03월 21일

+1 :( :(

souuu 에 2019년 03월 26일

나는 그것이 AWS의 가격 모델의 일부라고 생각합니다. 매우 저렴한 스토리지이지만 액세스 비용을 지불해야 합니다. 큰 파일에 적합하지만 수백만 개의 작은 파일을 쿼리/관리하려는 경우에는 실패합니다.

mehditlili 에 2019년 04월 10일

davidfetter 에 2019년 04월 18일

이것이 그들이 아테나를 만든 이유라고 생각합니다. 종소리와 휘파람을 추가하면서 청구하는 또 다른 방법은 무엇입니까?

nickfreemandesign 에 2019년 04월 24일

antgus 에 2019년 05월 15일

nshaf 에 2019년 05월 16일

joshx0rfz 에 2019년 05월 21일

예를 들어 두 날짜 사이에 수정된 s3 버킷 객체를 나열해야 합니다. 2019-06-08 ~ 2019-06-11

아무 생각 없어?

hemantkhokhar 에 2019년 06월 11일

aws s3api list-objects --bucket "BUCKET" --prefix "OPTIONAL" --query "Contents[?LastModified>='2019-06-08'][].{Key: Key,LastModified: LastModified}" 그런 다음 JQ 또는 선호하는 도구를 사용하여 2019-06-11 이후 필터링

willstruebing 에 2019년 06월 11일

👍2

그렇다고 API 호출이 제거되는 것은 아닙니다. 해당 쿼리는 클라이언트 측입니다.

2019년 6월 11일 화, 오후 2:07 willstrewing [email protected]
썼다:

aws s3api list-objects --bucket "BUCKET" --prefix "OPTIONAL" --query
"내용[?LastModified>='2019-06-08'][].{Key: Key, LastModified:
LastModified}" 그런 다음 JQ 또는 선호하는 도구를 사용하여
2019-06-11
—
당신이 댓글을 달았기 때문에 이것을 받는 것입니다.
이 이메일에 직접 답장하고 GitHub에서 확인
https://github.com/aws/aws-cli/issues/1104?email_source=notifications&email_token=AABLGMW5AFAU5BUNM7FEMZ3PZ7SV3A5CNFSM4A2VNZ2KYY3PNVWWK3TUL52HS4DFVREXG43VMVBW63
또는 스레드 음소거
https://github.com/notifications/unsubscribe-auth/AABLGMVTIZDPPIEUK2CZR6TPZ7SV3ANCNFSM4A2VNZ2A
.

dmead 에 2019년 06월 11일

👍1

@dmead 전적으로 동의합니다. 그러나 서버 측 필터링을 수행하는 기능은 현재 존재하지 않으므로(이 때문에 많은 사람들이 이 특정 게시물을 보게 되는 것 같습니다), 이것이 당면한 작업을 완료하기 위해 제가 아는 유일한 해결 방법입니다. 서버 측에서 수행할 수 있는 방법이 있습니까 아니면 제안된 솔루션에 대한 관찰일 뿐입니까? 이를 수행하고 API 호출을 줄이는 방법에 대한 의견을 듣고 싶습니다.

willstruebing 에 2019년 06월 12일

시간이 있다면 athena에서 메타데이터를 선택하는 방법을 살펴보겠습니다. NS
나 자신에게는 기회가 없었지만 그것이 가능한 해결책처럼 보였습니다.

2019년 6월 12일 수요일 오전 10시 28분 willstrewing [email protected]
썼다:

@dmead https://github.com/dmead 전적으로 동의합니다. 그러나, 그
서버 측 필터링을 수행하는 기능은 현재 존재하지 않습니다(제 생각에는
그래서 많은 사람들이 이 특정 게시물을 보게 됩니다.
내가 아는 유일한 해결 방법은 당면한 작업을 완료하는 것입니다. 가지고 있습니까?
서버 측에서 수행하는 방법 또는 이것은 제안된 사항에 대한 관찰일 뿐입니다.
해결책? 나는 그것을 하고 양을 줄이는 방법에 대한 의견을 듣고 싶습니다.
API 호출.
—
당신이 언급되었기 때문에 이것을 받는 것입니다.
이 이메일에 직접 답장하고 GitHub에서 확인
https://github.com/aws/aws-cli/issues/1104?email_source=notifications&email_token=AABLGMTQZD6OWVH4KDMSJPLP2EBY7A5CNFSM4A2VNZ2KYY3PNVWWK3TUL52HS4DFVEXG43NDNMXW6
또는 스레드 음소거
https://github.com/notifications/unsubscribe-auth/AABLGMRLA5OYSYGEYNPUY5DP2EBY7ANCNFSM4A2VNZ2A
.

dmead 에 2019년 06월 12일

+24

miryee 에 2019년 08월 01일

모든 사람이 이것을 찬성하고 AWS CLI로 제출하는 것은 도움이 되지 않습니다. AWS CLI는 S3에 구속됩니다. 수정하려면 도구의 github 대신 S3 팀에 파일을 제출하세요.:P

mike-bailey 에 2019년 08월 14일

👍2

@mike-bailey 좋습니다. 어떻게 해야 하나요?

baharev 에 2019년 08월 18일

👍2

저라면 AWS 티켓을 제출하여 서비스 팀에 전달하겠습니다. 하지만 저는 AWS에서 일하지 않습니다. 나는 이것에 대해 '+1'을 하는 것이 변경되지 않을 것이라는 것을 알고 있습니다.

mike-bailey 에 2019년 08월 18일

s3api 및 --query 기능을 사용하여 이를 수행하는 방법이 있습니다. 이것은 OSX에서 테스트되었습니다.
aws s3api 목록 개체 --bucket "버킷 이름" --query '내용[?LastModified>= 2016-05-20 ][].{키: 키}'
그런 다음 jq 또는 grep을 사용하여 필터링하여 다른 s3api 기능으로 처리할 수 있습니다.
편집: 왜 표시되지 않는지 확실하지 않지만 쿼리하는 날짜를 둘러싸기 위해 백틱을 사용해야 합니다.

이 답변을 시도하기 전에 최신 버전의 awscli 가 있는지 확인하십시오. 나는 업그레이드했다
awscli 1.11.47 -> 1.16.220
그리고 두려운 클라이언트 측 필터링을 수행했지만 작동했습니다.
서버 측 필터링의 경우 +1입니다.

kamalptw 에 2019년 08월 20일

jaidisido 에 2019년 11월 17일

itsUnsmart 에 2019년 12월 15일

스레드를 읽으십시오. +1은 아무 것도 하지 않습니다.

mike-bailey 에 2019년 12월 15일

👍1

당신은 이것을 쉽게 할 수 없지만 이 주석에 묻혀 있는 것은 다음과 같은 팁입니다.

 aws s3api list-objects --bucket "bucket-name" --query 'Contents[?LastModified>=`2016-05-20`][].{Key: Key}'

이것은 여전히 클라이언트 측이며 많은 요청을 수행합니다.

atcol 에 2019년 12월 22일

👍1

그러나 이전에 언급했듯이 클라이언트 측을 처리합니다. 따라서 여전히 잠재적으로 호출로 버킷을 슬램(slam)할 수 있습니다.

mike-bailey 에 2019년 12월 22일

👍1

필터링은 서버 측이어야 하며 기본적으로 필요하다고 생각합니다.

akhilrajvc 에 2020년 01월 03일

👍2 👎1

다음은 새 파일만 다운로드하도록 aws s3 sync를 사용하는 예입니다. 로그를 하나의 로그 파일로 결합하고 파일을 저장하기 전에 주석을 제거합니다. 그런 다음 grep 및 things를 사용하여 로그 데이터를 얻을 수 있습니다. 제 경우에는 특정 파일에 대한 고유 조회수를 계산해야 했습니다. 아래 코드는 https://shapeshed.com/aws-cloudfront-log/ 링크에서 수정한 것입니다. sed 명령은 Mac에서도 작동하며 기사의 내용과 다릅니다. 도움이 되었기를 바랍니다!

aws s3 sync s3://<YOUR_BUCKET> .
cat *.gz > combined.log.gz
gzip -d combined.log.gz
sed -i '' '/^#/ d' combined.log

# counts unique logs for px.gif hits
grep '/px.gif' combined.log | cut -f 1,8 | sort | uniq -c | sort -n -r

# above command will return something like below. The total count followed by the date and the file name.
17 2020-01-02 /px.gif
 9 2020-01-03 /px.gif

bansawbanchee 에 2020년 01월 03일

나는 오래된 문제를 알고 있지만 여기에 우아한 솔루션을 남겨 두십시오.

aws s3api list-objects --output=text --query "내용[?LastModified >= <DATE_YOU_WANT_TO_START> ].{키: 키}"

bes1002t 에 2020년 05월 07일

👎4

이 페이지가 도움이 되었나요?

0 / 5 - 0 등급

Aws-cli: aws s3 ls - 수정 날짜로 파일을 찾으시겠습니까?

가장 유용한 댓글

모든 87 댓글

!/bin/bash

관련 문제