S3 APIはこれをサポートしていないため、S3を使用してこれを行う唯一の方法は、クライアント側の並べ替えを行うことです。

S3の価格設定に関しては、一度に1000個のオブジェクトを返すListObjectsリクエストを使用します。 したがって、 aws s3 lsを使用すると、1000オブジェクトごとにLISTリクエストの料金が請求されます。

もう1つの方法は、S3の外部に補助インデックス（dynamodbなど）を格納することです。 他にご不明な点がございましたら、お気軽にお問い合わせください。

ありがとうございました

この機能はaws-cliにはないように見えますが、bashでスクリプトを作成するのは非常に簡単です。 例えば：

#!/bin/bash
DATE=$(date +%Y-%m-%d)
aws s3 ls s3://bucket.example.com/somefolder/ | grep ${DATE}

@jwiederこれは、ユーザーがs3へのリスト呼び出しの数を減らすのに役立ちません。 毎日、最大1000のニュース記事をバケットに保存するとします。 次に、クライアント側では、デフォルトで過去3日間の記事を取得したいと考えています（明示的に要求された場合のみ）。 時間の初めからすべての記事のリスト、たとえば100kをフェッチする必要があると、時間がかかり、ネットワークコストが発生します（1回のリスト呼び出しで最大1000アイテムしか返されないため）。 「3日前から作成/変更されたアイテムのリストを教えてください」と言えばもっといいでしょう。

丁度！

2016年1月17日午後11時53分、PuchatekwSzortach <
[email protected]>は次のように書いています：

@jwiederhttps ：//github.com/jwiederこれはユーザーの減少には役立ちません
s3へのリスト呼び出しの数。 毎日最大1000のニュースを保存するとします
バケツの中の記事。 次に、クライアント側で最後の3つの記事を取得したい
デフォルトでは日数（明示的に要求された場合のみそれ以上）。 フェッチする必要があります
時間の初めからのすべての記事のリスト、たとえば100kは時間がかかります
ネットワークコストが発生します（1回のリスト呼び出しで返されるのは1回だけであるため）
1000アイテムまで）。 「リストをください。
3日前から作成/変更されたアイテム」。

—
このメールに直接返信するか、GitHubで表示してください
https://github.com/aws/aws-cli/issues/1104#issuecomment-172425517 。

@PuchatekwSzortach @ChrisSLTそうです、私の

-rfileNameの読み取り中
NS
if ["$ fileName" == "$ TODAY"]; それから
aws s3 sync $ BUCKETURL / some / local / directory --exclude "*" --include "$ fileName"
fi
完了<"$ FILE"

ここで、$ FILEはローカルファイル名インデックスであり、$ TODAYは検索する日付です。 このループの条件を変更する必要がありますが、うまくいけば、これでアイデアが得られます。

このようにすることで、バケット内のファイルの一覧表示に関連する料金が軽減されます。 ただし、ローカルファイルリストにアクセスできるかどうかを検索するクライアントによっても異なります...この種のアプローチを実行不可能にする可能性のあるアプリケーション/システムアーキテクチャによって異なります。 とにかく、これが私の以前のderpyの返信に役立つことと謝罪することを願っています。

同意し、ありがとう

午前10時火曜、2016年1月19日には、ジョシュWIEDER [email protected]
書きました：

@PuchatekwSzortach https://github.com/PuchatekwSzortach @ChrisSLT
https://github.com/ChrisSLTそうです、私の不完全な返信をお詫びします。 と
この種の機能がaws-cliで非常に役立つことに同意します。 NS
この基本機能を除外することとファイルリストの請求の組み合わせ
非常に疑わしいです。 AWSがペニーピンチを停止し、
ファイルのプロパティ、これは私が使用した別のアイデアで、より関連性があります
このスレッドへのその後の私の最初の返信：これで追跡する必要があるファイルの場合
ちなみに、ファイルにはタイムスタンプが付けられています。 ファイルのリストはローカルに保存されます
テキストファイル（または、心配するファイルが数え切れないほどある場合は、dbになる可能性があります）。
日付を検索するには、ファイルを開いてファイル名を探す必要があります
今日の日付に一致するものは、次のようになります。

-rfileNameの読み取り中
NS
if ["$ fileName" == "$ TODAY"]; それから
aws s3 sync $ BUCKETURL / some / local / directory --exclude "*" --include
「$ fileName」
fi
完了<"$ FILE"

ここで、$ FILEはローカルファイル名インデックスであり、$ TODAYは現在の日付です。
探している。 このループの条件を変更する必要がありますが、
うまくいけば、これはあなたにアイデアを与えることができます。

このようにすることで、リストに関連する料金から解放されます。
バケット内のファイル。 しかしそれはあなたが行っているクライアントにも依存します
ローカルファイルリストへのアクセス権の検索...
この種のアプローチを行う可能性のあるアプリケーション/システムアーキテクチャ
実行不可能。 とにかく、これが私の以前の助けと謝罪を願っています
ダーピー返信。

—
このメールに直接返信するか、GitHubで表示してください
https://github.com/aws/aws-cli/issues/1104#issuecomment-172878454 。

s3apiと--query関数を使用してこれを行う方法があります。 これはOSXでテストされています
aws s3api list-objects --bucket "bucket-name" --query'Contents [？LastModified> = 2016-05-20 ] []。{Key：Key} '
次に、jqまたはgrepを使用してフィルタリングし、他のs3api関数で処理を行うことができます。

編集：なぜそれらが表示されないのかわかりませんが、クエリしている日付を囲むためにバッククォートを使用する必要があります

毎日フォルダを作成することは可能ですか。そうすれば、今日のファイルのみにアクセスするか、せいぜい昨日のフォルダにアクセスして最新のファイルを取得することになります。

はい。 キーに日付プレフィックスを使用する方が簡単な場合もあります（--bucketオプションを使用してbucketname / foldernameの組み合わせを照会することはできません）。 日付プレフィックスを使用すると、CLIで--prefixフラグを使用してクエリを高速化できます。これは、AWSが応答時間を長くするために、キー名の先頭に数字またはハッシュを使用することを推奨しているためです。

@willstruebingの場合でも、ソリューションによってS3 API呼び出しの数、サーバー側のクエリの複雑さ、または--queryパラメーターは、クライアント側のjmespathフィルタリングのみを実行します。

@kislyuk私は完全に同意します。それは効率の問題に答えるものではありません。 しかし、私の意図は特定の質問に答えることでした：

Is there a way to simply request a list of objects with a modified time <, >, = a certain timestamp?

その基本的な質問は、私がどのようにしてこのスレッドにたどり着いたかということなので、それに答えを含めるのは合理的だと思いました。 この問題には、「aws s3 ls-変更日でファイルを検索しますか？」というラベルが付いています。

私は自分で質問を持っておらず、まだ興味があるので、質問の効率の部分について誰かのアイデアを聞いてみたいです。

#for i in s3cmd ls | awk {'print $3'} ; aws s3 ls $ iを実行します--recursive; 完了>> s3-full.out

AWSがファイルを返すデフォルトは何ですか？ アルファベット順で返されますか、それとも最近変更されたもので返されますか、それとも1000個のファイル名の最初のバッチを要求するときに使用される基準は何ですか？

私は、ファイルを要求するときに使用できる何らかのフィルター（日付、名前などで並べ替え）が確かに存在する必要があることに同意します...間違いなく不足している機能です。 :(

このフィルタリングはサーバー側である必要があり、基本的なニーズであることに同意します。

サーバー側のクエリ/フィルタリングの場合は+1

サーバー側フィルタリングの+1

まだ非常に必要です、+ 1

@chescalesと残りの部分に同意し、サーバー側のフィルタリングに+1します

+1

+1

+1

+1

+1

+1

+1

+1

+1

+1

+1

+1

+1

これはまだ機能ではないのですか？

+100000

+ 1e999

+1

+1

+1

+1

+1

+1

+1

+1

+65535

@willstruebingのコメントは私のために働いた、例えば：

aws s3api list-objects --bucket "mybucket" --prefix "some/prefix" --query "Contents[?LastModified>=`2018-08-22`].{Key: Key}"

気にしないでください-このコマンドからのネットワークトラフィックを監視した後、すべてのキーがまだs3からダウンロードされており、aws cliがクライアント側のフィルタリングを行っていることがわかります！

+1

+1

+1

+1

--excludeフィルターと--includeフィルターはどうですか？

！/ bin / bash

DATE = $（日付+％Y-％m-％d）
aws s3 ls s3：//bucket.example.com/somefolder/ --exclude " " --include " $ {DATE} *"

+1

+1

+1百万

+1

+∞

+∞+ 1

+1

+1

+1

++

+1

+1

+1

+1 :( :(

これはAWSの価格設定モデルの一部であり、超安価なストレージですが、アクセスするには料金がかかります。 大きなファイルには適していますが、何百万もの小さなファイルをクエリ/管理したい場合は台無しになります。

+1

これが彼らがアテナを作った理由だと思いますか？ いくつかのベルとホイッスルを追加しながら請求する別の方法はありますか？

+1

+1

+1

たとえば、2つの日付の間に変更されたs3バケットオブジェクトを一覧表示する必要があります。 2019-06-08から2019-06-11

誰かアイデアはありますか？

aws s3api list-objects --bucket "BUCKET" --prefix "OPTIONAL" --query "Contents[?LastModified>='2019-06-08'][].{Key: Key,LastModified: LastModified}"次に、JQまたはお好みのツールを使用して2019-06-11以降に除外します

それはAPI呼び出しを排除するものではありません。 それらのクエリはクライアント側です

火、2019年6月11日には、14:07 willstruebing [email protected]
書きました：

aws s3api list-objects --bucket "BUCKET" --prefix "OPTIONAL" --query
"Contents [？LastModified> = '2019-06-08'] []。{Key：Key、LastModified：
LastModified} "をクリックしてから、JQまたはお好みのツールを使用して後で除外します
2019-06-11

—
あなたがコメントしたのであなたはこれを受け取っています。
このメールに直接返信し、GitHubで表示してください
https://github.com/aws/aws-cli/issues/1104?email_source=notifications&email_token=AABLGMW5AFAU5BUNM7FEMZ3PZ7SV3A5CNFSM4A2VNZ2KYY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN
またはスレッドをミュートします
https://github.com/notifications/unsubscribe-auth/AABLGMVTIZDPPIEUK2CZR6TPZ7SV3ANCNFSM4A2VNZ2A
。

@dmead私は完全に同意します。 ただし、サーバー側のフィルタリングを実行する機能は現在存在しません（そのため、この特定の投稿に多くの人が参加することになります）。したがって、これが、当面のタスクを完了するために私が知っている唯一の回避策です。 サーバー側でそれを行う方法はありますか、それともこれは提案されたソリューションに関する単なる観察ですか？ それを行う方法とAPI呼び出しの量を減らす方法についての意見を聞きたいです。

時間があれば、アテナのメタデータを選択することを検討します。 私
自分にはチャンスがありませんでしたが、それは可能な解決策のようでした。

10：28 AM willstruebingで水曜日、2019年6月12日には[email protected]
書きました：

@dmeadhttps ：//github.com/dmead完全に同意します。 しかし
サーバー側のフィルタリングを行う機能は現在存在しません（私は思う
そのため、非常に多くの人がこの特定の投稿に行き着きます）、これが
手元のタスクを完了するために私が知っている唯一の回避策。 ありますか
それをサーバーサイドで行う方法、またはこれは提案されたものについての単なる観察です
解決？ 私はそれを行う方法についての意見を聞き、その量を減らしたいです
API呼び出し。

—
あなたが言及されたのであなたはこれを受け取っています。
このメールに直接返信し、GitHubで表示してください
https://github.com/aws/aws-cli/issues/1104?email_source=notifications&email_token=AABLGMTQZD6OWVH4KDMSJPLP2EBY7A5CNFSM4A2VNZ2KYY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN
またはスレッドをミュートします
https://github.com/notifications/unsubscribe-auth/AABLGMRLA5OYSYGEYNPUY5DP2EBY7ANCNFSM4A2VNZ2A
。

+24

これに賛成する人は誰でも、AWSCLIでファイリングしても役に立ちません。 AWSCLIはS3にバインドされています。 修正したい場合は、ツールのgithubではなくS3チームにファイルしてください：P

@ mike-bailey OK、どうすればいいですか？

個人的な場合は、AWSチケットを提出して、サービスチームに送信します。 しかし、私はAWSで働いていません。 これに「+1」とコメントしても変更にはならないことはわかっています。

s3apiと--query関数を使用してこれを行う方法があります。 これはOSXでテストされています
aws s3api list-objects --bucket "bucket-name" --query'Contents [？LastModified> = 2016-05-20 ] []。{Key：Key} '
次に、jqまたはgrepを使用してフィルタリングし、他のs3api関数で処理を行うことができます。

編集：なぜそれらが表示されないのかわかりませんが、クエリしている日付を囲むためにバッククォートを使用する必要があります

この回答を試す前に、最新バージョンのawscliを使用していることを確認してください。 アップグレードしました
awscli 1.11.47-> 1.16.220
そしてそれは恐ろしいクライアント側のフィルタリングを行いましたが、それは機能しました。
サーバー側フィルタリングの場合は+1。

+1

+1

スレッドを読んでください、+ 1は何もしません

これを簡単に行うことはできませんが、これらのコメントに埋もれているのは次のヒントです。

 aws s3api list-objects --bucket "bucket-name" --query 'Contents[?LastModified>=`2016-05-20`][].{Key: Key}'

これはまだクライアント側であり、多くの要求を実行します。

ただし、前述のように、クライアント側で処理します。 そのため、まだ潜在的にバケツを呼び出しで叩きます。

フィルタリングはサーバー側である必要があり、基本的なニーズだと思います。

これは、aws s3 syncを使用して、新しいファイルのみがダウンロードされるようにする例です。 ログを1つのログファイルに結合し、ファイルを保存する前にコメントを削除します。 その後、grepなどを使用してログデータを取得できます。 私の場合、特定のファイルへの一意のヒットをカウントする必要がありました。 以下のコードは、次のリンクから変更されました。https ：//shapeshed.com/aws-cloudfront-log/ sedコマンドはMacでも機能し、記事の内容とは異なります。 お役に立てれば！

aws s3 sync s3://<YOUR_BUCKET> .
cat *.gz > combined.log.gz
gzip -d combined.log.gz
sed -i '' '/^#/ d' combined.log

# counts unique logs for px.gif hits
grep '/px.gif' combined.log | cut -f 1,8 | sort | uniq -c | sort -n -r

# above command will return something like below. The total count followed by the date and the file name.
17 2020-01-02 /px.gif
 9 2020-01-03 /px.gif

私はその古い問題を知っていますが、ここにエレガントな解決策を残します：

aws s3api list-objects --output = text --query "Contents [？LastModified> = <DATE_YOU_WANT_TO_START> ]。{Key：Key}"