Cdnjs: 提案-ライブラリのダウンロード統計/分析の数値とグラフを投稿する

@Jakobud素晴らしい提案ジェイク。 これが本当に役立つことは間違いありません。これは人気のあるリクエストです： https ：

現在、ソリューションのブレインストーミングを行っているため、会話の一部としてご参加いただきありがとうございます。

クローズされた古い問題＃405はここで会話を続けます

優先度が高いとタグ付けされていますが、数十億行を解析する方法について、まだ素晴らしいアイデアを持っている人はいますか？

典型的なログファイルは何行ですか？ ログファイルを1日1回以下に分割しますか？ ログファイルには、ダウンロードされた

各エッジ位置（現在は23）は、互いに独立して扱われます。

つまり、1日あたりのエッジの場所ごとに1つ以上のログファイルがあります。
かなりの数のヒットを得ています。

2013年6月28日金曜日、ジェイクウィルソンは次のように書いています。

典型的なログファイルは何行ですか？ ログファイルを最大に分割しますか
1日1回以下？

—
このメールに直接返信するか、Gi tHubhttps：//github.com/cdnjs/cdnjs/issues/1078#issuecomment-20125044で表示してください
。

ログファイルの抜粋を投稿できれば、そこから始めることができます。

これについて何か進展はありますか？ あなたたちはそれについて何か助けが必要ですか？ おそらく巨大なログファイルがたくさんあることは知っていますが、ログファイルをストリーミングしてデータベースなどにデータを保存した単純なPythonスクリプトの問題だと思います。 それは長時間実行されるプロセスですが、おそらくそれほど複雑ではないでしょう。

参考までに、cdnjsがバックエンドでAWSサービスを利用しているかどうかはわかりませんが、これはこの問題に非常に関連する可能性のある興味深い記事です。

http://aws.amazon.com/blogs/aws/all-your-data-fluentd/

Fluentdと呼ばれるソフトウェアを使用してログファイルの変更をデータストレージにストリーミングする方法について説明します。 したがって、CDNJSの場合、使用統計を表示するために使用できるある種の使用データベースにライブラリアクセスログをストリーミングできます。

また、参考までに、ログの詳細を明かすことができれば、誰かにこの解決策を手伝ってもらうことができます。 それがどのように機能するか、ファイルが保存されている場所、1日または数週間分のログなどへのアクセスを提供します...誰かがあなたのための解決策を見つけることができます。

皆さんへのもう1つの提案は、ログを公開することです。 それらをAWSS3か何かに置いて、誰でもそれらをつかむことができるようにします。 私は誰か（またはおそらく複数の人）があなたのための分析ソリューションを思い付くと保証します。

この問題についてもう一度連絡したかっただけです。 もう一度言いますが、ログファイルの例をいくつか提供すると、誰かがライブラリのダウンロード統計を取得するパーサーを作成します。

ping @thomasdavis

ああ、まだ統計がありません。

cdnjs用のAPIサービスを作成すると便利です。 何かのようなもの：

api.cdnjs.com/lib/jquery/stats

次に、このサービスを使用して、cdnjsWebサイトの統計を取得できます。 ：4葉のクローバー：

ウェブサイトからの統計は簡単ですが、人々はcdnからの統計を望んでいます、私はcloudflareが私たちにその情報やアクセスログを提供しなかったことを覚えています。

cc @thomasdavis @ryankirkman @terinjokes

ログにアクセスすることはできますが、ログの量が非常に多いため、
集約戦略を理解する
2015年5月24日日曜日午前0時28分ピーターデイブこんにちは[email protected]
書きました：

ウェブサイトからの統計は簡単ですが、人々はcdnからの統計を望んでいます、私は覚えています
そのcloudflareは私たちにその情報やアクセスログを提供しませんでした。

cc @thomasdavis https://github.com/thomasdavis @ryankirkman
https://github.com/ryankirkman @terinjokes
https://github.com/terinjokes

—
このメールに直接返信するか、GitHubで表示してください
https://github.com/cdnjs/cdnjs/issues/1078#issuecomment-104988412 。

おおよその統計はほぼ同じくらい良いでしょう。 ログの量に問題がある場合は、ログをサンプリングできます。

それは本当です！ 一日の交通量* 30でも十分面白いでしょう。

ログは今どこにありますか？ それらはどのような形でもアクセスできますか？ 一部のS3ストレージに毎日のログをダンプすることは可能であり、誰かがそれらを解析する何かを書くことができると思います。

ログを解析するためのツールを書くのが楽しみです！ 私はとにかくいくつかの統計と視覚化プロジェクトに関わっているので、それは素晴らしいことです。 ：線香花火：

前に言ったように、CDNJSが行う必要があるのは、何らかの形式でログにアクセスできるようにすることだけです。誰かがステップアップして、使用統計を生成するためのクールなパーサーを作成します。

現在、ログ内のIPアドレスは機密性が高いため、注意が必要です。

これに関する更新はありますか？ パーサーを書いてくれる別の人として、私の帽子をリングに投げ込みます。

親愛なる皆さん、恐れ入りますが、もっと重要な問題がいくつかありますが、この機能をできるだけ早く使用できるように最善を尽くします。

ところで、みんなが私たちのためにパーサーを書きたいと思っているので、よろしければ、 bower自動アップデーターなどのcdnjsの他の部分に貢献することができます。ありがとう！

これについてこれ以上の更新はありますか？ 2年半以上経ちました。 ログを何らかの形で公開することを検討したことがありますか？

私たちがあなたを助けるのを手伝ってください！

ping @thomasdavis @ryankirkman @terinjokes @drewfreyling .. ..

ねえ、私は＃405に戻って問題がお金だったことを知っています。 ログは共通形式ですが、500万ヒットのログをプルダウンすると、1日あたり300ドルなどになります。 （2年半後、皆さんはおそらく1日に500万ヒットを超える可能性があります）。

そのため、そこに投げ出された解決策は、EC2インスタンスで解析をセットアップすることでした。 これが最善の解決策です。 EC2インスタンスがS3コンテナと同じリージョンにある限り、ログファイルをS3からEC2インスタンスに転送する費用はかかりません。

したがって、本質的に、解決策は、ある種の日常的なタスクを実行することです。

1. EC2インスタンスが起動します
2. スクリプトはS3コンテナから過去24時間のログをプルします
3. スクリプトはログを解析します
4. スクリプトはローカルログを削除します
5. スクリプトは、データを任意の形式でデータベースのどこかにダンプします
6. スクリプトはEC2インスタンスを終了します

したがって、これは絶対的な最小コストになります。 インスタンスがアクティブである時間に対してのみ料金を支払います。 EC2インスタンスを24時間ごとにオンにするようにスケジュールすることは、それほど難しいことではありません。 そして、プログラムでEC2インスタンスを自己終了できると確信しています。

ちょっとした考え。 正直なところ、理解するのはそれほど難しいことではありません...

実際、さらに優れたソリューションはAWS DataPipelineを使用することです

http://aws.amazon.com/documentation/data-pipeline/

そしてAWSElasticMapReduce

https://aws.amazon.com/elasticmapreduce/

これらのツールは、皆さんが行う必要のあることを正確に実行するように作られています。コスト効率の高い方法でデータ/ログを分析します。

こんにちはジェイク、

あなたが提案したソリューションは非常にエレガントですが、残念ながら私たちは使用していません
CDNをホストするためのCloudfront。 Cloudflareはプライマリネットワークです
プロバイダー。

統計の解決策については、まだ良い答えはありません。ジェイクは申し訳ありません。
2015年11月19日木曜日午前9時35分ジェイクウィルソン[email protected]
書きました：

実際、さらに優れたソリューションはAWS DataPipelineを使用することです

http://aws.amazon.com/documentation/data-pipeline/

そしてAWSElasticMapReduce

https://aws.amazon.com/elasticmapreduce/

これらのツールは、皆さんが行う必要のあることを正確に実行するように作られています。分析する
費用効果の高い方法でデータ/ログ。

—
このメールに直接返信するか、GitHubで表示してください
https://github.com/cdnjs/cdnjs/issues/1078#issuecomment-158129912 。

@ryankirkmanは、1日に必要なディスクサイズを評価できますか。ストレージを見つけることができるかもしれません。

Cloudflareログは、何らかの形でアクセスできますか、ダウンロード可能ですか、APIなどを介してアクセスできますか？ また、EC2移転価格：

インターネットからAmazonEC2へのデータ転送IN1GBあたり$ 0.00

https://aws.amazon.com/ec2/pricing/

つまり、プログラムでCloudflareログを取得して解析するか、何でもできるということですが、それでもEC2インスタンスがアクティブな間だけコストがかかります。

この問題はかなり停滞しているようです-ライブラリの使用統計またはパーセンテージを決定するための代替/実行可能な解決策はありますか？

jQueryの例を取り上げます-サイト所有者として、必要なjqueryバージョンがすでにキャッシュされている状態で到着するユーザーの割合を気にします。cdnjsが提供できる統計は、それを決定するのに最適です。

現在、Cloudflareがcdnjs.cloudflare.comドメインの統計/ログアクセスを取得する方法を確立するのを待っています。 入手次第、更新を投稿します。

＃6186から、国の内訳など、より詳細な統計が役立つことがわかりました。

@dknechtこの問題を使用して、 cdnjs.cloudflare.comドメインへの今後の統計/ログアクセスに関する更新を追跡できますか。 ありがとう ：）