Cdnjs: Saran - Posting statistik unduhan perpustakaan/angka & grafik analitik

@Jakobud Saran bagus Jake. Anda benar sekali bahwa ini akan sangat berguna, dan ini adalah permintaan populer: https://github.com/cdnjs/cdnjs/issues/405

Kami sedang melakukan brainstorming solusi sekarang, jadi kami senang Anda menjadi bagian dari percakapan.

Tertutup edisi lama #405 lanjutkan percakapan di sini

Ditandai sebagai prioritas tinggi, adakah yang punya ide cemerlang tentang cara mengurai beberapa miliar baris?

Berapa banyak baris file log yang khas? Apakah Anda membagi file log menjadi satu per hari atau lebih kecil? Apakah file log hanya mengatakan apa http://path/file yang diunduh? Atau apakah ia memiliki referensi ke id baris basis data (id dari setiap nama file yang saya anggap disimpan dalam basis data)?

Setiap lokasi tepi (saat ini 23) diperlakukan secara independen dari satu sama lain.

Jadi yang kami miliki adalah satu atau lebih file log per lokasi edge per hari, dan kami
mendapatkan jumlah hits yang signifikan.

Pada hari Jumat, 28 Juni 2013, Jake Wilson menulis:

Berapa banyak baris file log yang khas? Apakah Anda membagi file log hingga
satu per hari atau lebih kecil?

—
Balas email ini secara langsung atau lihat di Gi tHubhttps://github.com/cdnjs/cdnjs/issues/1078#issuecomment -20125044
.

Jika Anda dapat memposting kutipan dari file log, itu akan menjadi tempat untuk memulai.

Ada kemajuan dalam hal ini? Kalian butuh bantuan dengan itu? Saya tahu mungkin ada banyak file log besar, tetapi saya pikir itu hanya masalah skrip python sederhana yang mengalir di file log dan menyimpan data ke database atau sesuatu seperti itu. Ini akan menjadi proses yang berjalan lama tetapi mungkin tidak akan terlalu rumit.

FYI, saya tidak tahu apakah cdnjs menggunakan layanan AWS di backend atau tidak, tetapi ini adalah artikel menarik yang berpotensi sangat relevan dengan masalah ini:

http://aws.amazon.com/blogs/aws/all-your-data-fluentd/

Ini membahas menggunakan perangkat lunak yang disebut Fluentd untuk mengalirkan perubahan file log ke dalam penyimpanan data. Jadi untuk CDNJS, itu bisa mengalirkan log akses perpustakaan ke semacam database penggunaan yang bisa digunakan untuk menampilkan statistik penggunaan.

Juga, FYI kalian bisa meminta seseorang untuk membantu Anda dengan solusi untuk ini jika Anda bisa membocorkan detail tentang logging Anda. Cara kerjanya, di mana file disimpan, memberi kami akses ke log selama sehari atau berminggu-minggu, dll... Seseorang dapat menemukan solusi untuk Anda.

Saran lain untuk kalian, buat log Anda menjadi publik. Letakkan di AWS S3 atau semacamnya dan izinkan siapa saja untuk mengambilnya. SAYA MENJAMIN seseorang (atau beberapa orang mungkin) akan memberikan solusi analitik untuk Anda.

Hanya ingin menghubungi tentang masalah ini lagi. Saya akan mengatakannya lagi, memberikan beberapa contoh file log dan seseorang di suatu tempat akan mengumpulkan parser untuk Anda yang akan menarik statistik unduhan perpustakaan.

ping ke @thomasdavis

Oh, kami masih belum memiliki statistik.

Membuat layanan api untuk cdnjs akan menyenangkan. Sesuatu seperti:

api.cdnjs.com/lib/jquery/stats

Kemudian, kita dapat menggunakan layanan ini untuk mengambil statistik di situs web cdnjs. :four_leaf_clover:

Statistik dari situs web itu mudah, tetapi orang menginginkan statistik dari cdn, saya ingat bahwa cloudflare tidak memberi kami info atau akses log itu.

cc @thomasdavis @ryankirkman @terinjokes

Kami bisa mendapatkan akses ke log, tetapi volume log sangat besar sehingga kami harus
mencari tahu strategi agregasi
Pada hari Minggu, 24 Mei 2015 pukul 12:28 Peter Dave Halo [email protected]
menulis:

Statistik dari situs web itu mudah, tetapi orang-orang menginginkan statistik dari cdn, saya ingat
cloudflare itu tidak memberi kami info atau akses log itu.

cc @thomasdavis https://github.com/thomasdavis @ryankirkman
https://github.com/ryankirkman @terinjokes
https://github.com/terinjokes

—
Balas email ini secara langsung atau lihat di GitHub
https://github.com/cdnjs/cdnjs/issues/1078#issuecomment -104988412.

Perkiraan statistik akan hampir sama baiknya. Jika volume log menjadi masalah, log dapat diambil sampelnya.

Itu benar! Bahkan satu hari lalu lintas * 30 akan cukup menarik.

Di mana log sekarang? Apakah mereka dapat diakses dalam bentuk apa pun? Saya akan berpikir membuang log harian pada beberapa penyimpanan S3 akan layak dan kemudian seseorang dapat menulis sesuatu yang menguraikannya.

Saya akan senang menulis alat untuk mengurai log! Saya tetap terlibat dalam beberapa proyek statistik & visualisasi, jadi itu akan luar biasa. :kerlap-kerlip:

Seperti yang saya katakan sebelumnya, yang perlu dilakukan CDNJS adalah membuat log dapat diakses dalam beberapa bentuk, dan seseorang akan melangkah untuk menulis parser keren untuk menghasilkan statistik penggunaan.

Kami lakukan sekarang, alamat IP di log akan sensitif, harus hati-hati.

Ada pembaruan tentang ini? Melempar topi saya di atas ring sebagai orang lain yang bersedia menulis parser.

Hai sayang semua, saya khawatir tidak, ada beberapa masalah yang lebih penting, tetapi akan mencoba yang terbaik untuk memiliki fitur ini secepatnya.

BTW, terima kasih untuk teman-teman yang ingin menulis parser untuk kami, jika Anda tidak keberatan, Anda masih dapat berkontribusi ke bagian lain dari cdnjs, seperti bower auto-updater atau semacamnya, terima kasih!

Adakah pembaruan lagi untuk yang satu ini? Sudah lebih dari 2 1/2 tahun. Apakah kalian baru saja mempertimbangkan untuk membuat log Anda dapat diakses publik dalam beberapa bentuk?

Bantu kami Membantu Anda!

meskipun ping @thomasdavis @ryankirkman @terinjokes @drewfreyling ...

Hei jadi saya tahu bahwa pada # 405 masalahnya adalah uang. Log dalam Format Umum, namun untuk menarik log untuk 5 juta hits $300 per hari atau sesuatu seperti itu. (2 1/2 tahun kemudian kalian mungkin mendapatkan JAUH lebih dari 5 juta hit sehari).

Jadi solusi yang dibuang di sana adalah mengatur parse pada instance EC2. Ini akan menjadi solusi terbaik. Selama instans EC2 Anda berada di wilayah yang sama dengan penampung S3 Anda, tidak ada biaya untuk mentransfer file log Anda dari S3 ke instans EC2 Anda.

Jadi pada dasarnya, solusinya adalah memiliki semacam tugas harian yang terjadi:

1. Instans EC2 dimulai
2. Script menarik log selama 24 jam terakhir dari wadah S3
3. Skrip mem-parsing log
4. Script menghapus log lokal
5. Script membuang data dalam bentuk apa pun yang Anda inginkan ke beberapa database di suatu tempat
6. Script menghentikan instance EC2

Jadi ini akan menjadi biaya minimal mutlak. Anda hanya akan membayar saat instans aktif. Menjadwalkan instans EC2 untuk dihidupkan setiap 24 jam seharusnya tidak terlalu sulit. Dan saya cukup yakin Anda dapat mengakhiri sendiri instance EC2 secara terprogram.

Hanya pemikiran saja. Sejujurnya tidak akan terlalu sulit untuk mencari tahu ...

Sebenarnya solusi yang lebih baik adalah menggunakan AWS Data Pipeline

http://aws.amazon.com/documentation/data-pipeline/

Dan Pengurangan Peta Elastis AWS

https://aws.amazon.com/elasticmareduce/

Alat-alat itu dibuat untuk melakukan apa yang perlu Anda lakukan: Menganalisis data/log dengan biaya yang efisien.

Hai Jake,

Solusi yang Anda usulkan sangat elegan, tetapi sayangnya kami tidak menggunakan
Cloudfront untuk hosting CDN lagi. Cloudflare adalah jaringan utama
pemberi.

Adapun solusi statistik, kami belum memiliki jawaban yang baik maaf Jake.
Pada Kam, 19 Nov 2015 jam 09:35 Jake Wilson [email protected]
menulis:

Sebenarnya solusi yang lebih baik adalah menggunakan AWS Data Pipeline

http://aws.amazon.com/documentation/data-pipeline/

Dan Pengurangan Peta Elastis AWS

https://aws.amazon.com/elasticmareduce/

Alat-alat itu dibuat untuk melakukan persis apa yang perlu kalian lakukan: Analisis
data/log dengan biaya yang efisien.

—
Balas email ini secara langsung atau lihat di GitHub
https://github.com/cdnjs/cdnjs/issues/1078#issuecomment -158129912.

@ryankirkman bisakah kita mengevaluasi ukuran disk yang kita butuhkan per hari, dan mungkin saya dapat menemukan penyimpanannya.

Apakah log Cloudflare dapat diakses oleh Anda dalam beberapa bentuk, dapat diunduh atau melalui API atau apa pun? Juga, harga transfer EC2:

Transfer Data IN Ke Amazon EC2 Dari Internet $0,00 per GB

https://aws.amazon.com/ec2/pricing/

Jadi saya berasumsi itu berarti Anda dapat secara terprogram menarik log Cloudflare dan menguraikannya atau melakukan apa pun dan itu masih hanya akan membebani Anda saat instans EC2 aktif.

Sepertinya masalah ini cukup stagnan - apakah sekarang ada alternatif/solusi yang layak untuk menentukan statistik atau persentase penggunaan perpustakaan?

Mengambil contoh jQuery - sebagai pemilik situs, Anda peduli dengan % pengguna yang datang dengan versi jquery yang diperlukan yang sudah di-cache, dan statistik apa pun yang dapat diberikan cdnjs akan luar biasa dalam menentukannya.

Saat ini menunggu di Cloudflare untuk membuat cara bagi kami untuk memiliki akses stats/log untuk domain cdnjs.cloudflare.com . Akan memposting pembaruan saat saya mendapatkannya.

Dicatat dari #6186 bahwa statistik yang lebih mendalam akan berguna seperti perincian negara.

@dknecht Tolong bisakah kami menggunakan masalah ini untuk melacak pembaruan apa pun tentang akses statistik/log lebih lanjut ke domain cdnjs.cloudflare.com . Terima kasih :)