Cdnjs: सुझाव - पुस्तकालय के बाद सांख्यिकी/विश्लेषणात्मक संख्याएं और ग्राफ डाउनलोड करें

@ जकोबुद महान सुझाव जेक। आप बिल्कुल सही कह रहे हैं कि यह वास्तव में उपयोगी होगा, और यह एक लोकप्रिय अनुरोध है: https://github.com/cdnjs/cdnjs/issues/405

हम अभी समाधान पर विचार कर रहे हैं, इसलिए हमें खुशी है कि आप बातचीत के हिस्से के रूप में हैं।

बंद पुराना अंक #405 यहां बातचीत जारी रखें

उच्च प्राथमिकता के रूप में टैग किया गया, किसी के पास अभी तक कोई शानदार विचार है कि कुछ अरब लाइनों को कैसे पार्स किया जाए?

सामान्य लॉग फ़ाइल कितनी पंक्तियाँ होती हैं? क्या आप लॉग फ़ाइलों को एक-प्रति-दिन या उससे कम में विभाजित करते हैं? क्या लॉग फ़ाइलें केवल यह बताती हैं कि http://path/file क्या डाउनलोड किया गया था? या क्या इसमें डेटाबेस पंक्ति आईडी के संदर्भ हैं (प्रत्येक फ़ाइल नाम की आईडी जो मुझे लगता है कि डेटाबेस में संग्रहीत हैं)?

प्रत्येक किनारे का स्थान (वर्तमान में 23) एक दूसरे से स्वतंत्र रूप से व्यवहार किया जाता है।

तो हमारे पास प्रति दिन प्रति किनारे स्थान पर एक या अधिक लॉग फ़ाइलें हैं, और हम
बड़ी संख्या में हिट प्राप्त कर रहे हैं।

शुक्रवार, 28 जून, 2013 को जेक विल्सन ने लिखा:

सामान्य लॉग फ़ाइल कितनी पंक्तियाँ होती हैं? क्या आप लॉग फ़ाइलों को विभाजित करते हैं
एक-प्रति-दिन या छोटा?

-
इस ईमेल का सीधे उत्तर दें या इसे Gi tHub पर देखेंhttps://github.com/cdnjs/cdnjs/issues/1078#issuecomment -20125044
.

यदि आप लॉग फ़ाइलों के अंश पोस्ट कर सकते हैं, तो यह शुरू करने के लिए एक जगह होगी।

इस पर कोई प्रगति? आप लोगों को इसमें कोई मदद चाहिए? मुझे पता है कि शायद बहुत सारी बड़ी लॉग फाइलें हैं, लेकिन मुझे लगता है कि यह केवल एक साधारण पायथन लिपि की बात होगी जो लॉग फाइलों में स्ट्रीम हो जाती है और डेटा को डेटाबेस या ऐसा कुछ सहेजती है। यह एक लंबी चलने वाली प्रक्रिया होगी लेकिन शायद यह वास्तव में उतना जटिल नहीं होगा।

FYI करें, मुझे नहीं पता कि cdnjs बैकएंड पर AWS सेवाओं का उपयोग करता है या नहीं, लेकिन यह एक दिलचस्प लेख है जो संभावित रूप से इस मुद्दे के लिए बहुत प्रासंगिक है:

http://aws.amazon.com/blogs/aws/all-your-data-fluentd/

यह डेटा स्टोरेज में लॉगफाइल परिवर्तनों को स्ट्रीम करने के लिए Fluentd नामक सॉफ़्टवेयर का उपयोग करने पर चर्चा करता है। तो सीडीएनजेएस के लिए, यह लाइब्रेरी एक्सेस लॉग को किसी प्रकार के उपयोग डेटाबेस में स्ट्रीम कर सकता है जिसका उपयोग उपयोग आंकड़े प्रदर्शित करने के लिए किया जा सकता है।

साथ ही, यदि आप अपने लॉगिंग के बारे में विवरण प्रकट कर सकते हैं तो एफवाईआई आप लोग इसके समाधान के लिए आपकी सहायता के लिए किसी से मिल सकते हैं। यह कैसे काम करता है, जहां फाइलें संग्रहीत की जाती हैं, हमें एक दिन या सप्ताह के लायक लॉग आदि तक पहुंच प्रदान करें... कोई आपके लिए समाधान निकाल सकता है।

आप लोगों के लिए एक और सुझाव, बस अपने लॉग सार्वजनिक करें। उन्हें AWS S3 या कुछ और पर रखें और किसी को भी उन्हें हथियाने की अनुमति दें। मैं गारंटी देता हूं कि कोई (या शायद कई लोग) आपके लिए एक एनालिटिक्स समाधान लेकर आएंगे।

बस इस मुद्दे के बारे में फिर से संपर्क करना चाहता था। मैं इसे फिर से कहूंगा, कुछ उदाहरण लॉग फाइल प्रदान करें और कोई कहीं आपके लिए एक पार्सर रखेगा जो लाइब्रेरी डाउनलोड आंकड़े खींच लेगा।

पिंग @thomasdavis

ओह, हमारे पास अभी भी आँकड़े नहीं हैं।

सीडीएनजे के लिए एपीआई सेवा बनाना अच्छा होगा। कुछ इस तरह:

api.cdnjs.com/lib/jquery/stats

फिर, हम इस सेवा का उपयोग सीडीएनजेएस वेबसाइट में आंकड़े लाने के लिए कर सकते हैं। :चार मुखी तिपतिया:

वेबसाइट से आँकड़े आसान हैं, लेकिन लोग सीडीएन से आँकड़े चाहते हैं, मुझे याद है कि क्लाउडफ्लेयर ने हमें वह जानकारी या एक्सेस लॉग नहीं दिया।

सीसी @thomasdavis @ryankirkman @terinjokes

हम लॉग तक पहुंच प्राप्त कर सकते हैं, लेकिन लॉग वॉल्यूम इतना बड़ा है कि हमें इसकी आवश्यकता है
एक एकत्रीकरण रणनीति का पता लगाएं
रविवार, 24 मई 2015 को दोपहर 12:28 बजे पीटर डेव हैलो नोटिफिकेशन @github.com
लिखा था:

वेबसाइट से आँकड़े आसान हैं, लेकिन लोग सीडीएन से आँकड़े चाहते हैं, मुझे याद है
उस क्लाउडफ्लेयर ने हमें वह जानकारी या एक्सेस लॉग नहीं दिया।

सीसी @thomasdavis https://github.com/thomasdavis @ryankirkman
https://github.com/ryankirkman @terinjokes
https://github.com/terinjokes

-
इस ईमेल का सीधे उत्तर दें या इसे GitHub पर देखें
https://github.com/cdnjs/cdnjs/issues/1078#issuecomment -104988412।

अनुमानित आँकड़े लगभग उतने ही अच्छे होंगे। यदि लॉग वॉल्यूम एक समस्या है, तो लॉग का नमूना लिया जा सकता है।

यह सच है! ट्रैफिक का एक दिन भी * 30 काफी दिलचस्प होगा।

अब लॉग कहाँ हैं? क्या वे किसी भी रूप में सुलभ हैं? मुझे लगता है कि कुछ एस 3 स्टोरेज पर दैनिक लॉग डंप करना संभव होगा और फिर कोई ऐसा कुछ लिख सकता है जो उन्हें पार्स करता है।

मैं लॉग को पार्स करने के लिए एक उपकरण लिखने के लिए उत्साहित होऊंगा! मैं वैसे भी कुछ आंकड़ों और विज़ुअलाइज़ेशन परियोजनाओं में शामिल हूं, इसलिए यह बहुत बढ़िया होगा। : स्पार्कलर:

जैसा कि मैंने पहले कहा, सभी सीडीएनजेएस को लॉग को किसी न किसी रूप में सुलभ बनाने की जरूरत है, और कोई व्यक्ति उपयोग के आंकड़े उत्पन्न करने के लिए एक अच्छा पार्सर लिखने के लिए कदम उठाएगा।

हम अभी कर रहे हैं, लॉग में आईपी पता संवेदनशील होगा, सावधान रहना चाहिए।

इस पर किसी भी अद्यतन? एक अन्य व्यक्ति के रूप में रिंग में मेरी टोपी फेंकना जो एक पार्सर लिखने को तैयार होगा।

हे प्रिय सभी, मुझे डर नहीं है, कुछ मुद्दे अधिक महत्वपूर्ण हैं, लेकिन इस सुविधा को जल्द से जल्द प्राप्त करने के लिए अपनी पूरी कोशिश करेंगे।

BTW, दोस्तों के लिए धन्यवाद, हमारे लिए पार्सर लिखना चाहते हैं, अगर आपको कोई आपत्ति नहीं है, तो आप अभी भी सीडीएनजे के अन्य हिस्सों में योगदान कर सकते हैं, जैसे bower ऑटो-अपडेटर या कुछ और, धन्यवाद!

इस पर कोई और अपडेट? २ १/२ साल से अधिक हो गए हैं। क्या आप लोगों ने अपने लॉग को किसी न किसी रूप में सार्वजनिक रूप से सुलभ बनाने पर विचार किया है?

हमारी मदद करें आपकी मदद करें!

हालांकि पिंग @thomasdavis @ryankirkman @terinjokes @drewfreyling ...

अरे तो मुझे पता है कि वापस # 405 पर मुद्दा पैसा था। लॉग सामान्य प्रारूप में हैं, हालांकि 5 मिलियन हिट के लिए लॉग को नीचे खींचने के लिए प्रति दिन $ 300 या ऐसा ही कुछ। (२ १/२ साल बाद आप लोगों को शायद एक दिन में ५ मिलियन से अधिक हिट मिलते हैं)।

तो वहां फेंक दिया गया समाधान ईसी 2 इंस्टेंस पर एक पार्स स्थापित करना था। यह सबसे अच्छा उपाय होगा। जब तक आपका EC2 इंस्टेंस आपके S3 कंटेनर के समान क्षेत्र में है, तब तक आपको लॉग फ़ाइलों को S3 से आपके EC2 इंस्टेंस में स्थानांतरित करने की कोई कीमत नहीं है।

तो अनिवार्य रूप से, समाधान किसी प्रकार का दैनिक कार्य होगा जो होता है:

1. EC2 उदाहरण शुरू होता है
2. स्क्रिप्ट पिछले 24 घंटों के लिए S3 कंटेनर से लॉग खींचती है
3. स्क्रिप्ट पार्स लॉग
4. स्क्रिप्ट स्थानीय लॉग हटाता है
5. स्क्रिप्ट डेटा को किसी भी रूप में किसी डेटाबेस में कहीं भी डंप कर देती है
6. स्क्रिप्ट EC2 उदाहरण को समाप्त करती है

तो यह एक पूर्ण न्यूनतम लागत होगी। आप केवल उस समय के लिए भुगतान करेंगे जब इंस्टेंस सक्रिय है। हर 24 घंटे में EC2 इंस्टेंस को चालू करने के लिए शेड्यूल करना बहुत कठिन नहीं होना चाहिए। और मुझे पूरा यकीन है कि आप प्रोग्रामेटिक रूप से ईसी 2 इंस्टेंस को स्वयं समाप्त कर सकते हैं।

सिर्फ एक विचार। ईमानदारी से यह पता लगाना बहुत मुश्किल नहीं होगा ...

वास्तव में एक और भी बेहतर समाधान AWS डेटा पाइपलाइन का उपयोग करना होगा

http://aws.amazon.com/documentation/data-pipeline/

और एडब्ल्यूएस लोचदार नक्शा कम करें

https://aws.amazon.com/elasticmapreduce/

वे उपकरण ठीक वही करने के लिए बनाए गए हैं जो आप लोगों को करने की आवश्यकता है: लागत प्रभावी तरीके से डेटा/लॉग का विश्लेषण करें।

हाय जेक,

आपके द्वारा प्रस्तावित समाधान बहुत ही सुंदर है, लेकिन दुर्भाग्य से हम इसका उपयोग नहीं करते हैं
अब सीडीएन की मेजबानी के लिए क्लाउडफ्रंट। Cloudflare प्राथमिक नेटवर्क है
प्रदाता।

आंकड़ों के समाधान के लिए, हमारे पास अभी तक कोई अच्छा जवाब नहीं है, क्षमा करें जेक।
गुरु, नवंबर 19, 2015 पूर्वाह्न 9:35 बजे जेक विल्सन सूचनाएं @github.com
लिखा था:

वास्तव में एक और भी बेहतर समाधान AWS डेटा पाइपलाइन का उपयोग करना होगा

http://aws.amazon.com/documentation/data-pipeline/

और एडब्ल्यूएस लोचदार नक्शा कम करें

https://aws.amazon.com/elasticmapreduce/

वे उपकरण ठीक वही करने के लिए बनाए गए हैं जो आप लोगों को करने की आवश्यकता है: विश्लेषण
लागत कुशल तरीके से डेटा/लॉग।

-
इस ईमेल का सीधे उत्तर दें या इसे GitHub पर देखें
https://github.com/cdnjs/cdnjs/issues/1078#issuecomment -158129912।

@ryankirkman क्या हम उस डिस्क आकार का मूल्यांकन कर सकते हैं

क्या Cloudflare लॉग किसी न किसी रूप में आपके लिए उपलब्ध हैं, डाउनलोड करने योग्य या API या किसी अन्य चीज़ के माध्यम से? इसके अलावा, EC2 हस्तांतरण मूल्य निर्धारण:

इंटरनेट से Amazon EC2 में डेटा ट्रांसफर $0.00 प्रति GB

https://aws.amazon.com/ec2/pricing/

तो मुझे लगता है कि इसका मतलब है कि आप क्लाउडफ्लेयर लॉग में प्रोग्रामेटिक रूप से खींच सकते हैं और उन्हें पार्स कर सकते हैं या जो कुछ भी कर सकते हैं और यह अभी भी आपको ईसी 2 इंस्टेंस सक्रिय होने के समय ही खर्च करेगा।

ऐसा लगता है कि यह मुद्दा काफी स्थिर रहा है - क्या अब पुस्तकालय उपयोग के आँकड़े या प्रतिशत निर्धारित करने के लिए कोई वैकल्पिक/व्यवहार्य समाधान है?

JQuery उदाहरण लेना - एक साइट स्वामी के रूप में आप पहले से ही कैश किए गए आवश्यक jQuery संस्करण के साथ आने वाले उपयोगकर्ताओं के बारे में परवाह करते हैं, और सीडीएनजे द्वारा प्रदान किए जाने वाले कोई भी आंकड़े यह निर्धारित करने में शानदार होंगे।

वर्तमान में क्लाउडफ्लेयर पर प्रतीक्षा कर रहा है कि हम cdnjs.cloudflare.com डोमेन के लिए आँकड़े/लॉग एक्सेस करने का एक तरीका स्थापित करें। जैसे ही मैं उन्हें प्राप्त करूंगा, अपडेट पोस्ट करूंगा।

# ६१८६ से नोट किया गया कि अधिक गहन आँकड़े उपयोगी होंगे जैसे कि देश का टूटना।

@dknecht कृपया क्या हम इस समस्या का उपयोग cdnjs.cloudflare.com डोमेन पर आगे के आँकड़े/लॉग एक्सेस पर किसी भी अपडेट को ट्रैक करने के लिए कर सकते हैं। धन्यवाद :)