Kibana: समर्थन बाल्टी स्क्रिप्ट एकत्रीकरण

डुप्लिकेट https://github.com/elastic/kibana/issues/4584

@rashidkpc मैं नहीं देखता कि यह कैसे पाइपलाइनों के सामान का एक धोखा है। 5.4 में पाइपलाइन लेकिन मुझे वहां बकेट स्क्रिप्ट एग्रीगेशन नहीं दिख रहा है। क्या हम इसे फिर से खोल सकते हैं?

मुझे इस सुविधा में दिलचस्पी है ताकि उन दस्तावेज़ों पर मूल्यों का विज़ुअलाइज़ेशन किया जा सके जो किसानों के खेतों का प्रतिनिधित्व करते हैं, जहां मुझे बड़े क्षेत्रों के लिए अधिक और छोटे क्षेत्रों के लिए छोटे मूल्यों को वजन करने की आवश्यकता होती है, खोज क्वेरी द्वारा फ़ील्ड दस्तावेज़ों को शामिल करने के बाद चुना जाता है। भारित औसत ।

बकेट_स्क्रिप्ट सुविधा उत्तर प्रतीत होती है (मैंने इसे इलास्टिक्स खोज में काम किया है) लेकिन किबाना विज़ुअलाइज़ेशन का उपयोग करते समय मैं ऐसी क्वेरी को पुन: पेश नहीं कर सकता।

क्या जल्द ही इसका समर्थन करने की कोई योजना है?

या कोई उपाय है?

(उदाहरण के लिए मैं यह देखने की कोशिश कर रहा था कि क्या मैं सीधे किबाना को इलास्टिक्स खोज क्वेरी बता सकता हूं जिसे मैं किबाना के बजाय मेरे यूआई विकल्पों के आधार पर मेरे लिए क्वेरी बनाने के बजाय विज़ुअलाइज़ेशन के लिए उपयोग करना चाहता हूं - लेकिन यह संभव नहीं लगता है? क्या यह सही है? )

+1

मुझे इस कार्यक्षमता में दिलचस्पी होगी। हमारे उपयोग के मामले में, यह सफलता/विफलता अनुपात के साथ काम करने की अनुमति देगा।

+1 इसे भी देखना चाहेंगे! लागू करने के लिए बहुत आसान होना चाहिए .. ड्रॉपडाउन में बस एक "कस्टम मीट्रिक" जो एक बॉक्स प्रस्तुत करता है जहां आप अपना एकत्रीकरण JSON इनपुट कर सकते हैं ..

किबाना 5.4 से शुरू होकर, बकेट स्क्रिप्ट एजीजी अब टाइम सीरीज विजुअल बिल्डर में समर्थित है, हालांकि इसे "कैलकुलेशन" कहा जाता है (सीसी @simianhacker मुझे आश्चर्य है कि क्या हमें इसे और स्पष्ट करना चाहिए कि यह विकल्प "बकेट स्क्रिप्ट" पर निर्भर करता है?)

क्या इस टिकट पर लोग (जैसे @Kazark) इसे आजमा सकते हैं और हमें बता सकते हैं कि क्या यह आपके उपयोग के मामलों में मदद करता है?

मुझे लगता है कि @simianhacker सहमत हो गया है कि इस एकत्रीकरण का नाम बदलना समझ में आता है। मैंने ट्रैकिंग उद्देश्यों के लिए https://github.com/elastic/kibana/issues/13796 खोला है।

@tbragin TSVB में बकेट स्क्रिप्ट एकत्रीकरण एक बहुत अच्छी सुविधा है, imo - इसे लागू करने के लिए बहुत बहुत धन्यवाद। जिन चीजों की मैंने कोशिश की, उन्होंने बहुत अच्छा काम किया।

फिर भी यह बहुत अच्छा होगा यदि TSVB अतिरिक्त स्क्रिप्ट एग्रीगेशन (जैसे स्क्रिप्टेड सम एग्रीगेशन) का समर्थन करता है, क्योंकि बकेट स्क्रिप्ट एग्रीगेशन केवल अपनी क्षमता का पूरी तरह से लाभ उठा सकता है, यदि सभी प्रकार के सब-एग्रीगेशन समर्थित हैं। लेकिन चूंकि यह इस पर अधिक विस्तार से चर्चा करने का स्थान नहीं है, इसलिए मैंने एक और मुद्दा खोला है।

क्या इस सुविधा के लिए कोई समयरेखा है?

'गणना' सुविधा केवल एक शीर्ष-स्तर के रूप में एक बाल्टी-स्क्रिप्ट कर सकती है, इसे मूल बाल्टी-एकत्रीकरण के भीतर लागू नहीं किया जा सकता है ... :(

और यह केवल समय-श्रृंखला विज़ुअलाइज़ेशन में है, मानक विज़ुअलाइज़ेशन में कोई बकेट-स्क्रिप्ट नहीं है।

हमारे विशेष उपयोग के मामलों में दोनों की आवश्यकता होती है, और ऐसा लगता है कि कोई भी समर्थित नहीं है - यहां तक ​​कि 6.x(rc) में भी नहीं
क्या इसके लिए कोई योजना है?

हमारे उपयोग के मामलों में, प्रत्येक दस्तावेज़ में एक प्रारंभ-समय और समाप्ति-समय दिनांक-प्रकार फ़ील्ड होते हैं, और हमें कुछ श्रेणी-फ़ील्ड पर समूहीकृत, उनमें से बकेट में एक समग्र-अवधि उत्पन्न करने की आवश्यकता होती है।
इसमें पहले उस श्रेणी पर बकेटिंग करना शामिल है, फिर उसके भीतर 2 मेट्रिक्स करना: मिनट (स्टार्ट-टाइम) और प्रत्येक बकेट में दस्तावेज़ों का नैक्स (एंड-टाइम), फिर एक पाइपलाइन-स्क्रिप्ट-बकेट एजीजी लागू करना जो इन 2 मीट्रिक का उपयोग करता है- aggs उनके बीच की अवधि की गणना करने के लिए (max_end_time - min_start_time)। यह हमें प्रत्येक बकेट के आउटपुट के रूप में एक 'अवधि' मीट्रिक देता है। फिर हम उन पर कुछ मीट्रिक-पाइपलाइन-एजीजी लागू करना चाहते हैं।

लगभग एक जैसी संरचना का विवरण यहां दिया गया है: https://discuss.elastic.co/t/kibana-5-4-bucket-script-visualization/86475

मैं इसे क्वेरी-डीएसएल में व्यक्त करने में सक्षम था, और हम इसे पहले से ही उत्पादन में उपयोग कर रहे हैं - लेकिन हम किबाना में इनकी कल्पना नहीं कर सकते हैं - जो वास्तव में बेकार है, क्योंकि हमारे ग्राहक वर्षों से ऐसे विज़ुअलाइज़ेशन का अनुरोध कर रहे हैं, और हम ' हमने हमेशा उनसे कहा है 'हमें पाइपलाइन-एकत्रीकरण के लिए बाद के संस्करणों से समर्थन की आवश्यकता है'...
खैर, अब हमारे पास वे हैं - लेकिन वास्तव में, नहीं...
टाइम-सीरीज़ बिल्डर में, हमारे पास बकेट-स्क्रिप्ट पाइपलाइन एग्रीगेशन है जिसे व्यक्त किया जा सकता है, लेकिन यह पेरेंट बकेट-टर्म-एग्रीगेशन पर उपभोग/लागू नहीं कर सकता है, और दूसरे विज़ुअलाइज़ेशन में, हमारे पास बकेट-टर्म- एकत्रीकरण, और कुछ पाइपलाइन-मीट्रिक-एकत्रीकरण, लेकिन आवश्यक बकेट-स्क्रिप्ट पाइपलाइन एकत्रीकरण को व्यक्त करने के लिए आवश्यक नहीं है ...

क्या कुछ "उन्नत JSON" चीज़ का उपयोग करके कोई कामकाज है, मैं वहां अपनी क्वेरी-डीएसएल डाल सकता हूं?

इस प्रश्न में अनुरोध के अनुसार बस मेरा उपयोग मामला जोड़ना:

मेरी अनुक्रमणिका में निम्न दस्तावेज़ प्रकार है (जो परीक्षण निष्पादन का प्रतिनिधित्व करता है):

• परीक्षण की आईडी (स्ट्रिंग)
• सफलता (बूलियन)
• सॉफ्टवेयर का संस्करण

मैं निम्नलिखित हिस्टोग्राम बनाना चाहता हूं:

• एक्स अक्ष पर: संस्करण
• Y अक्ष पर: सफलता/विफलता पर ढेर किए गए अद्वितीय परीक्षणों की संख्या

एक ही परीक्षण आईडी को अलग-अलग परिणामों के साथ एक ही संस्करण पर कई बार निष्पादित किया जा सकता है: इसे एक बार सफल होने पर सफलता के रूप में गिना जाना चाहिए।

मुझे वास्तव में उम्मीद है कि इसे लागू किया जाएगा, क्योंकि यह हमारे लिए एक निश्चित शोस्टॉपर है।

कृपया सामान्य विज़ुअलाइज़ेशन में एक विकल्प के रूप में "बकेट स्क्रिप्ट एग्रीगेशन" या "कस्टम एग्रीगेशन" जोड़ें।

TSVB में इस सुविधा का उपयोग करने के उदाहरण में रुचि रखने वाले किसी भी व्यक्ति के लिए, यहां एक प्रासंगिक फ़ोरम पोस्ट है: https://discuss.elastic.co/t/weighted-average-in-a-datatable-of-kibana/185909/2।

अनुरोध की गई सुविधा पूरी नहीं हुई है (!) यह TSVB के बारे में नहीं था, बल्कि अन्य नियमित विज़ुअलाइज़ेशन प्रकारों (!) (बार चार्ट और इसी तरह) के लिए था। अब हम 6.4 पर हैं और हम अभी भी वह नहीं कर सकते जो हमें चाहिए। यह 7.x ASAIK में भी नहीं है।
दोबारा, यह बार चार्ट में "बकेट स्क्रिप्ट" चुनने में सक्षम होने के बारे में है (यह वहां उपलब्ध नहीं है) और समग्र एकत्रीकरण के किसी भी नेस्टेड-स्तर पर ऐसा करने के बारे में है।
हमें एक "बकेट फ़िल्टर" BTW की भी आवश्यकता होगी, जो एक छोटी स्क्रिप्ट के माध्यम से उस एकत्रीकरण से निकलने वाली बकेट को फ़िल्टर करने में सक्षम हो।

सीसी @लोचदार/किबाना-ऐप

'गणना' सुविधा केवल एक शीर्ष-स्तर के रूप में एक बाल्टी-स्क्रिप्ट कर सकती है, इसे मूल बाल्टी-एकत्रीकरण के भीतर लागू नहीं किया जा सकता है ... :(

और यह केवल समय-श्रृंखला विज़ुअलाइज़ेशन में है, मानक विज़ुअलाइज़ेशन में कोई बकेट-स्क्रिप्ट नहीं है।

हमारे विशेष उपयोग के मामलों में दोनों की आवश्यकता होती है, और ऐसा लगता है कि कोई भी समर्थित नहीं है - यहां तक ​​कि 6.x(rc) में भी नहीं
क्या इसके लिए कोई योजना है?

हमारे उपयोग के मामलों में, प्रत्येक दस्तावेज़ में एक प्रारंभ-समय और समाप्ति-समय दिनांक-प्रकार फ़ील्ड होते हैं, और हमें कुछ श्रेणी-फ़ील्ड पर समूहीकृत, उनमें से बकेट में एक समग्र-अवधि उत्पन्न करने की आवश्यकता होती है।
इसमें पहले उस श्रेणी पर बकेटिंग करना शामिल है, फिर उसके भीतर 2 मेट्रिक्स करना: मिनट (स्टार्ट-टाइम) और प्रत्येक बकेट में दस्तावेज़ों का नैक्स (एंड-टाइम), फिर एक पाइपलाइन-स्क्रिप्ट-बकेट एजीजी लागू करना जो इन 2 मीट्रिक का उपयोग करता है- aggs उनके बीच की अवधि की गणना करने के लिए (max_end_time - min_start_time)। यह हमें प्रत्येक बकेट के आउटपुट के रूप में एक 'अवधि' मीट्रिक देता है। फिर हम उन पर कुछ मीट्रिक-पाइपलाइन-एजीजी लागू करना चाहते हैं।

लगभग एक जैसी संरचना का विवरण यहां दिया गया है: https://discuss.elastic.co/t/kibana-5-4-bucket-script-visualization/86475

मैं इसे क्वेरी-डीएसएल में व्यक्त करने में सक्षम था, और हम इसे पहले से ही उत्पादन में उपयोग कर रहे हैं - लेकिन हम किबाना में इनकी कल्पना नहीं कर सकते हैं - जो वास्तव में बेकार है, क्योंकि हमारे ग्राहक वर्षों से ऐसे विज़ुअलाइज़ेशन का अनुरोध कर रहे हैं, और हम ' हमने हमेशा उनसे कहा है 'हमें पाइपलाइन-एकत्रीकरण के लिए बाद के संस्करणों से समर्थन की आवश्यकता है'...
खैर, अब हमारे पास वे हैं - लेकिन वास्तव में, नहीं...
टाइम-सीरीज़ बिल्डर में, हमारे पास बकेट-स्क्रिप्ट पाइपलाइन एग्रीगेशन है जिसे व्यक्त किया जा सकता है, लेकिन यह पेरेंट बकेट-टर्म-एग्रीगेशन पर उपभोग/लागू नहीं कर सकता है, और दूसरे विज़ुअलाइज़ेशन में, हमारे पास बकेट-टर्म- एकत्रीकरण, और कुछ पाइपलाइन-मीट्रिक-एकत्रीकरण, लेकिन आवश्यक बकेट-स्क्रिप्ट पाइपलाइन एकत्रीकरण को व्यक्त करने के लिए आवश्यक नहीं है ...

क्या कुछ "उन्नत JSON" चीज़ का उपयोग करके कोई कामकाज है, मैं वहां अपनी क्वेरी-डीएसएल डाल सकता हूं?

@ArnonMarcus क्या आप इसे हासिल करने में सक्षम थे। मेरे पास समान आवश्यकता है लेकिन यह पता नहीं लगा सका कि किबाना में कैसे कार्यान्वित किया जाए। मैं वर्तमान में 6.7.1 संस्करण पर हूँ

नहीं... यह अभी भी एक खुला मुद्दा है।

एक डेटा वैज्ञानिक के रूप में मेरे दृष्टिकोण से, विज़ुअलाइज़ेशन और मैप्स के भीतर बुनियादी गणित करने की क्षमता, जैसे एकत्रीकरण प्रश्नों पर अनुपात, (इसे इलास्टिक स्पीक में बकेट स्क्रिप्ट एग्रीगेशन कहा जाता है) पूरे किबाना प्लेटफॉर्म की एक विशाल सीमा है

साथ ही आप कस्टम वेगा विज़ुअलाइज़ेशन और मानचित्र बनाकर इस कार्यक्षमता को प्राप्त कर सकते हैं। उस पद्धति के साथ एकमात्र समस्या यह है कि आप अपने विज़ुअलाइज़ेशन पर 10000 मान प्रदर्शित करने तक सीमित हैं, जो कि बहुत सारे डेटा के साथ एक प्रकार का स्कैटर प्लॉट या मानचित्र बनाने के लिए बहुत सीमित है।

+1

+1

इस सुविधा के लिए एक उपयोग मामला इलास्टिक्स खोज को व्युत्पन्न एकत्रीकरण के लिए एक गैर-नकारात्मक विकल्प नहीं होने का समाधान करना है ताकि चार्ट नकारात्मक व्युत्पन्न मान दिखा सकें (जानबूझकर सर्वर पुनरारंभ होने पर): https://github.com/elastic/elasticsearch/issues /15542

+1

यह https://github.com/elastic/kibana/issues/17544 के समान उपयोगकर्ताओं से एक बहुत अनुरोधित सुविधा है

क्या इसे लागू करने की कोई योजना है?

अच्छा होगा !

+1

+1

मुझे इस पार्टी में देर हो रही है, इसलिए मेरी निराशा ताजा है।

कुछ दिन पहले, मैंने लोचदार चर्चा मंच विषय बनाया था " एक फ़ील्ड के प्रति-बकेट योग से दूसरे के प्रति-बकेट योग से विभाजित मूल्य की कल्पना करें? " (वर्बोज़ शीर्षक के बारे में खेद है)।

इसके तुरंत बाद, मुझे यह समस्या मिली, और मुझे देर से एहसास हुआ कि मैं यह पता नहीं लगा सका कि "मानक" किबाना विज़ुअलाइज़ेशन में इसे कैसे किया जाए ️।

मैंने इस मुद्दे का हवाला देते हुए, और TSVB में बकेट स्क्रिप्ट का उपयोग करने के बुनियादी उदाहरण दिखाते हुए, अपने स्वयं के फ़ोरम विषय का उत्तर दिया और—मुझे लगता है कि इसीलिए मैं यह टिप्पणी पोस्ट कर रहा हूँ, अगर यह किसी के लिए उपयोगी है—वेगा-लाइट।

इस वांछित सुविधा की प्रतीक्षा में, डेटा तालिका विज़ुअलाइज़ेशन के लिए एक विकल्प «वर्धित तालिका» समुदाय प्लगइन, और इसकी «गणना कॉलम» सुविधा का उपयोग करना है:
https://github.com/fbaligand/kibana-enhanced-table