Grafana: طلب الميزة: معالجة سلسلة متغيرة للقالب

سيكون من الجيد أن تكون قادرًا على الاستيلاء على أجزاء من المتغير أيضًا ، على سبيل المثال $(regex(some_variable, "/^([^-]+)\-([^-]+)$/", "foo: $1 bar:$2")) .

سيسمح هذا بإظهار ملصقات أجمل بكثير مع لوحات / صفوف متكررة (لا حاجة لإظهار القيمة الكاملة مثل ew1-cosmos-prd-prod-admin_api-AutoScalingGroup-1FC4QCWSNZZFV ولكن فقط admin_api (أو حتى Admin API في تركيبة كما تم دعم تحويلات النص ).

أي عمل حول هذا الطلب حتى الآن؟

أحاول أن أفهم ما إذا كان يمكن حل هذا بالفعل من خلال http://docs.grafana.org/reference/templating/#query -options
هل يمكنك وصف مشكلتك بمثال ملموس ، وربما لقطة شاشة توضح المكان الذي اصطدمت فيه بالحائط هنا؟

في حالتي ، لديّ متغير $Host من النوع _Query_ ، وقيمه المحتملة هي أسماء مضيف الخادم الخاص بي: أستخدمه في استعلاماتي لجلب بيانات هذا المضيف (المضيفين) / theses فقط وفي _Title_ أو _Description_ حقل.

لكن أسماء المضيفين هذه يمكن أن تكون طويلة نوعًا ما: "_srv42-nyc-prod.example.com_" والتي يمكنها إنشاء التفاف خط على لوحة "Singlestat" الصغيرة على سبيل المثال.

ستكون القدرة على تنفيذ عملية سلسلة فرعية / regex على المتغير $Host بحيث يزيل "_-prod.example.com_" ويحتفظ بـ "_srv42-nyc_" فقط أمرًا رائعًا.

لدي حالة استخدام مماثلة لـ C-Duv.
أسحب متغيرًا في النموذج " http://server1.example.com " وأود استخدام عنصر "server1" فقط من السلسلة.

@ billyaustin84 استخدم دعم متغير regex لذلك

ما زلت غير متأكد من مكان استخدام المتغيرات التي تم التلاعب بها: في استعلامات اللوحة أو في أي مكان آخر؟ سوف لقطة شاشة تساعد بشكل كبير.

مفيد أيضًا ، إذا كان بإمكان @ billyaustin84 و @ C-Duv تأكيد أنهما حاولوا استخدام http://docs.grafana.org/reference/templating/#query -options وفشلوا.

من المحتمل أن يتم استخدامه في تنسيق الاسم المستعار المتسلسل وعناوين اللوحات.

عندما أضفت في البداية دعم بناء الجملة ${varname:raw} ، كنت أفكر في أنه يمكن توسيعه ليكون لغة معالجة أكثر عمومية لمغادرة المتغيرات حسب الحاجة ، لذلك يمكن أن يمثل بناء جملة مثل ${varname:replace(/(.*)_/,'$1 '):toLower} خط أنابيب لتعديل القيمة في وقت الاستيفاء (على أنه متميز عن تطبيق regex لتعديل القيم في وقت الاستعلام ، حيث يمكن استخدام نفس القيمة في سياقات مختلفة داخل لوحة معلومات).

على سبيل المثال ، واجهت استحالة استخدام تحويلات بسيطة مثل [[variable:toLower]] أو [[variable:toUpper]] لأننا في استعلامات مختلفة نحتاج إلى نكهات مختلفة ذات قيمة متغيرة مع الاحتفاظ بالتجميع (أي لتكرار الصفوف حسب المتغير)

لدي أيضًا حالة استخدام تمثل فيها متغيرات القالب التطبيقات ، ويمكن تحديد مسافة أسماء هذه التطبيقات باستخدام أحرف / (شرطة مائلة) في منصة تزامن الحاوية (وهي Marathon).

تتم إزالة هذه الأحرف في عملية جمع المقاييس واستبدالها بـ _ (شرطة سفلية).

ولكن بعد ذلك ، إذا كنت تريد اقتراح روابط ديناميكية في لوحات النص على سبيل المثال. إلى التطبيق / واجهة برمجة التطبيقات / أيًا كان ، عليك إجراء التحويل المعاكس ، أي. s/_/\./ .

davkal ، لقد استخدمت بالفعل خيار regex لمتغير $Host من النوع "Query". يقوم الاستعلام بجلب جميع مثيلات بروميثيوس المعروفة ويقوم التعبير العادي بتقسيم جزء المنفذ بحيث لا يحتوي المتغير الخاص بي إلا على FQDN الخاص بالخادم.

إنه يعمل للاستعلام عن البيانات (باستخدام some_metric{instance=~"$Host"} ).

ولكن بالنسبة للتسميات الموجودة في وسيلة إيضاح الرسوم البيانية أو في عنوان / وصف الرسم البياني ، أرغب أحيانًا في عرض اسم مضيف أقصر (على سبيل المثال ، srv42-nyc بدلاً من srv42-nyc-prod.example.com ).
لذا فإن نوع التلاعب المتغير لباش جيد بالنسبة لي.

أعلم أنه يمكنني تغيير التعبير المعتاد للمتغير بحيث يحتوي فقط على srv42-nyc واستخدام الاستعلام التالي some_metric{instance=~"$Host-prod.example.com} . لكن يجب أن أقوم بتكييف جميع الاستعلامات ، وماذا لو قمت بتغيير / إضافة مجال ؟. أشعر أيضًا أن متغير دور FQDN $Host مناسب ولا يجب تغيير المحتوى / المعنى المتغير لغرض العرض.

المثال الخاص بي:
لدي مصدر statsd لـ nginx-ingress-controller الذي يغير جميع الأحرف غير الأبجدية الرقمية في أسماء المقاييس والتسميات إلى شرطة سفلية _

نتيجةً لذلك ، لا يمكنني الاستعلام عن مقاييس nginx ومقاييس kubernetes في لوحة تحكم واحدة ،
لأن تسمية نشر التطبيق هي example-app وتسمية معالج nginx example_app

سيكون من المفيد جدًا أن يكون لدينا بعض التلاعب الأساسي بالسلسلة في قسم المتغيرات ،
أو الحق في سلسلة استعلام ، على سبيل المثال تغيير الشرطة السفلية _ للشرطة - في القيمة المتغيرة لهذا الاستعلام

عندما أضفت في البداية دعم بناء الجملة ${varname:raw} ، كنت أفكر في أنه يمكن توسيعه ليكون لغة معالجة أكثر عمومية لمغادرة المتغيرات حسب الحاجة ، لذلك يمكن أن يمثل بناء جملة مثل ${varname:replace(/(.*)_/,'$1 '):toLower} خط أنابيب لتعديل القيمة في وقت الاستيفاء (على أنه متميز عن تطبيق regex لتعديل القيم في وقت الاستعلام ، حيث يمكن استخدام نفس القيمة في سياقات مختلفة داخل لوحة معلومات).

هذه بالضبط واحدة من حالات الاستخدام الخاصة بي. لدي مقاييس مع جزء من المسار بأحرف كبيرة وجزء بأحرف صغيرة. سيكون من الرائع أن تكون قادرًا على إنشاء متغير واحد يمكن تحويله ليناسب حالة الاستخدام ، على لوحة معلومات معينة.

أيضا حالة الاستخدام الخاصة بي. لدي بعض المقاييس التي تم تمييزها بعنوان IP الخاص بالمضيفين وبعض المقاييس التي تم وضع علامة عليها باسم المضيف (الذي يحتوي على عنوان IP ip-xxxx.blah) أرغب في طريقة لاستخدام متغير واحد لتشغيل كلا الاستعلامات.

مشكلتي: أقوم بتصفية الاستعلامات باستخدام أسماء بيئة صغيرة ولكني أريد أن تظهر البيئات بأحرف كبيرة في عناوين لوحة القوالب. لذلك بشكل عام شيء مثل ${variable:toUpper} سيكون رائعًا :-)
أفكار التحول الأخرى:

• من حالة الجمل إلى الشرطة السفلية
• وعلى العكس من الحرف السفلية إلى حالة الجمل
• الحرف الأول الأحرف الكبيرة
• أول حرف LOWER حالة

وضعي هو أنني أقوم بعمل نماذج للمفاتيح باستخدام المكون الإضافي Zabbix وما أحتاجه هو أن العنوان سيحتوي على اسم الواجهة ووصفها من متغير لوحة القيادة $ ifalias.

ستستخدم المقاييس اسم الواجهة المستخرج من المتغير وتسلسل مع سلاسل مثل ": Bits المستلمة: Bits sent وما إلى ذلك" وإنشاء لوحة ديناميكية لكل واجهة على المحول. القطعة الوحيدة المفقودة هي وجود وصف الواجهة في العنوان حتى الآن أنا فقط أستخدم متغيرًا باسم الواجهة. إذا كان بإمكاني إسقاط كل شيء بعد المسافة الأولى في المتغير. ستكون السلسلة الكاملة: (Ethernet3 / 1 Alias ​​_myinterfacedescription_). يمكنني استخدام "Interface $ {ifalias _regex manipulation_} |: تم تلقي بت"

هل هذا ممكن الآن؟

سأقوم بإعادة النموذج الأولي لعنصر Zabbix لإسقاط IF والمسافة المسبق لذلك لا داعي للقلق بشأن ذلك.

في المثال أعلاه حقل "العنصر" ، استبدل $ ifname بـ $ {ifalias _variable manipulation_}

أنا قريب جدًا ، سيكون من الرائع أن أفعل ذلك. نحن على وشك طرح الكثير من المفاتيح وسيكون هذا بمثابة توفير كبير للوقت.

أنا أيضا لدي حاجة لهذا. أقوم بأخذ قائمة أو قياسات من InfluxDB كمتغير خاص بي ، أحتاج إلى الجزأين الأولين من اسم القياس لبناء لوحات متسقة.
على سبيل المثال:

compA_orders_east
compB_orders_west
compB_orders_east

أتمنى أن تكون قائمة المتغيرات الخاصة بي ['compA_orders', 'compB_orders']
سأضيف بعد ذلك west و east إلى الاستعلام في لوحتين في لوحة التحكم

يجب أن تكون النتيجة أنه يمكنني اختيار compA_orders ولدي لوحتان مقابل west و east لهذه الشركة.

!!!!!
تحرير - تجاهلي ، لقد قام Grafana بالفعل بهذا مع Regex في تحميل متغير /^(.*?_.*?)_/ كان جوابي
!!!!!

حالة الاستخدام الخاصة بي هي تكرار الصفوف فوق "مجموعات" من قيم العلامات. إذا كان بإمكاني إنشاء متغيرات مثل:

action-controller,action-controller,action-controller...

ثم استخدم جزءًا فقط من المتغير في الجزء الأيمن من الاستعلام (علامتان مختلفتان). سيسمح لي هذا بإنشاء نوع لوحات المعلومات المتكررة التي أريدها.

حالة الاستخدام الخاصة بي هي تحويل "host_example_com" إلى "host.example.com" ، وهو أمر اعتقدت أنه سيكون من السهل القيام به ...

حالة الاستخدام الخاصة بي هي أن أتمكن من تحديد قائمة بنقاط نهاية http التي يجب مراقبتها ، مثل:
endpoint=GET /path1, POST /path2
ومن ثم تكون قادرًا على إنشاء رسم بياني متكرر لكل قيمة من القيم ، مثل:
http_server_requests_seconds_count{method="${endpoint[0]}", uri="${endpoint[1]}"}

حالة الاستخدام الخاصة بي هي المتغيرات ip_port ، لكننا نريد فقط ip

نرى هذا المتغير $ host هو 192.168.x.x_3307 ، لكننا نريد 192.168.xx فقط. إذا كان هناك طريقة مثل
'192.168.x.x_3307'.split (' _ ') [0] سيكون مثاليًا!

Fanduzi ألا يمكنك استخدام regex لإزالة _<port> في المتغير؟

إجراء +1 للقدرة على معالجة السلاسل مثل هذا سيكون مفيدًا للغاية!

بالنسبة لي ، أود الاحتفاظ بقائمة واحدة من أزواج أجهزة التوجيه / الواجهة ، على سبيل المثال

BYO-XXX-XXX_LZWXXXXXX,BYO-XXX-XXX_GigabitEthernet0/X/X.XXXX

أرغب في الحصول على لوحة مكررة في قائمة المتغيرات هذه ، والتي تستخدم بعد ذلك الجزء الأول قبل _ لملء حقل المضيف (المكون الإضافي Zabbix) والجزء الثاني حقل العنصر داخل regex أكبر نفسه

إذا كان بإمكاني إنشاء متغيرات متداخلة تستخرج أجزاء المتغير الأصلي لتحقيق هذا التأثير ، فسيعمل ذلك أيضًا بالنسبة لي

أعتقد أنه سيكون من الجيد الحصول على آراء المشرفين حول هذا بدلاً من إضافة حالات الاستخدام وحالات الاستخدام عامًا بعد عام: ابتسم:
davkalmarefr ما رأيك؟ متشكك في صحة حالات الاستخدام؟ بشكل عام ، لا يتمتع الأشخاص دائمًا بالتحكم الكامل في استيعاب المقاييس ، وتحويل المقاييس ، وسجل القياس ، ويرغبون في تغيير تمثيل النص في القوائم واللوحات المنسدلة.

تضمين التغريدة

Fanduzi ألا يمكنك استخدام regex لإزالة _<port> في المتغير؟

كيف يمكن لشخص أن يفعل ذلك؟ هل لديك مثال؟

تحرير: وجدت الحل بالنسبة لي. أنا أستخدم هذا التعبير المعتاد في الاستعلام للحصول على المتغير:
'/(.*)_traffic_in/' حدد كل شيء بدون "_traffic_in" من المقياس.

تضمين التغريدة

Fanduzi ألا يمكنك استخدام regex لإزالة _<port> في المتغير؟

كيف يمكن لشخص أن يفعل ذلك؟ هل لديك مثال؟

تحرير: وجدت الحل بالنسبة لي. أنا أستخدم هذا التعبير المعتاد في الاستعلام للحصول على المتغير:
'/(.*)_traffic_in/' حدد كل شيء بدون "_traffic_in" من المقياس.

شكرا لك! بالضبط ما كنت أبحث عنه!

أنا أستخدم الجدول.
تقديم القيمة كارتباط
إضافة $ {__ cell} إلى URL.

ولكن ، قبل استدعاء عنوان URL ، يجب أن أقوم بتحويل $ {_ cell}
وإزالة المجال.

مثل. regex: / ([^.] +)/

مثل: hostname.cade.com أو hostname.aqui.com أو hostname ، محمّل على $ {_ cell}

tranform: $ {_ cell: regex = / ([^.] +) /}

النتيجة: اسم المضيف

Refresh = 10s & var-job = All & var-host = $ {__ cell: TRANSFORM } & var-interal = $ __ auto_interval_interval
Refresh = 10s & var-job = All & var-host = hostname & var-period = $ __ auto_interval_interval

هل من حل لها؟

davkal ، لقد استخدمت بالفعل خيار regex لمتغير $Host من النوع "Query". يقوم الاستعلام بجلب جميع مثيلات بروميثيوس المعروفة ويقوم التعبير العادي بتقسيم جزء المنفذ بحيث لا يحتوي المتغير الخاص بي إلا على FQDN الخاص بالخادم.

إنه يعمل للاستعلام عن البيانات (باستخدام some_metric{instance=~"$Host"} ).

ولكن بالنسبة للتسميات الموجودة في وسيلة إيضاح الرسوم البيانية أو في عنوان / وصف الرسم البياني ، أرغب أحيانًا في _عرض_ اسم مضيف أقصر (على سبيل المثال ، srv42-nyc بدلاً من srv42-nyc-prod.example.com ).
لذا فإن نوع التلاعب المتغير لباش جيد بالنسبة لي.

أعلم أنه يمكنني تغيير التعبير المعتاد للمتغير بحيث يحتوي فقط على srv42-nyc واستخدام الاستعلام التالي some_metric{instance=~"$Host-prod.example.com} . لكن يجب أن أقوم بتكييف جميع الاستعلامات ، وماذا لو قمت بتغيير / إضافة مجال ؟. أشعر أيضًا أن متغير دور FQDN $Host مناسب ولا يجب تغيير المحتوى / المعنى المتغير لغرض العرض.

davkal تعمل هذه الطريقة فقط عند تحديد قيمة واحدة لـ $Host . إذا كنت تبحث عن طريقة للعمل مع قيم متعددة محددة ، فجرب استعلامًا مثل some_metric{instance=~"${Host:regex}-prod.example.com"} .

تنسيقات ${var_name:regex} متغيرات ذات قيم متعددة في سلسلة regex [1] ، لذلك عند تحديد كل من srv41-nyc و srv42-nyc ، يترجم الاستعلام إلى some_metric{instance=~"(srv41-nyc|sv42-nyc)-prod.example.com"} .

[1] https://grafana.com/docs/grafana/latest/variables/advanced-variable-format-options/#regex

+1 لهذا
سيكون خياري الأكثر رواجًا هو استخدام شيء مثل nunjucks لتوفير قوالب من نوع jinja.

إجراء +1 آخر لهذا - نستخدم Grafana كلوحة معلومات للنظر في مئات الكيانات الفردية - لكل منها SHA فريد من نوعه يزيد طوله عن 64 حرفًا ، وللتعرف على واحد بشكل فريد في السياق الموجود فيه ، يجب عليك انقر فوق الرسم البياني لرؤية العنوان بالكامل ، لأن آخر 8 أو 10 أحرف فريدة يتم اقتطاعها بواسطة الشاشة.

TL ؛ DR: أحتاج إلى عناوين المعرف الفريدة لمئات من الرسوم البيانية التي تبدو مثل:
x31089005522ubz7qhc3mldewguc45wrku3eqsxsr64bhbmvwrgeqsxhaffa Bandwidth
ليشبه:
qsxhaffa Bandwidth

شيء ما مثل المشكلة التي تم إغلاقها كنسخة مكررة أعلاه سيكون مثاليًا.

أهلا!

واجهت هذه المشكلة أثناء محاولتي استخدام مقاييس بروميثيوس ، وتحديدًا $__rate_interval .

يتم تعريفها كسلسلة ، لذلك نحصل على شيء ما على شكل 60s .

يعد هذا أمرًا جيدًا عند استخدامه كمحدد متجه للنطاق ، ولكن يتم تجميع المقياس الخاص بنا s .

المثال الكامل هو:

• العداد الأساسي:
  
  
  
  • seconds_service_used
  
  
• التجمع المحلي:
  
  
  
  • sum(increase(seconds_service_used[$__range])) BY (email)
  
  
• مصدر قاعدة التسجيلة agg_seconds_service_used:rate10m :
  
  
  
  • sum(rate(seconds_service_used[10m])) BY (email)
  
  
• تقدير تقريبي للمبلغ الإجمالي:
  
  
  
  • sum_over_time(agg_seconds_service_used:rate10m[$__range]) * 60
  
  
• المأزق الذي يشير إلى هذه المشكلة كمسار سريع للمضي قدمًا:
  
  
  
  • sum_over_time(agg_seconds_service_used:rate10m[$__range]) * $__rate_interval
  
  

تعطل طلب البحث الأخير ، نظرًا لتخلف s .

شكرا للنظر في المشكلة!

مشكلتي: لا أريد استخدام سلسلة فرعية على القيمة المحددة
لكن التنسيقات مخصصة فقط للمحددات المتعددة
ربما توجد طريقة لإضافة مُنسق ذو قيمة واحدة

في مشكلتي لدي قرون في k8s بأسماء مثل

الحجرة = المصادقة-78df597855-f2hxq
جراب = auth-redis-b499985c4-h2rx8

لدي متغير

service_name= label_values(kube_deployment_labels{namespace=~"$namespace"}, deployment)

أنا أبحث عن طريقة للحصول عليها كنمط

لذلك يمكنني استخدام pod = ~ "$ service_name" بدلاً من pod = ~ "$ service_name- [a-zA-Z0-9] - [a-zA-Z0-9] "
المشكلة في السابق هي أن نمط ALL لن يتطابق مع بعض القرون الموجودة لدي في kubernetes
كما هو الحال مع $ service_name ~ = ". " سيكون pod = ~ ". - [a-zA-Z0-9] - [a-zA-Z0-9] " بدلاً من pod ~ = ". *"

هل هناك طريقة لإضافة postfix إلى متغير في Grafana ، على سبيل المثال مع regex؟
يمكن أن يكون postfix ثابت "- [a-zA-Z0-9] - [a-zA-Z0-9] "
على سبيل المثال مثل هذا؟

هذا بالطبع لا يعمل.

ستكون النتيجة المقصودة

service_name:
  .*    <<<<<<<<<<<<<<<<<<<<<<- from Include All option
  auth-[a-zA-Z0-9]*-[a-zA-Z0-9]*       <<<<< pattern in variable name
  auth-redis-[a-zA-Z0-9]*-[a-zA-Z0-9]*
  some_other_name-[a-zA-Z0-9]*-[a-zA-Z0-9]*

أم أن هناك طريقة label_replace في استعلام المتغير ؟؟

هكذا تبدو في بروميثيوس

label_replace(kube_deployment_labels{namespace=~".*"}, "deploymentregex", "$1-[a-zA-Z0-9]*-[a-zA-Z0-9]*", "deployment", "(.*)" )

حلها مع
نتيجة_الاستعلام

""
query_result (label_replace (kube_deployment_labels {namespace = ~ ". "} ، " publishregex " ، "النشر" ، "(. ) "))

/. publishregex = "([^،] ). * /
""

لا يعمل في مرشح: /

تحرير - يعمل

بينما نناقش معالجة المتغير - أفتقد خيار إضافة "المتغيرات المخصصة" إلى متغير الاستعلام
سيكون من الرائع لو تمكنا من الجمع بين أنواع متغيرة قليلة في كيان واحد

متغير الاستعلام مع خيار إدخال المستخدم المخصص (متغير النص) على سبيل المثال

لديّ حاجة لربط السلسلة واستبدال الأحرف. تخيل أن القيم المتغيرة الخاصة بي مثل

• اباتشي هر
• خادم ويب اباتشي
• ...

لذا فهي تحتوي على أحرف مسافات. أحتاج لاحقًا إلى الاستعلام عن قاعدة بيانات MariaDB ، والتي تحتوي على جداول منفصلة لكل من القيم. في قاعدة البيانات أجد جداول مثل

• مثيلات_ Apache_Tomcat
• مثيلات_ Apache_Webserver
• ...

كما ترى ، مع استبدال النص البسيط (مسافة-> شرطة سفلية) وسلسلة البادئة "مثيلات_" ، من السهل إنشاء اسم جدول SQL الصحيح. ومع ذلك ، لا أعرف كيفية تحقيق ذلك باستخدام إمكانيات regex الخاصة بـ Grafana ، ولا يسمح لي إرسال القيمة الأولية إلى MariaDB لإنجاز معالجة السلسلة بوضع النتيجة في عبارة FROM للاستعلام.

كيف يمكن حل هذا؟ راجع للشغل ، أنا أقوم بتشغيل Grafana 7.3.1.1.

هذا هو مزيج فوضوي من القضايا. أولاً ، أريد من Grafana أن يعتني بمشكلتي الأساسية تمامًا ولكنها لا تفعل ذلك (https://github.com/grafana/grafana/issues/8259#issuecomment-722990863) ، ثم أحاول تمرير التلاعب بالسلسلة إلى MariaDB (https : //stackoverflow.com/a/64714297/4222206) والذي لا يعمل أيضًا (https://github.com/grafana/grafana/issues/8755).
يبدو أن غرافانا ليست قابلة للتحمل كما كنت أتمنى أن تكون.

أي تقدم بشأن طلب OP؟
لماذا يصعب دمج هذا؟ لقد مرت 3 سنوات بالفعل

torkelobergquistmarefrryantxudprokop

ما رأيك في هذه الميزة؟
نريد متغير Regex لدعم المحطات الفرعية.
s/(.*)/\1_postfix/

لقد قمت بتنفيذ إصلاح لهذه المشكلة في https://github.com/grafana/grafana/pull/29754. أنا أحب ردود الفعل.