بينجينج @ مطاطا / كيبانا-منصة

39288 يبدو أنه يواجه نفس المشكلة

ومدونة أخرى:
https://discuss.elastic.co/t/not-possible-to-create-index-patterns-in-kibana/185591/2

حيث قام المستخدم بإصلاحه إما عن طريق:

• عيّن fielddata يدويًا = true في حقل النوع لفهرس "kibana."
• يدوياً تحرير خرائط elasticsearch لـ Kibana وإعادة تحميل فهرس kibana

لقد قمت بإنشاء مجموعة أخرى (الرابعة) نفس المشكلة مرة أخرى

حاولت إيقاف kibana ، وحذف فهرس kibana. وابدأ Kibana مرة أخرى ، ها هي السجلات المرنة:

• حذف الفهرس

[2019-07-03T03:02:16,659][INFO ][o.e.c.m.MetaDataDeleteIndexService] [elastic01]
[.kibana/1Z8-n6nCSza4pm2HXtWG_Q] deleting index

• بدء كيبانا

[2019-07-03T03:03:15,155][INFO ][o.e.c.m.MetaDataIndexTemplateService] [elastic01]
 adding template [.management-beats] for index patterns [.management-beats]

[2019-07-03T03:03:15,820][INFO ][o.e.c.m.MetaDataCreateIndexService] [elastic01] 
[.kibana] creating index, cause [auto(bulk api)], templates [], shards [1]/[1], mappings []

[2019-07-03T03:03:15,944][INFO ][o.e.c.m.MetaDataMappingService] [elastic01] 
[.kibana/x0ymkiGpRxWJA_rMJ-T3Nw] create_mapping [_doc]

[2019-07-03T03:03:15,945][INFO ][o.e.c.m.MetaDataMappingService] [elastic01] 
[.kibana/x0ymkiGpRxWJA_rMJ-T3Nw] update_mapping [_doc]

[2019-07-03T03:03:16,021][INFO ][o.e.c.r.a.AllocationService] [elastic01] 
Cluster health status changed from [YELLOW] to [GREEN] (reason: [shards started [[.kibana][0]] ...]).

[2019-07-03T03:03:37,218][INFO ][o.e.c.m.MetaDataMappingService] [elastic01]
[.kibana/x0ymkiGpRxWJA_rMJ-T3Nw] update_mapping [_doc]

[2019-07-03T03:03:55,567][DEBUG][o.e.a.s.TransportSearchAction] [elastic01] [.kibana][0],
node[UKPhnQePR6-3EJMobt8mbw], [R], s[STARTED], a[id=oVInWbneRLicfKSIqL_uwA]: 
Failed to execute [SearchRequest{searchType=QUERY_THEN_FETCH, indices=[.kibana], 
indicesOptions=IndicesOptions[ignore_unavailable=false, allow_no_indices=true, 
expand_wildcards_open=true, expand_wildcards_closed=false, allow_aliases_to_multiple_indices=true, 
forbid_closed_indices=true, ignore_aliases=false, ignore_throttled=true], types=[], routing='null', 
preference='null', requestCache=null, scroll=null, maxConcurrentShardRequests=0, 
batchedReduceSize=512, preFilterShardSize=128, allowPartialSearchResults=true, localClusterAlias=null,
getOrCreateAbsoluteStartMillis=-1, ccsMinimizeRoundtrips=true, source={"from":0,"size":20,"query":
{"bool":{"filter":[{"bool":{"should":[{"bool":{"must":[{"term":{"type":{"value":"index-
pattern","boost":1.0}}}],"must_not":[{"exists":
{"field":"namespace","boost":1.0}}],"adjust_pure_negative":true,"boost":1.0}},{"bool":{"must":[{"term":
{"type":{"value":"visualization","boost":1.0}}}],"must_not":[{"exists":
{"field":"namespace","boost":1.0}}],"adjust_pure_negative":true,"boost":1.0}},{"bool":{"must":[{"term":
{"type":{"value":"dashboard","boost":1.0}}}],"must_not":[{"exists":
{"field":"namespace","boost":1.0}}],"adjust_pure_negative":true,"boost":1.0}},{"bool":{"must":[{"term":
{"type":{"value":"search","boost":1.0}}}],"must_not":[{"exists":
{"field":"namespace","boost":1.0}}],"adjust_pure_negative":true,"boost":1.0}}],"adjust_pure_negative":true,"
minimum_should_match":"1","boost":1.0}}],"adjust_pure_negative":true,"boost":1.0}},"seq_no_primary_ter
m":true,"_source":{"includes":["index-pattern","visualization","dashboard","search.title","index-
pattern","visualization","dashboard","search.id","namespace","type","references","migrationVersion",
"updated_at","title","id"],"excludes":[]},"sort":[{"type":
{"order":"asc","unmapped_type":"keyword"}}],"track_total_hits":2147483647}}]

org.elasticsearch.transport.RemoteTransportException: [elastic03][x.x.x.x:9300]
[indices:data/read/search[phase/query]]

Caused by: java.lang.IllegalArgumentException: Fielddata is disabled on text fields by default.
Set fielddata=true on [type] in order to load fielddata in memory by uninverting the inverted index.
Note that this can however use significant memory. Alternatively use a keyword field instead.

تعديل :
لقد أنشأت مجموعة أخرى (خامسة) ، (نفس البرنامج النصي من Scatch ، بما في ذلك إنشاء VM) ولا يوجد خطأ هذه المرة: التفكير: سأحاول معرفة ما إذا كانت مشكلة الانتخابات يمكن أن تسبب هذا؟

تحرير 2:
واجهت المجموعة رقم 6 المشكلة مرة أخرى (تم تضمين نفس البرنامج النصي من Scatch ، وإنشاء VM)

في Node 3 ، يمكنني رؤية سجلات مثيرة للاهتمام:

كانت العقدة بها بعض الأخطاء في المحاولة الأولى في عملية الاختيار / الانضمام الرئيسية ، ولكنها لا تزال تنجح في القيام بذلك وتمهيد التشغيل ، ثم خطأ تقرير العقدة عند إنشاء الاسم المستعار لفهرس kibana.

أزلت معرّف العقدة / {ml.machine_memory = ....، xpack.installed = true} من السجلات لمسح بعض الضوضاء وجعلها أكثر قابلية للقراءة

[2019-07-03T03:57:29,167][INFO ][o.e.c.c.JoinHelper] [elastic03] 
failed to join {elastic01} {x.x.x.x}{x.x.x.x:9300}
with JoinRequest{sourceNode={elastic03}{y.y.y.y} {y.y.y.y:9300}, 
optionalJoin=Optional[Join{term=1, lastAcceptedTerm=0, lastAcceptedVersion=0, sourceNode=
{elastic03}{y.y.y.y}{y.y.y.y:9300}, targetNode={elastic01}{x.x.x.x}{x.x.x.x:9300}}]}

org.elasticsearch.transport.NodeNotConnectedException: [elastic01][x.x.x.x:9300] Node not connected
        at org.elasticsearch.transport.ConnectionManager.getConnection(ConnectionManager.java:151) 
        ....

[2019-07-03T03:57:29,179][INFO ][o.e.c.c.Coordinator] [elastic03] 
setting initial configuration to VotingConfiguration{ID elastic01 ,{bootstrap-
placeholder}-elastic02,ID elastic03}

[2019-07-03T03:57:29,180][INFO ][o.e.c.c.JoinHelper] [elastic03] 
failed to join {elastic01}{x.x.x.x}{x.x.x.x:9300} 
with JoinRequest{sourceNode={elastic03}{y.y.y.y}{y.y.y.y:9300}, 
optionalJoin=Optional[Join{term=1, lastAcceptedTerm=0, lastAcceptedVersion=0, sourceNode=
{elastic03}{y.y.y.y}{y.y.y.y:9300}, targetNode={elastic01}{x.x.x.x}{x.x.x.x:9300}}]}

org.elasticsearch.transport.NodeNotConnectedException: [elastic01][x.x.x.x:9300] Node not connected
        at org.elasticsearch.transport.ConnectionManager.getConnection(ConnectionManager.java:151) 
        ....

[2019-07-03T03:57:29,318][INFO ][o.e.c.s.MasterService] [elastic03] 
elected-as-master ([2] nodes joined)[{elastic03}{y.y.y.y}{y.y.y.y:9300} elect leader,
{elastic01}{x.x.x.x}{x.x.x.x:9300} elect leader,
 _BECOME_MASTER_TASK_, _FINISH_ELECTION_], term: 2, version: 1, reason: master node changed
{previous [], current [{elastic03}{y.y.y.y}{y.y.y.y:9300}}]}, added {{elastic01}{x.x.x.x}{x.x.x.x:9300},}

[2019-07-03T03:57:29,410][INFO ][o.e.c.c.CoordinationState] [elastic03]
 cluster UUID set to [oQs2zr6XTM6spzQSvJ079w]

[2019-07-03T03:57:29,463][INFO ][o.e.c.s.ClusterApplierService] [elastic03]
 master node changed {previous [], current [{elastic03}{y.y.y.y}{y.y.y.y:9300}]}, 
added {{elastic01}{x.x.x.x}{x.x.x.x:9300},}, term: 2, version: 1, reason: Publication{term=2, version=1}

[2019-07-03T03:57:29,538][INFO ][o.e.h.AbstractHttpServerTransport] [elastic03]
publish_address {y.y.y.y:9200}, bound_addresses {[::1]:9200}, {127.0.0.1:9200}, {y.y.y.y:9200}

[2019-07-03T03:57:29,539][INFO ][o.e.n.Node] [elastic03] 
started

[2019-07-03T03:57:29,559][WARN ][o.e.x.s.a.s.m.NativeRoleMappingStore] [elastic03]
 Failed to clear cache for realms [[]]

[2019-07-03T03:57:29,618][INFO ][o.e.g.GatewayService] [elastic03] 
recovered [0] indices into cluster_state

...

[2019-07-03T03:57:30,255][INFO ][o.e.c.s.MasterService] [elastic03] 
node-join[{elastic02}{z.z.z.z}{z.z.z.z:9300} join existing leader], term: 2, version: 8, reason: added
{{elastic02}{z.z.z.z}{z.z.z.z:9300},}

[2019-07-03T03:57:30,543][INFO ][o.e.c.s.ClusterApplierService] [elastic03] 
added {{elastic02}{z.z.z.z}{z.z.z.z:9300},}, term: 2, version: 8, reason: Publication{term=2, version=8}

[2019-07-03T03:57:30,749][INFO ][o.e.l.LicenseService] [elastic03] 
license [] mode [basic] - valid

تم الآن تمهيد الكتلة ، لكن kibana سيرمي بعض الخطأ:

[2019-07-03T03:57:52,002][INFO ][o.e.c.m.MetaDataCreateIndexService] [elastic03]
 [.kibana_task_manager] creating index, cause [auto(bulk api)], templates [.kibana_task_manager], shards
[1]/[1], mappings [_doc]

[2019-07-03T03:57:53,018][INFO ][o.e.c.m.MetaDataCreateIndexService] [elastic03] 
[.kibana_1] creating index, cause [api], templates [], shards [1]/[1], mappings [_doc]

[2019-07-03T03:57:53,279][INFO ][o.e.c.m.MetaDataCreateIndexService] [elastic03]
 [.kibana] creating index, cause [auto(bulk api)], templates [], shards [1]/[1], mappings []

[2019-07-03T03:57:53,382][DEBUG][o.e.a.a.i.a.TransportIndicesAliasesAction] [elastic03]
 failed to perform aliases

org.elasticsearch.indices.InvalidAliasNameException: Invalid alias name [.kibana], 
an index exists with the same name as the alias
        at org.elasticsearch.cluster.metadata.AliasValidator.validateAlias(AliasValidator.java:93) 
       ...

tbuchier شكرًا جزيلاً على تقرير الخطأ المفصل!

أريد فقط أن أؤكد ، لديك مجموعة من 3 عقد ES ، كم عدد عقد Kibana التي تقوم بتشغيلها أم أنها واحدة فقط؟

نقوم بتمهيد الكتلة بناءً على صورة ذهبية بها Kibana + Elastic

لذا 3 Kibana قيد التشغيل (قد نعطل واحدًا ونحتفظ بـ 2 لموازنة HA / تحميل لاحقًا).

يتم تنظيف مجلد البيانات المرنة بالكامل قبل إنشاء مثيل (للحصول على تمهيد صحيح)
لكن ربما ليس / var / lib / kibana الذي يحتوي على UUID ، لذا قد يكون لهما نفس الشيء. ولكن يجب أن تؤثر فقط على المراقبة أليس كذلك؟

هل يمكنك نشر سجلات مثيلات Kibana الثلاثة لمجموعة موجودة في حالة الخطأ هذه؟

لن أتمكن من الوصول إلى env حتى يوم الاثنين ..
أتذكر أنه لم يتم تسجيل أي شيء (حيث كان لدي تسجيل. هادئ: صحيح)
سأقوم بنشر سجل Kibana يوم الإثنين.

لقد وجدت 3 مواضيع أخرى في المنتديات المرنة مع المستخدمين الذين يبدو أنهم يواجهون نفس المشكلة:

الكل مع 7+ ، عالق في إنشاء غير محدود لنمط الفهرس عبر واجهة المستخدم لأن واجهة المستخدم لا يمكنها العثور على الكائن المحفوظ في الفهرس

https://discuss.elastic.co/t/created-index-pattern-is-not-visible-in-kibana-7-0-1/184098/

https://discuss.elastic.co/t/i-cant-create-indexes-patterns-with-eck/184194/

https://discuss.elastic.co/t/kibana-7-0-1-wont-lad-index-pattern/187934/

يبدو كما لو أن نوعًا من ظروف السباق يؤدي إلى تعيين فهرس kibana. {"type": {"type": "text"}} بدلاً من {"type": {"type": "keyword"}}

لقد جربت العديد من عمليات إنشاء مجموعة 3 عقدة ES + Kibana على جهازي المحلي ولكن لم أتمكن من إعادة إنتاج التعيينات لخاصية "النوع" التي يتم ضبطها على "نص".

يمكنني أن أؤكد أن إنشاء تعيين يدويًا باستخدام {"type": {"type": "text"}} ينتج عنه الأعراض الموضحة في هذا وسلاسل المناقشة المرتبطة مثل الخطأ "Fielddata معطل افتراضيًا في حقول النص".

شكرًا جزيلاً على المساعدة التفصيلية لتصحيح الأخطاءtbuchier! ما زلت تقرأها ، ولكن بدافع الفضول ، هل تقوم باختبار اتصال خادم Kibana في حلقة لمعرفة ما إذا كان قد بدأ في البرنامج النصي الخاص بك؟

لقد رأيت هذا يحدث مرة واحدة من قبل ، والعامل العشوائي يعني لي أنه نوع من حالة السباق ، ولكن ما الذي يمكن أن يكون سباقًا؟ أفترض أن استكمال الترحيل يتسابق مع طلب قادم إلى خادم Kibana ، والذي (إذا تم تمكين الأمان) يحاول تحميل خدمة uiSettings ، والتي ستنشئ تلقائيًا كائن التكوين المحفوظ قبل. تم إنشاء فهرس kibana بالفعل ، مما أدى إلى إنشاء الفهرس عن طريق التعيين التلقائي للإدخال واستخدام {"type": "text"} type للحقل

لم يكن هذا ممكنًا لأننا لم نقبل طلبات HTTP حتى اكتمال عمليات الترحيل ، ولكن مع الانتقال إلى النظام الأساسي الجديد ، تغير ترتيب العمليات قليلاً والآن يتم تنفيذ عمليات الترحيل بعد بدء HTTP ، مما يعني أن يمكن تشغيل المسارات قبل أن تصبح خدمة savedObjects قابلة للاستخدام بالفعل ، مما قد يتسبب في حدوث مشكلات بناءً على التوقيت.

تحرير: إحدى الطرق التي يمكننا بها التحقق من ذلك هي إلقاء التعيين والوثائق في فهرس kibana. عند مواجهة هذا الخطأ. إذا كان الفهرس لا يحتوي على أي شيء من خلال مستند التكوين ، فأنا متأكد من أن هذا هو ما يحدث.

تمكنت من إعادة إنتاج هذه المشكلة في بيئة 7.1.1. تفاصيل الكتلة:

• Elasticsearch 7.1.1 مع 6 عقد بيانات + 3 وحدات رئيسية مخصصة + عقدتان للتنسيق فقط
• تم تكوين Kibana 7.1.1 للتحدث إلى عقدتين متناسقتين فقط (إعداد elasticsearch.hosts). يحتوي Kibana على 4 مساحات.
• يتم تمكين الأمان في المجموعة مع مجال مصادقة LDAP الأصلي ، ويتم تكوين SSL لكل من TCP و HTTP على مجموعة Elasticsearch وكذلك على Kibana.

واجهنا هذه المشكلة لأول مرة عندما اضطررنا إلى إيقاف جميع عقد Elasticsearch (لم يتم إيقاف Kibana رغم ذلك) بسبب فشل في الأجهزة. احذف جميع المحتويات في دليل البيانات لجميع عقد Elasticserch. بدأت جميع عقد Elasticsearch مرة أخرى. لم يتم إيقاف كيبانا أثناء إعادة تشغيل الكتلة بالكامل.

تمكنا من إعادة إظهار هذه المشكلة عن طريق حذف فهرس .kibana* بدون إيقاف خدمة Kibana.

لإصلاح هذه المشكلة ، اتخذنا الخطوات التالية:

• اغلاق خدمة Kibana
  - تم حذف مؤشرات kibana. قررنا حذف مؤشرات kibana * نظرًا لعدم وجود بيانات في مؤشرات kibana.
• بدأت خدمة Kibana.

مرحبا !!

لقد ولدت مجموعات هذا الصباح حتى واجهت المشكلة مرة أخرى (الثالثة):

تضمين التغريدة
بالنسبة لسجلات kibana: يبدو أنها مشكلة عرقية بالفعل:

تم إنشاء kibana_1 و kibana_2 ، في Kibana 1 ، لدي خطأ حول:

اسم مستعار غير صالح [.kibana] ، يوجد فهرس بنفس الاسم مثل الاسم المستعار

وجميع الكيبانا لديها:

يبدو أن مثيل Kibana آخر يقوم بترحيل الفهرس. في انتظار اكتمال هذا الترحيل.

kibanalog.txt

تضمين التغريدة
بالنسبة إلى تعيين kibana.: يبدو فارغًا بالفعل:

mapping_kibana.txt

mapping_kibana_1.txt

mapping_kibana_2.txt

تحرير: الخطوة التي ذكرها @ navneet83 :

• وقف كل الكيبانا
• حذف الفهرس kibana. ، kibana_1 ، .kibana_2
• ثم تبدأ فقط 1 kibana
  حل المشكلة.

لإصلاحه في البرنامج النصي الخاص بنا ، نقوم بتمكين Kibana واحد فقط في bootstrap ، وبمجرد إنشاء kibana_1 بنجاح ، يقوم البرنامج النصي بتشغيل المثيلات الأخرى.

tbuchier لقد تمكنت من إعادة إنتاج المشكلة وهي بالفعل كما توقعت spalger حالة سباق مع نظام الهجرة. نحظر جميع العمليات ضد Elasticsearch حتى تكتمل تهيئة الفهارس وعمليات الترحيل. سمح خطأ منطقي للعمليات بالمتابعة حتى إذا كانت التهيئة والترحيل لا يزالان قيد التقدم. تسبب هذا في بدء بعض المكونات الإضافية في الكتابة إلى الفهرس .kibana وسيقوم Elasticsearch تلقائيًا بإنشاء فهرس بتعيينات غير صحيحة.

والخبر السار هو أنه تم إصلاح هذا وإصداره في 7.2.0 (https://github.com/elastic/kibana/pull/37674)

نشكرك على مساعدتك في تصحيح هذا الخطأ وعلى ربط جميع مواضيع المناقشة بهذه المشكلة!

rudolf مرحبًا ، أواجه هذه المشكلة في 7.2.0 أيضًا. يطلب Kibana بشكل متكرر نمط الفهرس ويعطي سجل es خطأ في بيانات الحقل.
"Caused by: java.lang.IllegalArgumentException: Fielddata is disabled on text fields by default. Set fielddata=true on [process.name] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory. Alternatively use a keyword field instead.", "at org.elasticsearch.index.mapper.TextFieldMapper$TextFieldType.fielddataBuilder(TextFieldMapper.java:711) ~[elasticsearch-7.2.0.jar:7.2.0]", "at org.elasticsearch.index.fielddata.IndexFieldDataService.getForField(IndexFieldDataService.java:116) ~[elasticsearch-7.2.0.jar:7.2.0]",

@ ntsh999 نحن نستخدم github لتقارير الأخطاء https://discuss.elastic.co/ يرجى تضمين جميع السجلات من elasticsearch و kibana بالإضافة إلى أي معلومات أخرى ذات صلة مثل كيفية إنشاء الكتلة وإذا كنت قد أجريت أي ترقيات من الإصدارات السابقة من ELK stack.

لأولئك الذين يجدون هذا الموضوع ، ما فعلته في مجموعتي لجعله يعمل

1. احذف فهرس kibana
2. أعد إنشائه باستخدام التعيين الصحيح

PUT /.kibana
{                                                            

    "aliases": {},
    "mappings": {
      "properties": {
        "config": {
          "properties": {
            "buildNum": {
              "type": "long"
            }
          }
        },
        "index-pattern": {
          "properties": {
            "fields": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            },
            "timeFieldName": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            },
            "title": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            }
          }
        },
        "type": {
          "type": "keyword",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "updated_at": {
          "type": "date"
        }
      }
    },
    "settings": {
      "index": {
        "number_of_shards": "5",
        "number_of_replicas": "1"
      }
    }

}

(تأكد من تطابق عدد القطع والنسخ المتماثلة مع احتياجاتك)

@ ألان سيمون رائع! هذا عمل عظيم بالنسبة لي!

@ allan-simon شكرا كذلك ، لقد حفظت مساءي.

@ ألان سيمون هتاف! قضيت الأعمار في محاولة اكتشاف ذلك على خدمة AWS Elasticsearch الليلة قبل العثور على منشورك الذي يعمل بشكل مثالي!