ping @ elastic / kibana-platform

39288同じ問題に直面しているようです

そして別のブログ投稿：
https://discuss.elastic.co/t/not-possible-to-create-index-patterns-in-kibana/185591/2

ユーザーが修正した場所：

• 「.kibana」インデックスのタイプフィールドにfielddata = trueを手動で設定します
• Kibanaのelasticsearchマッピングを手動で編集し、.kibanaインデックスを再読み込みしました

別のクラスター（4番目）の同じ問題を再度作成しました

kibanaを停止し、.kibanaインデックスを削除して、Kibanaを再開しようとしました。ここに、エラスティックログがあります。

• インデックスの削除

[2019-07-03T03:02:16,659][INFO ][o.e.c.m.MetaDataDeleteIndexService] [elastic01]
[.kibana/1Z8-n6nCSza4pm2HXtWG_Q] deleting index

• Kibanaの開始

[2019-07-03T03:03:15,155][INFO ][o.e.c.m.MetaDataIndexTemplateService] [elastic01]
 adding template [.management-beats] for index patterns [.management-beats]

[2019-07-03T03:03:15,820][INFO ][o.e.c.m.MetaDataCreateIndexService] [elastic01] 
[.kibana] creating index, cause [auto(bulk api)], templates [], shards [1]/[1], mappings []

[2019-07-03T03:03:15,944][INFO ][o.e.c.m.MetaDataMappingService] [elastic01] 
[.kibana/x0ymkiGpRxWJA_rMJ-T3Nw] create_mapping [_doc]

[2019-07-03T03:03:15,945][INFO ][o.e.c.m.MetaDataMappingService] [elastic01] 
[.kibana/x0ymkiGpRxWJA_rMJ-T3Nw] update_mapping [_doc]

[2019-07-03T03:03:16,021][INFO ][o.e.c.r.a.AllocationService] [elastic01] 
Cluster health status changed from [YELLOW] to [GREEN] (reason: [shards started [[.kibana][0]] ...]).

[2019-07-03T03:03:37,218][INFO ][o.e.c.m.MetaDataMappingService] [elastic01]
[.kibana/x0ymkiGpRxWJA_rMJ-T3Nw] update_mapping [_doc]

[2019-07-03T03:03:55,567][DEBUG][o.e.a.s.TransportSearchAction] [elastic01] [.kibana][0],
node[UKPhnQePR6-3EJMobt8mbw], [R], s[STARTED], a[id=oVInWbneRLicfKSIqL_uwA]: 
Failed to execute [SearchRequest{searchType=QUERY_THEN_FETCH, indices=[.kibana], 
indicesOptions=IndicesOptions[ignore_unavailable=false, allow_no_indices=true, 
expand_wildcards_open=true, expand_wildcards_closed=false, allow_aliases_to_multiple_indices=true, 
forbid_closed_indices=true, ignore_aliases=false, ignore_throttled=true], types=[], routing='null', 
preference='null', requestCache=null, scroll=null, maxConcurrentShardRequests=0, 
batchedReduceSize=512, preFilterShardSize=128, allowPartialSearchResults=true, localClusterAlias=null,
getOrCreateAbsoluteStartMillis=-1, ccsMinimizeRoundtrips=true, source={"from":0,"size":20,"query":
{"bool":{"filter":[{"bool":{"should":[{"bool":{"must":[{"term":{"type":{"value":"index-
pattern","boost":1.0}}}],"must_not":[{"exists":
{"field":"namespace","boost":1.0}}],"adjust_pure_negative":true,"boost":1.0}},{"bool":{"must":[{"term":
{"type":{"value":"visualization","boost":1.0}}}],"must_not":[{"exists":
{"field":"namespace","boost":1.0}}],"adjust_pure_negative":true,"boost":1.0}},{"bool":{"must":[{"term":
{"type":{"value":"dashboard","boost":1.0}}}],"must_not":[{"exists":
{"field":"namespace","boost":1.0}}],"adjust_pure_negative":true,"boost":1.0}},{"bool":{"must":[{"term":
{"type":{"value":"search","boost":1.0}}}],"must_not":[{"exists":
{"field":"namespace","boost":1.0}}],"adjust_pure_negative":true,"boost":1.0}}],"adjust_pure_negative":true,"
minimum_should_match":"1","boost":1.0}}],"adjust_pure_negative":true,"boost":1.0}},"seq_no_primary_ter
m":true,"_source":{"includes":["index-pattern","visualization","dashboard","search.title","index-
pattern","visualization","dashboard","search.id","namespace","type","references","migrationVersion",
"updated_at","title","id"],"excludes":[]},"sort":[{"type":
{"order":"asc","unmapped_type":"keyword"}}],"track_total_hits":2147483647}}]

org.elasticsearch.transport.RemoteTransportException: [elastic03][x.x.x.x:9300]
[indices:data/read/search[phase/query]]

Caused by: java.lang.IllegalArgumentException: Fielddata is disabled on text fields by default.
Set fielddata=true on [type] in order to load fielddata in memory by uninverting the inverted index.
Note that this can however use significant memory. Alternatively use a keyword field instead.

編集：
別のクラスター（5番目）を作成しました（スクラッチからの同じスクリプト、VMの作成が含まれています）、今回はエラーはありません：思考：選挙の問題がこれを引き起こす可能性があるかどうかを確認しようとしますか？

編集2：
クラスターNo6で再び問題が発生しました（スクラッチからの同じスクリプト、VMの作成が含まれています）

ノード3では、興味深いログを見ることができます。

マスターの選択/参加の最初の試行でノードにエラーが発生しましたが、それでも成功してブートストラップし、.kibanaインデックスエイリアスの作成時にノードがエラーを報告します。

ログからノードID / {ml.machine_memory = ....、xpack.installed = true}を削除して、ノイズを取り除き、読みやすくしました。

[2019-07-03T03:57:29,167][INFO ][o.e.c.c.JoinHelper] [elastic03] 
failed to join {elastic01} {x.x.x.x}{x.x.x.x:9300}
with JoinRequest{sourceNode={elastic03}{y.y.y.y} {y.y.y.y:9300}, 
optionalJoin=Optional[Join{term=1, lastAcceptedTerm=0, lastAcceptedVersion=0, sourceNode=
{elastic03}{y.y.y.y}{y.y.y.y:9300}, targetNode={elastic01}{x.x.x.x}{x.x.x.x:9300}}]}

org.elasticsearch.transport.NodeNotConnectedException: [elastic01][x.x.x.x:9300] Node not connected
        at org.elasticsearch.transport.ConnectionManager.getConnection(ConnectionManager.java:151) 
        ....

[2019-07-03T03:57:29,179][INFO ][o.e.c.c.Coordinator] [elastic03] 
setting initial configuration to VotingConfiguration{ID elastic01 ,{bootstrap-
placeholder}-elastic02,ID elastic03}

[2019-07-03T03:57:29,180][INFO ][o.e.c.c.JoinHelper] [elastic03] 
failed to join {elastic01}{x.x.x.x}{x.x.x.x:9300} 
with JoinRequest{sourceNode={elastic03}{y.y.y.y}{y.y.y.y:9300}, 
optionalJoin=Optional[Join{term=1, lastAcceptedTerm=0, lastAcceptedVersion=0, sourceNode=
{elastic03}{y.y.y.y}{y.y.y.y:9300}, targetNode={elastic01}{x.x.x.x}{x.x.x.x:9300}}]}

org.elasticsearch.transport.NodeNotConnectedException: [elastic01][x.x.x.x:9300] Node not connected
        at org.elasticsearch.transport.ConnectionManager.getConnection(ConnectionManager.java:151) 
        ....

[2019-07-03T03:57:29,318][INFO ][o.e.c.s.MasterService] [elastic03] 
elected-as-master ([2] nodes joined)[{elastic03}{y.y.y.y}{y.y.y.y:9300} elect leader,
{elastic01}{x.x.x.x}{x.x.x.x:9300} elect leader,
 _BECOME_MASTER_TASK_, _FINISH_ELECTION_], term: 2, version: 1, reason: master node changed
{previous [], current [{elastic03}{y.y.y.y}{y.y.y.y:9300}}]}, added {{elastic01}{x.x.x.x}{x.x.x.x:9300},}

[2019-07-03T03:57:29,410][INFO ][o.e.c.c.CoordinationState] [elastic03]
 cluster UUID set to [oQs2zr6XTM6spzQSvJ079w]

[2019-07-03T03:57:29,463][INFO ][o.e.c.s.ClusterApplierService] [elastic03]
 master node changed {previous [], current [{elastic03}{y.y.y.y}{y.y.y.y:9300}]}, 
added {{elastic01}{x.x.x.x}{x.x.x.x:9300},}, term: 2, version: 1, reason: Publication{term=2, version=1}

[2019-07-03T03:57:29,538][INFO ][o.e.h.AbstractHttpServerTransport] [elastic03]
publish_address {y.y.y.y:9200}, bound_addresses {[::1]:9200}, {127.0.0.1:9200}, {y.y.y.y:9200}

[2019-07-03T03:57:29,539][INFO ][o.e.n.Node] [elastic03] 
started

[2019-07-03T03:57:29,559][WARN ][o.e.x.s.a.s.m.NativeRoleMappingStore] [elastic03]
 Failed to clear cache for realms [[]]

[2019-07-03T03:57:29,618][INFO ][o.e.g.GatewayService] [elastic03] 
recovered [0] indices into cluster_state

...

[2019-07-03T03:57:30,255][INFO ][o.e.c.s.MasterService] [elastic03] 
node-join[{elastic02}{z.z.z.z}{z.z.z.z:9300} join existing leader], term: 2, version: 8, reason: added
{{elastic02}{z.z.z.z}{z.z.z.z:9300},}

[2019-07-03T03:57:30,543][INFO ][o.e.c.s.ClusterApplierService] [elastic03] 
added {{elastic02}{z.z.z.z}{z.z.z.z:9300},}, term: 2, version: 8, reason: Publication{term=2, version=8}

[2019-07-03T03:57:30,749][INFO ][o.e.l.LicenseService] [elastic03] 
license [] mode [basic] - valid

クラスターはブートストラップされましたが、.kibanaはエラーをスローします：

[2019-07-03T03:57:52,002][INFO ][o.e.c.m.MetaDataCreateIndexService] [elastic03]
 [.kibana_task_manager] creating index, cause [auto(bulk api)], templates [.kibana_task_manager], shards
[1]/[1], mappings [_doc]

[2019-07-03T03:57:53,018][INFO ][o.e.c.m.MetaDataCreateIndexService] [elastic03] 
[.kibana_1] creating index, cause [api], templates [], shards [1]/[1], mappings [_doc]

[2019-07-03T03:57:53,279][INFO ][o.e.c.m.MetaDataCreateIndexService] [elastic03]
 [.kibana] creating index, cause [auto(bulk api)], templates [], shards [1]/[1], mappings []

[2019-07-03T03:57:53,382][DEBUG][o.e.a.a.i.a.TransportIndicesAliasesAction] [elastic03]
 failed to perform aliases

org.elasticsearch.indices.InvalidAliasNameException: Invalid alias name [.kibana], 
an index exists with the same name as the alias
        at org.elasticsearch.cluster.metadata.AliasValidator.validateAlias(AliasValidator.java:93) 
       ...

@tbuchier詳細なバグレポートをありがとう！

確認したいのですが、3つのESノードのクラスターがあります。実行しているKibanaノードはいくつですか、それとも1つだけですか？

Kibana + Elasticを含むゴールデンイメージに基づいてクラスターをブートストラップします

したがって、3つのKibanaが実行されています（1つを無効にして、後でHA /ロードバランシング用に2つを保持する場合があります）。

Elasticのデータフォルダは、インスタンス化の前に完全にクリーンアップされます（正しいブートストラップのため）
ただし、UUIDを含む/ var / lib / kibanaではない可能性があるため、同じである可能性があります。 しかし、それは監視の権利にのみ影響するはずですか？

このエラー状態にあるクラスターの3つのKibanaインスタンスすべてのログを投稿できますか？

私は月曜日まで環境にアクセスできません。
何もログに記録されなかったことを覚えています（logging.quiet：trueを使用していたため）
月曜日にKibanaログを公開します。

同じ問題に直面していると思われるユーザーがいるエラスティックフォーラムで、他に3つのトピックを見つけました。

すべて7+で、UIがインデックスに保存されているオブジェクトを見つけることができないため、UIを介したインデックスパターンの無限の作成で立ち往生しています

https://discuss.elastic.co/t/created-index-pattern-is-not-visible-in-kibana-7-0-1/184098/

https://discuss.elastic.co/t/i-cant-create-indexes-patterns-with-eck/184194/

https://discuss.elastic.co/t/kibana-7-0-1-wont-lad-index-pattern/187934/

.kibanaインデックスに競合状態リードのいくつかの種類がのマッピングたかのように表示されます{"type": {"type": "text"}}の代わりに、 {"type": {"type": "keyword"}}

ローカルマシンで3ノードのES + Kibanaクラスターを何度も作成しようとしましたが、「text」に設定されている「type」プロパティのマッピングを再現できませんでした。

{"type": {"type": "text"}}を使用して手動でマッピングを作成すると、これで説明されている症状と、「フィールドデータはデフォルトでテキストフィールドで無効になっています」エラーなどのリンクされたディスカッションスレッドが生成されることを確認できます。

詳細なデバッグヘルプ@tbuchierをありがとうございました！ まだ読んでいますが、好奇心から、Kibanaサーバーにループでpingを実行して、スクリプトで起動されているかどうかを確認していますか？

これは以前に一度見たことがあり、ランダムな要因は、それが何らかの競合状態であることを私に暗示していますが、何がレースである可能性がありますか？ Kibanaサーバーに入ってくるリクエストと競合する移行完了だと思います。Kibanaサーバーは（セキュリティが有効になっている場合） uiSettingsサービスを読み込もうとします。これにより、の前に構成保存オブジェクトが自動作成されます。 kibanaインデックスが実際に作成されるため、入力を自動マッピングし、 typeフィールドに{"type": "text"}を使用してインデックスを作成します。

移行が完了するまでHTTPリクエストを受け付けなかったため、これは以前は不可能でしたが、新しいプラットフォームへの移行により、操作の順序がわずかに変更され、HTTPの開始後に移行が実行されるようになりました。 savedObjectsサービスが実際に使用可能になる前にルートがトリガーされる可能性があり、タイミングに基づいて問題が発生する可能性があります。

編集：これを確認する1つの方法は、このエラーが発生したときにマッピングとドキュメントを.kibanaインデックスにダンプすることです。 構成ドキュメントによってインデックスに何も含まれていない場合は、これが起こっていることを確信しています。

この問題は7.1.1環境で再現できました。 クラスターの詳細：

• Elasticsearch 7.1.1、6つのデータノード+3つの専用マスター+2つの調整ノードのみ
• Kibana 7.1.1は、2つの調整ノードのみと通信するように構成されています（elasticsearch.hosts設定）。 Kibanaには4つのスペースがあります。
• ネイティブおよびLDAP認証レルムを使用するクラスターでセキュリティが有効になり、ElasticsearchクラスターとKibanaでTCPとHTTPの両方にSSLが構成されます。

ハードウェア障害のためにすべてのElasticsearchノードを停止する必要があったときに最初にこの問題が発生しました（ただし、Kibanaは停止されませんでした）。 すべてのElasticserchノードのデータディレクトリ内のすべてのコンテンツを削除します。 すべてのElasticsearchノードを再開しました。 クラスタ全体の再起動中にKibanaが停止しませんでした。

Kibanaサービスを停止せずに.kibana*インデックスを削除することで、この問題を再現することができました。

この問題を修正するために、次の手順を実行しました。

• Kibanaサービスのシャットダウン
  -.kibana *インデックスを削除しました。 .kibanaインデックスにデータがなかったため、.kibana *インデックスを削除することにしました。
• Kibanaサービスを開始しました。

こんにちは ！！

私は今朝、再び問題に直面するまでクラスターを生成しました（3番目）：

@rudolf
キバナログの場合：それは確かにレースの問題のようです：

kibana_1とkibana_2が作成されました。Kibana1で、次のエラーが発生します。

無効なエイリアス名[.kibana]、エイリアスと同じ名前のインデックスが存在します

そして、すべてのキバナには：

別のKibanaインスタンスがインデックスを移行しているようです。 その移行が完了するのを待っています。

kibanalog.txt

@spalger
.kibanaマッピングの場合：実際には空のようです：

Mapping_kibana.txt

Mapping_kibana_1.txt

Mapping_kibana_2.txt

編集： @ navneet83によって言及されたステップ：

• すべてのキバナを停止します
• インデックスの削除.kibana、.kibana_1、.kibana_2
• 次に、1つのkibanaのみを開始します
  問題を修正します。

スクリプトで修正するために、ブートストラップで1つのKibanaのみを有効にし、.kibana_1が正常に作成されると、スクリプトは他のインスタンスを起動します。

@tbuchier私は問題を再現することができました、そしてそれは確かにスパルジャーが移行システムとの競合状態を推測したようです。 インデックスの初期化と移行が完了するまで、Elasticsearchに対するすべての操作をブロックします。 論理バグにより、初期化と移行がまだ進行中の場合でも操作を続行できました。 これにより、一部のプラグインが.kibanaインデックスへの書き込みを開始し、Elasticsearchが誤ったマッピングでインデックスを自動的に作成していました。

幸いなことに、これは7.2.0で修正およびリリースされています（https://github.com/elastic/kibana/pull/37674）

これのデバッグにご協力いただき、すべてのディスカッショントピックをこの問題にリンクしていただきありがとうございます。

@rudolfこんにちは、私は7.2.0でもこの問題に直面しています。 Kibanaは繰り返しインデックスパターンを要求し、esログはfielddataエラーを出します。
"Caused by: java.lang.IllegalArgumentException: Fielddata is disabled on text fields by default. Set fielddata=true on [process.name] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory. Alternatively use a keyword field instead.", "at org.elasticsearch.index.mapper.TextFieldMapper$TextFieldType.fielddataBuilder(TextFieldMapper.java:711) ~[elasticsearch-7.2.0.jar:7.2.0]", "at org.elasticsearch.index.fielddata.IndexFieldDataService.getForField(IndexFieldDataService.java:116) ~[elasticsearch-7.2.0.jar:7.2.0]",

@ ntsh999 githubは、再現可能なバグレポートにのみ使用します。 7.2でこの動作を再現できる場合は、githubで新しい問題を開き、手順を共有してください。 ただし、ヘルプが必要な場合は、ディスカッションフォーラムhttps://discuss.elastic.co/で新しいトピックを開始してください。elasticsearchとkibanaからのすべてのログと、作成方法などの他の関連情報を含めてください。クラスター、および以前のバージョンのELKスタックからアップグレードを行った場合。

このスレッドを見つけた人のために、私がクラスターで行ったことを機能させるために：

1. キバナインデックスを削除する
2. 正しいマッピングで再作成してください

PUT /.kibana
{                                                            

    "aliases": {},
    "mappings": {
      "properties": {
        "config": {
          "properties": {
            "buildNum": {
              "type": "long"
            }
          }
        },
        "index-pattern": {
          "properties": {
            "fields": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            },
            "timeFieldName": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            },
            "title": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            }
          }
        },
        "type": {
          "type": "keyword",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "updated_at": {
          "type": "date"
        }
      }
    },
    "settings": {
      "index": {
        "number_of_shards": "5",
        "number_of_replicas": "1"
      }
    }

}

（シャードとレプリカの数がニーズに一致していることを確認してください）

@ allan-simon素晴らしい！ それは私にとって素晴らしい働きをしました！

@ allan-simonありがとう、あなたは私の夜を救った。

@ allan-simon乾杯！ 完璧に機能する投稿を見つける前に、今夜AWS Elasticsearchサービスでこれを理解しようとして何年も費やしました！