Kibana: किबाना केवल तभी पढ़ा जाता है जब ES उच्च डिस्क वॉटरमार्क पार हो गया हो और बाद में सीमा से नीचे चला गया हो

तो मैं इससे कैसे उबरूं? .किबाना केवल पढ़ने में ही रहता है, चाहे मैं कुछ भी करूं। मैंने इसे स्नैपशॉट करने, इसे हटाने और स्नैपशॉट से पुनर्प्राप्त करने का प्रयास किया है - अभी भी केवल पढ़ने के लिए ...

मैं बस एक परीक्षण मशीन पर इसमें भाग गया। मेरे जीवन के लिए मैं क्लस्टर में डेटा डालना जारी नहीं रख सकता। मुझे अंत में सभी शामिल सूचकांकों को उड़ा देना पड़ा।

मैंने .kibana अनुक्रमणिका को हटाकर समस्या का समाधान किया:
हटाएं /.किबाना/
मैं निश्चित कॉन्फ़िगरेशन/विज़ुअलाइज़ेशन/डैशबोर्ड खो देता हूं लेकिन यह बंद हो गया।

मैं अभी इसकी चपेट में आया हूं। यह सिर्फ किबाना नहीं है, डिस्क थ्रेशोल्ड तक पहुंचने पर सभी इंडेक्स लॉक हो जाते हैं और स्पेस खाली होने पर कभी अनलॉक नहीं होते हैं।

सभी इंडेक्स को मैन्युअल रूप से अनलॉक करने के लिए:

curl -XPUT -H "Content-Type: application/json" https://[YOUR_ELASTICSEARCH_ENDPOINT]:9200/_all/_settings -d '{"index.blocks.read_only_allow_delete": null}'

धन्यवाद @xose , मैं बस फिर से

समस्या सभी सूचकांकों पर हुई, न कि केवल .kibana एक पर।

ES लॉग के अनुसार, इलास्टिक्स खोज होस्ट पर डिस्क स्थान कम होने के कारण सूचकांकों को केवल पढ़ने के लिए सेट किया गया था। मैं Elasticsearch, Kibana, Logstash के साथ कुछ अन्य टूल के साथ एक एकल होस्ट चलाता हूं। जैसा कि यह समस्या अन्य सूचकांकों को प्रभावित करती है, ऐसा लगता है कि यह एक इलास्टिक्स खोज समस्या है और किबाना में देखी गई समस्या एक अन्य समस्या का लक्षण है।

यह बग बेवकूफ है। क्या आप इसे अभी के लिए अनब्रेक कर सकते हैं? कम से कम आपको एक चेतावनी प्रदर्शित करनी चाहिए और संभावित समाधान सूचीबद्ध करना चाहिए। मेरे लिए जेएस त्रुटि लॉग को देखना और यह धागा ढूंढना वाकई बेवकूफी है!

@saberkun आप @xose पोस्ट की गई कमांड का पालन करके इसे अनब्रेक कर सकते हैं:

curl -XPUT -H "Content-Type: application/json" https://[YOUR_ELASTICSEARCH_ENDPOINT]:9200/_all/_settings -d '{"index.blocks.read_only_allow_delete": null}'

हाँ मैंने किया।

रविवार को, 26 नवंबर, 2017 को रात 11:12 बजे आरोन सी. डी ब्रुइन नोटिफिकेशन @github.com
लिखा था:

@saberkun https://github.com/saberkun आप इसे फॉलो करके अनब्रेक कर सकते हैं
आदेश @xose https://github.com/xose पोस्ट किया गया:

कर्ल -XPUT -H "सामग्री-प्रकार: एप्लिकेशन/जेसन" https://[Your_ELASTICSEARCH_ENDPOINT]:9200/_all/_settings -d '{"index.blocks.read_only_allow_delete": null}'

-
आप इसे प्राप्त कर रहे हैं क्योंकि आपका उल्लेख किया गया था।
इस ईमेल का सीधे उत्तर दें, इसे GitHub पर देखें
https://github.com/elastic/kibana/issues/13685#issuecomment-347074533 ,
या थ्रेड को म्यूट करें
https://github.com/notifications/unsubscribe-auth/AEpb5RJrhqJ8fK9wxGtNvTZtomMtlqzZks5s6jbBgaJpZM4PBHOW
.

क्या आप अतिरिक्त जानकारी प्रदान कर सकते हैं? क्या आपको आदेश चलाते समय कोई त्रुटि मिली? क्या सूचकांक अनलॉक हुए और अब आपको एक नया त्रुटि संदेश मिल रहा है? अब आप अपनी लॉग फ़ाइलों में कौन से त्रुटि संदेश देख रहे हैं?

धन्यवाद। यह कमांड द्वारा तय किया जाता है। मेरा मतलब है हाँ, मैंने इसे ठीक करने के लिए इस्तेमाल किया
संकट

26 नवंबर, 2017 को रात 11:19 बजे आरोन सी. डी ब्रुइन नोटिफिकेशन @github.com
लिखा था:

क्या आप अतिरिक्त जानकारी प्रदान कर सकते हैं? क्या आपको कोई त्रुटि मिली जब
आदेश चला रहे हैं? क्या सूचकांक अनलॉक हुए और अब आपको एक नया मिल रहा है
त्रुटि संदेश? अब आप अपनी लॉग फ़ाइलों में कौन से त्रुटि संदेश देख रहे हैं?

-
आप इसे प्राप्त कर रहे हैं क्योंकि आपका उल्लेख किया गया था।
इस ईमेल का सीधे उत्तर दें, इसे GitHub पर देखें
https://github.com/elastic/kibana/issues/13685#issuecomment-347075205 ,
या थ्रेड को म्यूट करें
https://github.com/notifications/unsubscribe-auth/AEpb5Xn5uJBlzvAyXkAjRPom-OiwJ43Gks5s6jg0gaJpZM4PBHOW
.

+1
5.5 से 6.0 . तक अपग्रेड करने के बाद यह त्रुटि प्राप्त करना

+1

ईएलके 6, आधा ड्राइव अभी भी केवल पढ़ने के लिए साफ़ किया गया है, लॉगस्टैश को फिर से लिखने की अनुमति है, किबाना केवल पढ़ने के लिए बनी हुई है

@xose . द्वारा प्रदान किए गए समाधान के साथ समस्या को हल करने में

+1, मेरे लिए एक ही त्रुटि।

मेरे लिए वही मुद्दा। @xose द्वारा दिए गए समाधान द्वारा हल किया गया।

मेरा भी यही विचार है। सभी जय हो @xose।

मैंने अभी-अभी सिंगल-नोड क्लस्टर को 6.0.0 से 6.1.1 (ES और Kibana दोनों) में अपग्रेड किया है। जब मैंने सेवाओं का बैक अप शुरू किया, किबाना फेंक रहा था:

blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];

पिछली बार की तरह ही-- मुझे .kibana अनुक्रमणिका को वापस लाने और जाने के लिए हटाना पड़ा। एक मौजूदा लॉगस्टैश इंडेक्स भी था जिसमें से एक को आवंटित नहीं किया गया था। मैंने इसे भी हटा दिया और फिर अलर्ट की सामान्य बाढ़ आ गई।

मेरे पास जगह खत्म नहीं हुई - इस परीक्षण मशीन पर 120 जीबी में से ~ 92 जीबी मुफ्त है। भंडारण स्थान ZFS है और एक स्क्रब ने कोई डेटा भ्रष्टाचार प्रकट नहीं किया।

लॉग में केवल त्रुटियां अप्रासंगिक प्रतीत होती हैं:

[2018-01-13T20:48:14,579][INFO ][o.e.n.Node               ] [ripley1] stopping ...
[2018-01-13T20:48:14,597][ERROR][i.n.u.c.D.rejectedExecution] Failed to submit a listener notification task. Event loop shut down?
java.util.concurrent.RejectedExecutionException: event executor terminated
        at io.netty.util.concurrent.SingleThreadEventExecutor.reject(SingleThreadEventExecutor.java:821) ~[netty-common-4.1.13.Final.jar:4.1.13.Final]
        at io.netty.util.concurrent.SingleThreadEventExecutor.offerTask(SingleThreadEventExecutor.java:327) ~[netty-common-4.1.13.Final.jar:4.1.13.Final]
        at io.netty.util.concurrent.SingleThreadEventExecutor.addTask(SingleThreadEventExecutor.java:320) ~[netty-common-4.1.13.Final.jar:4.1.13.Final]
        at io.netty.util.concurrent.SingleThreadEventExecutor.execute(SingleThreadEventExecutor.java:746) ~[netty-common-4.1.13.Final.jar:4.1.13.Final]
        at io.netty.util.concurrent.DefaultPromise.safeExecute(DefaultPromise.java:760) [netty-common-4.1.13.Final.jar:4.1.13.Final]
        at io.netty.util.concurrent.DefaultPromise.notifyListeners(DefaultPromise.java:428) [netty-common-4.1.13.Final.jar:4.1.13.Final]
        at io.netty.util.concurrent.DefaultPromise.setFailure(DefaultPromise.java:113) [netty-common-4.1.13.Final.jar:4.1.13.Final]
        at io.netty.channel.DefaultChannelPromise.setFailure(DefaultChannelPromise.java:87) [netty-transport-4.1.13.Final.jar:4.1.13.Final]
        at io.netty.channel.AbstractChannelHandlerContext.safeExecute(AbstractChannelHandlerContext.java:1010) [netty-transport-4.1.13.Final.jar:4.1.13.Final]
        at io.netty.channel.AbstractChannelHandlerContext.write(AbstractChannelHandlerContext.java:825) [netty-transport-4.1.13.Final.jar:4.1.13.Final]
        at io.netty.channel.AbstractChannelHandlerContext.writeAndFlush(AbstractChannelHandlerContext.java:794) [netty-transport-4.1.13.Final.jar:4.1.13.Final]
        at io.netty.channel.DefaultChannelPipeline.writeAndFlush(DefaultChannelPipeline.java:1027) [netty-transport-4.1.13.Final.jar:4.1.13.Final]
        at io.netty.channel.AbstractChannel.writeAndFlush(AbstractChannel.java:301) [netty-transport-4.1.13.Final.jar:4.1.13.Final]
        at org.elasticsearch.http.netty4.Netty4HttpChannel.sendResponse(Netty4HttpChannel.java:146) [transport-netty4-6.0.0.jar:6.0.0]
        at org.elasticsearch.rest.RestController$ResourceHandlingHttpChannel.sendResponse(RestController.java:491) [elasticsearch-6.0.0.jar:6.0.0]
        at org.elasticsearch.rest.action.RestResponseListener.processResponse(RestResponseListener.java:37) [elasticsearch-6.0.0.jar:6.0.0]
        at org.elasticsearch.rest.action.RestActionListener.onResponse(RestActionListener.java:47) [elasticsearch-6.0.0.jar:6.0.0]
        at org.elasticsearch.action.support.TransportAction$1.onResponse(TransportAction.java:85) [elasticsearch-6.0.0.jar:6.0.0]
        at org.elasticsearch.action.support.TransportAction$1.onResponse(TransportAction.java:81) [elasticsearch-6.0.0.jar:6.0.0]
        at org.elasticsearch.action.bulk.TransportBulkAction$BulkOperation$1.finishHim(TransportBulkAction.java:380) [elasticsearch-6.0.0.jar:6.0.0]
        at org.elasticsearch.action.bulk.TransportBulkAction$BulkOperation$1.onFailure(TransportBulkAction.java:375) [elasticsearch-6.0.0.jar:6.0.0]
        at org.elasticsearch.action.support.TransportAction$1.onFailure(TransportAction.java:91) [elasticsearch-6.0.0.jar:6.0.0]
        at org.elasticsearch.action.support.replication.TransportReplicationAction$ReroutePhase.finishAsFailed(TransportReplicationAction.java:908) [elasticsearch-6.0.0.jar:6.0.0]
        at org.elasticsearch.action.support.replication.TransportReplicationAction$ReroutePhase$2.onClusterServiceClose(TransportReplicationAction.java:891) [elasticsearch-6.0.0.jar:6.0.0]
        at org.elasticsearch.cluster.ClusterStateObserver$ContextPreservingListener.onClusterServiceClose(ClusterStateObserver.java:310) [elasticsearch-6.0.0.jar:6.0.0]
        at org.elasticsearch.cluster.ClusterStateObserver$ObserverClusterStateListener.onClose(ClusterStateObserver.java:230) [elasticsearch-6.0.0.jar:6.0.0]
        at org.elasticsearch.cluster.service.ClusterApplierService.doStop(ClusterApplierService.java:168) [elasticsearch-6.0.0.jar:6.0.0]
        at org.elasticsearch.common.component.AbstractLifecycleComponent.stop(AbstractLifecycleComponent.java:85) [elasticsearch-6.0.0.jar:6.0.0]
        at org.elasticsearch.cluster.service.ClusterService.doStop(ClusterService.java:106) [elasticsearch-6.0.0.jar:6.0.0]
        at org.elasticsearch.common.component.AbstractLifecycleComponent.stop(AbstractLifecycleComponent.java:85) [elasticsearch-6.0.0.jar:6.0.0]
        at org.elasticsearch.node.Node.stop(Node.java:713) [elasticsearch-6.0.0.jar:6.0.0]
        at org.elasticsearch.node.Node.close(Node.java:735) [elasticsearch-6.0.0.jar:6.0.0]
        at org.apache.lucene.util.IOUtils.close(IOUtils.java:89) [lucene-core-7.0.1.jar:7.0.1 8d6c3889aa543954424d8ac1dbb3f03bf207140b - sarowe - 2017-10-02 14:36:35]
        at org.apache.lucene.util.IOUtils.close(IOUtils.java:76) [lucene-core-7.0.1.jar:7.0.1 8d6c3889aa543954424d8ac1dbb3f03bf207140b - sarowe - 2017-10-02 14:36:35]
        at org.elasticsearch.bootstrap.Bootstrap$4.run(Bootstrap.java:185) [elasticsearch-6.0.0.jar:6.0.0]
[2018-01-13T20:48:14,692][INFO ][o.e.n.Node               ] [ripley1] stopped
[2018-01-13T20:48:14,692][INFO ][o.e.n.Node               ] [ripley1] closing ...
[2018-01-13T20:48:14,704][INFO ][o.e.n.Node               ] [ripley1] closed
[2018-01-13T20:48:39,879][INFO ][o.e.n.Node               ] [ripley1] initializing ...
[2018-01-13T20:48:40,054][INFO ][o.e.e.NodeEnvironment    ] [ripley1] using [1] data paths, mounts [[/scratch/elasticsearch (scratch/elasticsearch)]], net usable_space [92.5gb], net total_space [93.6gb], types [zfs]
[2018-01-13T20:48:40,055][INFO ][o.e.e.NodeEnvironment    ] [ripley1] heap size [989.8mb], compressed ordinary object pointers [true]
[2018-01-13T20:48:40,119][INFO ][o.e.n.Node               ] [ripley1] node name [ripley1], node ID [TvkaGbQpR5KZ-ZScMZN6AQ]
[2018-01-13T20:48:40,119][INFO ][o.e.n.Node               ] [ripley1] version[6.1.1], pid[6942], build[bd92e7f/2017-12-17T20:23:25.338Z], OS[Linux/4.10.0-38-generic/amd64], JVM[Oracle Corporation/OpenJDK 64-Bit Server VM/1.8.0_151/25.151-b12]
[2018-01-13T20:48:40,120][INFO ][o.e.n.Node               ] [ripley1] JVM arguments [-Xms1g, -Xmx1g, -XX:+UseConcMarkSweepGC, -XX:CMSInitiatingOccupancyFraction=75, -XX:+UseCMSInitiatingOccupancyOnly, -XX:+AlwaysPreTouch, -Xss1m, -Djava.awt.headless=true, -Dfile.encoding=UTF-8, -Djna.nosys=true, -XX:-OmitStackTraceInFastThrow, -Dio.netty.noUnsafe=true, -Dio.netty.noKeySetOptimization=true, -Dio.netty.recycler.maxCapacityPerThread=0, -Dlog4j.shutdownHookEnabled=false, -Dlog4j2.disable.jmx=true, -XX:+HeapDumpOnOutOfMemoryError, -XX:HeapDumpPath=/var/lib/elasticsearch, -Des.path.home=/usr/share/elasticsearch, -Des.path.conf=/etc/elasticsearch]
[2018-01-13T20:48:41,315][INFO ][o.e.p.PluginsService     ] [ripley1] loaded module [aggs-matrix-stats]
[2018-01-13T20:48:41,315][INFO ][o.e.p.PluginsService     ] [ripley1] loaded module [analysis-common]
[2018-01-13T20:48:41,315][INFO ][o.e.p.PluginsService     ] [ripley1] loaded module [ingest-common]
[2018-01-13T20:48:41,315][INFO ][o.e.p.PluginsService     ] [ripley1] loaded module [lang-expression]
[2018-01-13T20:48:41,315][INFO ][o.e.p.PluginsService     ] [ripley1] loaded module [lang-mustache]
[2018-01-13T20:48:41,315][INFO ][o.e.p.PluginsService     ] [ripley1] loaded module [lang-painless]
[2018-01-13T20:48:41,315][INFO ][o.e.p.PluginsService     ] [ripley1] loaded module [mapper-extras]
[2018-01-13T20:48:41,315][INFO ][o.e.p.PluginsService     ] [ripley1] loaded module [parent-join]
[2018-01-13T20:48:41,320][INFO ][o.e.p.PluginsService     ] [ripley1] loaded module [percolator]
[2018-01-13T20:48:41,320][INFO ][o.e.p.PluginsService     ] [ripley1] loaded module [reindex]
[2018-01-13T20:48:41,320][INFO ][o.e.p.PluginsService     ] [ripley1] loaded module [repository-url]
[2018-01-13T20:48:41,320][INFO ][o.e.p.PluginsService     ] [ripley1] loaded module [transport-netty4]
[2018-01-13T20:48:41,320][INFO ][o.e.p.PluginsService     ] [ripley1] loaded module [tribe]
[2018-01-13T20:48:41,321][INFO ][o.e.p.PluginsService     ] [ripley1] no plugins loaded
[2018-01-13T20:48:43,801][INFO ][o.e.d.DiscoveryModule    ] [ripley1] using discovery type [zen]
[2018-01-13T20:48:44,587][INFO ][o.e.n.Node               ] [ripley1] initialized
[2018-01-13T20:48:44,587][INFO ][o.e.n.Node               ] [ripley1] starting ...
[2018-01-13T20:48:44,587][INFO ][o.e.n.Node               ] [ripley1] starting ...
[2018-01-13T20:48:44,759][INFO ][o.e.t.TransportService   ] [ripley1] publish_address {192.168.42.40:9300}, bound_addresses {[::]:9300}
[2018-01-13T20:48:44,792][INFO ][o.e.b.BootstrapChecks    ] [ripley1] bound or publishing to a non-loopback or non-link-local address, enforcing bootstrap checks
[2018-01-13T20:48:47,864][INFO ][o.e.c.s.MasterService    ] [ripley1] zen-disco-elected-as-master ([0] nodes joined), reason: new_master {ripley1}{TvkaGbQpR5KZ-ZScMZN6AQ}{H39AkwwqS_i-fg3Gl5J8QQ}{192.168.42.40}{192.168.42.40:9300}
[2018-01-13T20:48:47,869][INFO ][o.e.c.s.ClusterApplierService] [ripley1] new_master {ripley1}{TvkaGbQpR5KZ-ZScMZN6AQ}{H39AkwwqS_i-fg3Gl5J8QQ}{192.168.42.40}{192.168.42.40:9300}, reason: apply cluster state (from master [master {ripley1}{TvkaGbQpR5KZ-ZScMZN6AQ}{H39AkwwqS_i-fg3Gl5J8QQ}{192.168.42.40}{192.168.42.40:9300} committed version [1] source [zen-disco-elected-as-master ([0] nodes joined)]])
[2018-01-13T20:48:47,884][INFO ][o.e.h.n.Netty4HttpServerTransport] [ripley1] publish_address {192.168.42.40:9200}, bound_addresses {[::]:9200}
[2018-01-13T20:48:47,884][INFO ][o.e.n.Node               ] [ripley1] started
[2018-01-13T20:48:48,326][INFO ][o.e.g.GatewayService     ] [ripley1] recovered [6] indices into cluster_state
[2018-01-13T20:49:01,493][INFO ][o.e.c.m.MetaDataDeleteIndexService] [ripley1] [logstash-2018.01.14/D0f_lDkSQpebPFcey6NHFw] deleting index
[2018-01-13T20:49:18,793][INFO ][o.e.c.m.MetaDataCreateIndexService] [ripley1] [logstash-2018.01.14] creating index, cause [auto(bulk api)], templates [logstash-*], shards [5]/[0], mappings []
[2018-01-13T20:49:18,937][INFO ][o.e.c.r.a.AllocationService] [ripley1] Cluster health status changed from [YELLOW] to [GREEN] (reason: [shards started [[logstash-2018.01.14][4]] ...]).

+1 6.1.2 . में वही त्रुटि

यह इलास्टिक्स खोज का एक कार्य है। लोचदार खोज त्रुटि के अनुसार, all indices on this node will marked read-only ।

किसी इंडेक्स के लिए इसे वापस करने के लिए आप index.blocks.read_only_allow_delete को शून्य पर सेट कर सकते हैं।

इस बारे में अधिक जानकारी यहां पाई जा सकती है: https://www.elastic.co/guide/en/elasticsearch/reference/current/disk-allocator.html

एफवाईआई - अभी भी इसमें चल रहे किसी के लिए, इंडेक्स को ठीक करने के लिए यहां एक त्वरित एक-लाइनर है:
curl -s -H "Content-Type: application/json" http://localhost:9200/_cat/indices | awk '{ print $3 }' | sort | xargs -L 1 -I{} curl -s -XPUT -H "Content-Type: application/json" http://localhost:9200/{}/_settings -d '{"index.blocks.read_only_allow_delete": null}'

यह आपके क्लस्टर में सभी सूचकांकों की एक सूची पकड़ लेता है, फिर प्रत्येक के लिए इसे केवल-पढ़ने के लिए नहीं बनाने के लिए आदेश भेजता है।

एफवाईआई - अभी भी इसमें चल रहे किसी के लिए, इंडेक्स को ठीक करने के लिए यहां एक त्वरित एक-लाइनर है:
curl -s -H "Content-Type: application/json" http://localhost:9200/_cat/indices | awk '{ print $3 }' | sort | xargs -L 1 -I{} curl -s -XPUT -H "Content-Type: application/json" http://localhost:9200/{}/_settings -d '{"index.blocks.read_only_allow_delete": null}'

यह आपके क्लस्टर में सभी सूचकांकों की एक सूची पकड़ लेता है, फिर प्रत्येक के लिए इसे केवल-पढ़ने के लिए नहीं बनाने के लिए आदेश भेजता है।

मैं भी ऐसा तब तक कर रहा था जब तक मुझे @darkpixel का समाधान नहीं मिला (https://github.com/elastic/kibana/issues/13685#issuecomment-347074533)

आप यह सेटिंग एक-एक करके जाने के बजाय _all के लिए कर सकते हैं। मेरे मामले में, इसे सैकड़ों सूचकांकों के लिए करने में काफी समय लगता है, जबकि 'सभी' को सेट करने में केवल कुछ सेकंड लगते हैं।

curl -XPUT -H "Content-Type: application/json" https://localhost:9200/_all/_settings -d '{"index.blocks.read_only_allow_delete": null}'

मैंने .kibana अनुक्रमणिका को हटाकर समस्या का समाधान किया:
हटाएं /.किबाना/
मैं निश्चित कॉन्फ़िगरेशन/विज़ुअलाइज़ेशन/डैशबोर्ड खो देता हूं लेकिन यह बंद हो गया।

इस डब्ल्यूए के लिए बहुत बहुत धन्यवाद। यह मेरे लिए समस्या हल हो गई है।

यह मेरे लिए काम किया। एक नई स्थापना के बाद कबाना को काम करने के लिए दोनों आदेशों की आवश्यकता थी:

curl -XPUT -H "Content-Type: application/json" http://localhost:9200/_cluster/settings -d '{ "transient": { "cluster.routing.allocation.disk.threshold_enabled": false } }'
curl -XPUT -H "Content-Type: application/json" http://localhost:9200/_all/_settings -d '{"index.blocks.read_only_allow_delete": null}'

इसके लिए .kibana अनुक्रमणिका को हटाने की आवश्यकता नहीं थी। अब पूरी तरह से काम करता है!

स्रोत:
https://selleo.com/til/posts/esrgfyxjee-how-to-fix-elasticsearch-forbidden12index-read-only