Kibana: ΠžΡ‡Π΅Π½ΡŒ нСприятная ситуация: поля Π½Π΅ ΠΎΡ‚ΠΎΠ±Ρ€Π°ΠΆΠ°ΡŽΡ‚ΡΡ

Π‘ΠΎΠ·Π΄Π°Π½Π½Ρ‹ΠΉ Π½Π° 19 мая 2015  Β·  3ΠšΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠΈ  Β·  Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ: elastic/kibana

Π˜Ρ‚Π°ΠΊ, Ρƒ мСня Π±Ρ‹Π»ΠΈ проиндСксированы ΠžΠ§Π•ΠΠ¬ слоТныС события, Ρ‚Π΅ΠΏΠ΅Ρ€ΡŒ я Ρ…ΠΎΡ‡Ρƒ ΠΎΡ‚ΠΎΠ±Ρ€Π°Π·ΠΈΡ‚ΡŒ ΠΈΡ… ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΡΠΌ.
Π£ мСня Π±Ρ‹Π»ΠΎ сообщСниС Β«ΠΎΠ±ΡŠΠ΅ΠΊΡ‚Ρ‹ Π² массивах Π½Π΅ ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΈΠ²Π°ΡŽΡ‚ΡΡΒ», поэтому ΠΌΠ½Π΅ ΠΏΡ€ΠΈΡˆΠ»ΠΎΡΡŒ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ copy_to: hits.messages , Π½ΠΎ это ΠΏΡ€ΠΈΠ²ΠΎΠ΄ΠΈΡ‚ ΠΊ Π΄Ρ€ΡƒΠ³ΠΎΠΉ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΠ΅.

ΠŸΠΎΡ…ΠΎΠΆΠ΅, Kibana Π½Π΅ ΠΌΠΎΠΆΠ΅Ρ‚ ΠΎΡ‚ΠΎΠ±Ρ€Π°ΠΆΠ°Ρ‚ΡŒ поля doc_values: true . На самом Π΄Π΅Π»Π΅ ΠΊΠΈΠ±Π°Π½Π° Π½Π΅ ΠΌΠΎΠΆΠ΅Ρ‚ ΠΎΡ‚ΠΎΠ±Ρ€Π°ΠΆΠ°Ρ‚ΡŒ поля, Π²ΠΎΠ·Π²Ρ€Π°Ρ‰Π°Π΅ΠΌΡ‹Π΅ ΠΎΠ±Ρ‹Ρ‡Π½Ρ‹ΠΌ запросом Ρ‡Π΅Ρ€Π΅Π· ES REST API.

                "fields": {
                    "hits.messages": [
                        "Access denied with code 402 (phase 2). Pattern match \"(.*)\" at TX:960009-OWASP_CRS/PROTOCOL_VIOLATION/MISSING_HEADER-REQUEST_HEADERS.",
                        "Operator EQ matched 0 at REQUEST_HEADERS.",
                        "Pattern match \"^[\\\\d.:]+$\" at REQUEST_HEADERS:Host."
                    ]
                }

НСсмотря Π½Π° Ρ‚ΠΎ, Ρ‡Ρ‚ΠΎ hits.messages отобраТаСтся ΠΊΠ°ΠΊ:

"messages" : {
"index" : "not_analyzed",
"type" : "string",
"doc_values" : true
},

это Π½Π΅ ΠΏΠΎΠΊΠ°Π·Π°Π½ΠΎ Π² КибанС. Π― ΠΌΠΎΠ³Ρƒ Π²ΠΈΠ·ΡƒΠ°Π»ΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ это, Π½ΠΎ Π½Π΅ ΠΌΠΎΠ³Ρƒ ΠΏΠΎΠΊΠ°Π·Π°Ρ‚ΡŒ. Π­Ρ‚ΠΎ ΠΏΡ€ΠΎΡ‚ΠΈΠ²ΠΎΡ€Π΅Ρ‡ΠΈΡ‚ оТиданиям Π½ΠΎΡ€ΠΌΠ°Π»ΡŒΠ½ΠΎΠ³ΠΎ Ρ‡Π΅Π»ΠΎΠ²Π΅ΠΊΠ°. ΠšΡ€ΠΎΠΌΠ΅ Ρ‚ΠΎΠ³ΠΎ, Ссли Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ Π²Ρ‹ΠΏΠΎΠ»Π½ΠΈΡ‚ΡŒ поиск ΠΏΠΎ Π½Π΅ΠΌΡƒ, Π²Ρ‹ смоТСтС Π΅Π³ΠΎ ΡƒΠ²ΠΈΠ΄Π΅Ρ‚ΡŒ β€” ΠΈ Π½Π΅ ΠΈΠΌΠ΅Π΅Ρ‚ значСния, Π±ΡƒΠ΄ΡƒΡ‚ Π»ΠΈ ΠΏΠΎΡ‚Ρ€Π°Ρ‡Π΅Π½Ρ‹ Π²ΠΏΡƒΡΡ‚ΡƒΡŽ Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ 8 Π±Π°ΠΉΡ‚ ΠžΠ—Π£.

Π§Ρ‚ΠΎ касаСтся hits.messages, Кибана сказал ΠΌΠ½Π΅: Β«Π­Ρ‚ΠΎ ΠΏΠΎΠ»Π΅ присутствуСт Π² вашСм ΠΎΡ‚ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΈ elasticsearch, Π½ΠΎ Π½Π΅ Π² ΠΊΠ°ΠΊΠΈΡ…-Π»ΠΈΠ±ΠΎ Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚Π°Ρ… Π² Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Π°Ρ… поиска. Π’Ρ‹ всС Π΅Ρ‰Π΅ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ Π²ΠΈΠ·ΡƒΠ°Π»ΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΈΠ»ΠΈ Π²Ρ‹ΠΏΠΎΠ»Π½ΡΡ‚ΡŒ поиск ΠΏΠΎ Π½Π΅ΠΌΡƒΒ».

Π― Ρ‡ΠΈΡ‚Π°Π» Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚Ρ‹, Π½ΠΎ Π½ΠΈΠ³Π΄Π΅ Π½Π΅ Π²ΠΈΠ΄Π΅Π» упоминания ΠΎ ΠΏΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠΈ. Если ΠΊΠΈΠ±Π°Π½Π° ΠΎΡ‚ΠΎΠ±Ρ€Π°ΠΆΠ°Π΅Ρ‚ поля Π’ΠžΠ›Π¬ΠšΠž _source , Π½Π°ΠΏΠΈΡˆΠΈΡ‚Π΅ это большими красными Π±ΡƒΠΊΠ²Π°ΠΌΠΈ Π½Π° Π³Π»Π°Π²Π½ΠΎΠΉ страницС руководства ΠΊΠΈΠ±Π°Π½Ρ‹, Ρ‚Π°ΠΊ ΠΊΠ°ΠΊ это ΠΎΡ‡Π΅Π½ΡŒ Π²Π°ΠΆΠ½ΠΎ.

Π’ Ρ‚Ρ€ΠΈΠΎ ELK Ρ‚Π°ΠΊ ΠΌΠ½ΠΎΠ³ΠΎ ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚Ρ‹Ρ… ошибок, Ρ‡Ρ‚ΠΎ я Π½Π΅ ΡƒΠ²Π΅Ρ€Π΅Π½, Π΄ΠΎΠ»ΠΆΠ΅Π½ Π»ΠΈ я Ρ€Π΅Π³ΠΈΡΡ‚Ρ€ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΊΠ°ΠΊΠΈΠ΅-Π»ΠΈΠ±ΠΎ Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ ΠΈΠ»ΠΈ просто ΠΏΡ€ΠΎΠΏΡƒΡΡ‚ΠΈΡ‚ΡŒ ΠΏΡ€ΠΎΠ³Ρ€Π°ΠΌΠΌΠ½ΠΎΠ΅ обСспСчСниС.

Π‘Π°ΠΌΡ‹ΠΉ ΠΏΠΎΠ»Π΅Π·Π½Ρ‹ΠΉ ΠΊΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠΉ

столкнулся с ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΠΎΠΉ сСйчас. Кибана совсСм Π½Π΅ ΡƒΠ΄ΠΎΠ±Π½Π° для ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»Ρ

ВсС 3 ΠšΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠΉ

Ага. Kibana ΠΎΡ‚ΠΎΠ±Ρ€Π°ΠΆΠ°Π΅Ρ‚ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Ρ‚ΠΎ, Ρ‡Ρ‚ΠΎ хранится Π² _source . Π˜Π·Π²ΠΈΠ½ΠΈΡ‚Π΅ Π·Π° ΠΏΡƒΡ‚Π°Π½ΠΈΡ†Ρƒ, поэтому Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ Π°Π³Ρ€Π΅Π³ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Π΅Π³ΠΎ, Π½ΠΎ Π½Π΅ ΠΎΡ‚ΠΎΠ±Ρ€Π°ΠΆΠ°Ρ‚ΡŒ.

Π’Π°ΡˆΠ΅ Π·Π΄ΠΎΡ€ΠΎΠ²ΡŒΠ΅

Каков ΠΎΠ±Ρ…ΠΎΠ΄Π½ΠΎΠΉ ΠΏΡƒΡ‚ΡŒ, ΠΊΡ€ΠΎΠΌΠ΅ использования logstash для измСнСния исходного события ΠΈ добавлСния Π½ΠΎΠ²Ρ‹Ρ… ΠΏΠΎΠ»Π΅ΠΉ с искаТСнными/скоррСктированными Π΄Π°Π½Π½Ρ‹ΠΌΠΈ?

столкнулся с ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΠΎΠΉ сСйчас. Кибана совсСм Π½Π΅ ΡƒΠ΄ΠΎΠ±Π½Π° для ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»Ρ

Π‘Ρ‹Π»Π° Π»ΠΈ эта страница ΠΏΠΎΠ»Π΅Π·Π½ΠΎΠΉ?
0 / 5 - 0 Ρ€Π΅ΠΉΡ‚ΠΈΠ½Π³ΠΈ

Π‘ΠΌΠ΅ΠΆΠ½Ρ‹Π΅ вопросы

treussart picture treussart  Β·  3ΠšΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠΈ

mark54g picture mark54g  Β·  3ΠšΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠΈ

ynux picture ynux  Β·  3ΠšΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠΈ

timmolter picture timmolter  Β·  3ΠšΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠΈ

tbragin picture tbragin  Β·  3ΠšΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠΈ