Elasticsearch: 업데이트 API: 쿼리로 업데이트

에 만든 2012년 01월 12일 · 160코멘트 · 출처: elastic/elasticsearch

1583에서는 개별 문서를 업데이트할 수 있습니다. 쿼리로 업데이트하면 여러 문서를 업데이트하고 클라이언트에서 ES로 작업을 푸시하려는 경우 네트워크 왕복이 크게 줄어듭니다.

curl -XPOST localhost:9200/index/type/_update -d '{
    "query" : { "constant_score" : { "filter" : { "term" : { "counter" : 0 } } } },
    "script" : "ctx._source.counter += count",
    "params" : {
        "count" : 4
    }
}'

:DistributeCRUD

출처

monken

👍3

가장 유용한 댓글

쿼리에 의한 업데이트는 2.3.0 및 5.0.0-alpha-1에서 제공됩니다. 문서는 여기에 있습니다 .

nik9000 에 2016년 04월 20일

🎉6

모든 160 댓글

이 기능도 정말 좋아할 것입니다!

Mpdreamz 에 2012년 04월 12일

r10r 에 2012년 06월 03일

darklow 에 2012년 06월 05일

mrgautamsam 에 2012년 06월 14일

feridgurbuz 에 2012년 06월 16일

gc20 에 2012년 09월 25일

serpent403 에 2012년 11월 15일

devilankur18 에 2012년 11월 19일

willtrking 에 2012년 12월 01일

ignatiusreza 에 2012년 12월 10일

kenshin54 에 2012년 12월 13일

noodlehaus 에 2013년 01월 03일

Aoseala 에 2013년 01월 03일

이 기능이 정말 필요합니다

timotta 에 2013년 01월 24일

:+1:

burzum 에 2013년 02월 04일

이 기능이 공식적으로 완료되고 출시되기를 기다리는 동안 풀 리퀘스트 #2231을 플러그인으로 패키징했습니다: yakaz/elasticsearch-action-updatebyquery .
즐거운 시간 보내세요.

ofavre 에 2013년 02월 13일

bobbyrenwick 에 2013년 02월 27일

geoffwatts 에 2013년 02월 27일

AnSavvides 에 2013년 02월 28일

neogenix 에 2013년 03월 04일

scriby 에 2013년 03월 04일

gnurag 에 2013년 03월 07일

damienalexandre 에 2013년 03월 28일

paulsabou 에 2013년 04월 11일

acarrasco 에 2013년 04월 11일

steegi 에 2013년 04월 11일

thomasma 에 2013년 04월 17일

oowl 에 2013년 04월 28일

ttghr 에 2013년 05월 15일

acerb 에 2013년 05월 23일

lucaskatayama 에 2013년 06월 05일

:+1: :기도하다:

qw3r 에 2013년 06월 06일

sectronov 에 2013년 06월 11일

mguillermin 에 2013년 06월 13일

쿼리 점수를 업데이트 스크립트에 매개변수로 전달하는 방법이 있습니까? 자식 필드를 기반으로 업데이트된 점수로 항목을 업데이트해야 합니다.

scottc52-zz 에 2013년 06월 27일

thlawiczka 에 2013년 07월 02일

dalibor-frivaldsky 에 2013년 07월 09일

anderson-arlen 에 2013년 07월 11일

@scottc52 성공 하셨나요? 저도 방법을 찾고 있습니다.

gboivin 에 2013년 07월 18일

jstray 에 2013년 07월 18일

@gboivin 아니요. has_child 쿼리를 수행하고 별도의 업데이트 요청을 보내는데 속도가 느립니다.

scottc52-zz 에 2013년 07월 18일

이 기능도 기다리고 있습니다..

bugbuilder 에 2013년 07월 19일

YannBrrd 에 2013년 08월 01일

khsibr 에 2013년 08월 01일

theorm 에 2013년 08월 14일

onokonem 에 2013년 08월 19일

consulthys 에 2013년 08월 22일

willtrking 에 2013년 08월 27일

scoolen 에 2013년 08월 27일

뭔가를 기다리는 데 도움이 되는 약간의 스크립트를 작성했습니다... more "프로덕션 준비" ;-)

https://github.com/YannBrrd/esNodeUpdater

의견/업데이트를 자유롭게...

YannBrrd 에 2013년 09월 02일

denis-ryzhkov 에 2013년 09월 03일

이 기능에 대한 개발 팀의 공식 상태가 있습니까? 나는 그들로부터 어떤 입력도 볼 수 없습니다. 이 기능을 코어에 추가할 계획이 있습니까? 아니면 사용자가 위에 나열된 것과 같은 플러그인을 사용하도록 하는 것을 선호합니까?

mastermatt 에 2013년 09월 25일

우리는 이것을 다시 할 계획입니다. 우리가 이것을 보류하는 주된 이유는 많은 양의 데이터에서 실수로 실행되어 문제를 일으킬 수 있기 때문에 쿼리에 의한 기존 업데이트를 중지하는 방법이 필요하기 때문입니다.. .

kimchy 에 2013년 09월 25일

+1. 업데이트 및 작업에 감사드립니다.

emanuil-tolev 에 2013년 10월 02일

kapso 에 2013년 10월 16일

preetiraj 에 2013년 10월 18일

alexkoltun 에 2013년 10월 20일

eyardimci 에 2013년 10월 27일

+1, 유용한 소리

kmarsh 에 2013년 11월 02일

olsp 에 2013년 11월 06일

pionize 에 2013년 11월 08일

dularion 에 2013년 11월 11일

abronner 에 2013년 11월 25일

Vineeth-Mohan 에 2013년 11월 25일

whatevercode 에 2013년 12월 04일

mishu- 에 2013년 12월 09일

kevinsteger 에 2013년 12월 10일

MrHash 에 2013년 12월 12일

kzachara 에 2013년 12월 12일

+10

anderson-arlen 에 2013년 12월 12일

Plasma 에 2013년 12월 28일

kiyanwang 에 2014년 01월 06일

vaidik 에 2014년 01월 10일

이중 HTTP 호출로 이 기능을 구현할 생각을 해본 적이 있습니까? 쿼리를 저장한 다음 쿼리를 실행할 수 있는 워머에 대해 생각합니다(실제로 동일한 것은 아니지만 생각하게 만듭니다).

@kimchy 실수로 많은 양의 데이터를 런칭한 경우 업데이트를 중지하는 방법을 생각한다고 합니다. 중지하면 인덱싱된 데이터가 잘못된 상태가 될 수 있습니다(롤백이 가능할 수도...?). 아마도 더 나은 접근 방식이 실수를 방지할 것입니다.

실제 대량 업데이트를 트리거하기 전에 2개의 HTTP 호출이 필요한 경우(1은 준비를 위해, 1은 전환 ID로 실제로 트리거하기 위해) 쿼리가 실제로 완료된 시점을 알기 위해 업데이트 상태 핸들러(SolR의 dataimporthandler와 같은)가 필요합니다.

정말 명쾌한지는 모르겠지만 착오 전화를 방지하기 위한 해결책이 될 수 있을 것 같습니다...

shulard 에 2014년 01월 23일

brsanthu 에 2014년 01월 28일

yarinm 에 2014년 01월 29일

나는 또한 이것을 찬성하고 싶습니다.

fuwaneko 에 2014년 01월 29일

@kimchy : 성능은 '질문'이 될 수 없습니다. 현재 저는 수천 개의 쿼리를 실행하여 데이터 조회(예: GPS 위치에 대한 OSM 인덱스 주소 조회 - 조회가 빠르고 ElasticSearch가 있습니다!)를 실행하고 다른 색인의 각 문서를 업데이트합니다. (예: 일반 텍스트 주소 추가). 내 업데이트는 새 필드를 추가합니다. ES 내부의 대량 업데이트는 조회 쿼리 10,000개 + 업데이트 요청 10,000개(대량 업데이트 사용...)보다 더 효율적이어야 합니다. 코딩 및 런타임 관점에서 볼 때 더 효율적일 것입니다. 예를 들어 대량 업데이트 파일은 20.000줄을 가져오고 새로운 기능으로 2줄만 가질 수 있습니다. 모든 데이터는 네트워크를 통해 이동하고 ES는 대량 업데이트 파일을 읽기 바쁘게 만듭니다...

업데이트 작업에 제한을 추가하는 데 동의할 수도 있습니다(예: _update/_query=some_conditions&size=1000). 그렇게 하면 백만 개의 문서를 업데이트하는 것을 피할 수 있습니다. 개발자로서 백만 개의 레코드를 업데이트하기 위해 1000*1000 업데이트를 실행할지 결정할 수 있습니다. 다른 업데이트 호출이 필요한 경우 일부 제어를 제공하기 위해 업데이트된 문서 수를 반환해야 합니다.

seti123 에 2014년 01월 31일

dhruvbansal 에 2014년 01월 31일

내 시나리오의 경우(다른 인덱스에서 조회 후 레코드 강화) 다른 방법으로 할 수 있습니다. 먼저 mongoDb에 데이터를 삽입하고 ElasticSearch에서 조회를 수행하고 Mongo에서 레코드를 업데이트하고 mongo river를 사용하여 ElasticSearch에서 최종 결과를 가져와 GUI(빌드 ES 위에). 누구든지 그러한 시나리오를 경험한 적이 있습니까? 나는 ES 전용으로 갈 수 있기를 바랐습니다 ... 지금까지는 내 프로젝트에서 DB 사용을 거부했습니다.

seti123 에 2014년 02월 03일

안녕,

Couchbase와 같이 간단히 Couchbase + Elasticsearch를 사용할 수 있습니다.
Elasticsearch와의 인터페이스 제공

우정,
얀 바라우드

2014-02-03 seti123 알림 @github.com :

내 시나리오의 경우(다른 인덱스에서 조회 후 레코드 강화)
다른 방법으로 수행하십시오. 먼저 mongoDb에 데이터를 삽입하고 조회를 수행하십시오.
Mongo의 ElasticSearch 업데이트 레코드, mongo river를 사용하여 최종 결과 얻기
ElasticSearch에서 GUI에 표시합니다(ES 위에 빌드). 누구있어?
이러한 시나리오에 대한 경험이 있습니까? 나는 내가 ES 전용 길을 갈 수 있기를 바랐다 ...
이제 내 프로젝트에서 DB 사용을 거부했습니다.
이 이메일에 직접 답장하거나 Gi tHubhttps://github.com/elasticsearch/elasticsearch/issues/1607#issuecomment -33917801에서 확인하세요.
.

YannBrrd 에 2014년 02월 03일

weeyum 에 2014년 02월 11일

+100

girak 에 2014년 02월 11일

sulabhjain 에 2014년 02월 11일

ncammarata 에 2014년 02월 23일

ElasticSearch에 대안이 있습니까? 예를 들어 새 데이터가 삽입되거나 업데이트될 때 작업을 수행하는 스크립트를 트리거합니까? 일종의 Index-Trigger가 전처리 체인을 제거하는 데 도움이 될 수 있습니다(ES에 데이터를 삽입하기 전에 REDIS 및 0MQ 처리 체인을 사용하는 Message Ques를 수행했습니다. 병렬 처리를 위해 데이터를 섞는 데 네트워크 대역폭이 모두 소요됩니다... )

보고싶다
http://localhost :9200/index/type/_preprocessBeforeIndex?script=myDataAnalysisScript
http://localhost :9200/index/type/_preprocessBeforeUpdate?script=myDataAnalysisScript
스크립트는 ES가 저장/인덱싱하기 전에 현재 레코드에 새 필드를 추가할 수 있어야 합니다(변경 후 이중 인덱스 작업을 방지하기 위해). node.js로 많은 작업을 하기 때문에 스크립트는 필요한 언어로 작동해야 합니다(이 경우 JavaScript의 경우).

생성된 인덱스 대신 데이터 유형별 매핑에서 스크립트를 정의할 수 있다면 더욱 좋습니다.
그러한 스크립트를 실행할 수 있는 플러그인이 있습니까? 스크립트에서 ES API 사용에 대한 문서가 있습니까?

seti123 에 2014년 02월 23일

xreal 에 2014년 02월 24일

choonkeat 에 2014년 03월 12일

rotbackenpfeifdruesling 에 2014년 03월 12일

ghost 에 2014년 03월 17일

eirikgro 에 2014년 03월 17일

demockk 에 2014년 03월 18일

stormizin 에 2014년 03월 18일

ibagui 에 2014년 03월 19일

nkhare 에 2014년 04월 04일

이 기능을 기다리는 중... (+1)

gvolpe 에 2014년 04월 08일

cosmin-marginean 에 2014년 04월 15일

rpiccoli 에 2014년 04월 15일

shuperok 에 2014년 04월 21일

harishvolvoikar 에 2014년 04월 23일

JGailor 에 2014년 04월 23일

alari 에 2014년 04월 24일

gabrielgambarini 에 2014년 04월 29일

matheus2740 에 2014년 04월 29일

matthiasfeist 에 2014년 05월 09일

bhabegger 에 2014년 05월 13일

이 기능은 전혀 개발 중입니까?
이것은 현재 응용 프로그램 수준에서 안정적으로 처리하기 거의 불가능한 많은 문제를 해결할 것입니다.

pmishev 에 2014년 05월 16일

fernandolins 에 2014년 05월 21일

fuyp 에 2014년 05월 23일

mvallebr 에 2014년 05월 30일

2013년 2월 중순 이후로 @martijnvg 의 브랜치 를 플러그인으로 yakaz/elasticsearch-action-updatebyquery 를 통해 "공식 풀 요청" #2231을 패키징하고 유지하고 있음을 상기시켜 드립니다.

ofavre 에 2014년 05월 30일

jalateras 에 2014년 06월 04일

ksaveras 에 2014년 06월 05일

MassiveMedia 에 2014년 06월 18일

jrots 에 2014년 06월 18일

+1
어떻게 2013년 2월 이후로 이 기능이 아직 마스터에 병합되지 않은 상태로 있을 수 있습니까?

KrzysztofWilczek 에 2014년 06월 26일

+1
@KrzysztofWilczek 댓글도

efuquen 에 2014년 07월 07일

dhanson358 에 2014년 07월 09일

몇 달 전에 이 문제가 발생했으며(내 게시물 @seti123 January/February 참조) 결과를 공유하고 싶습니다. DB+ES River를 포기한 후(버전 종속성에 대해 너무 많이 걱정함) 다음을 사용하여 사용 사례를 성공적으로 평가했습니다. Crate Data(ES를 라이브러리로 사용하고 "update by query" https://crate.io/docs/stable/sql/dml.html#updating-data 포함) 매핑 및 쿼리를 위한 SQL 인터페이스를 추가합니다.
유사점 및 차이점에 대해 읽을 수 있는 좋은 출발점: https://crate.io/blog/crate_data_elasticsearch

megastef 에 2014년 07월 14일

#2230에 찬성하여 폐쇄

clintongormley 에 2014년 07월 18일

leibale 에 2015년 01월 01일

niemyjski 에 2015년 01월 20일

rkleiren 에 2015년 03월 19일

idoshamun 에 2015년 03월 19일

fjarrett 에 2015년 03월 27일

raphaelMalie 에 2015년 04월 14일

bogdanovich 에 2015년 04월 29일

dbrambilla 에 2015년 05월 06일

binque 에 2015년 05월 15일

saval 에 2015년 05월 26일

artild 에 2015년 05월 29일

bn96 에 2015년 06월 01일

vkopitsa 에 2015년 06월 07일

ifgh 에 2015년 06월 12일

fabriciomassula 에 2015년 07월 11일

쿼리 지원 setPostFilter에 의해 업데이트됩니까?
문제 # 12295

Praveen82 에 2015년 07월 17일

vitaliikapliuk 에 2015년 07월 20일

xelllee 에 2015년 08월 04일

IUnknownPtr 에 2015년 08월 14일

leonklinke 에 2015년 08월 24일

ispringer 에 2015년 09월 01일

sapkalrohan 에 2015년 09월 02일

fiserro 에 2015년 09월 04일

mobalytics 에 2015년 09월 11일

marioeu 에 2015년 09월 16일

ogorun 에 2015년 09월 16일

ron521 에 2015년 11월 03일

누군가 이것을 검토하고 피드백을 줄 수 있습니다.
https://discuss.elastic.co/t/updatebyqueryresponse-throwing-timeout/29176

2천만 개 이상의 레코드를 업데이트하는 동안 쿼리에 의한 업데이트가 실패합니다.

Praveen82 에 2015년 11월 03일

@ Praveen82 타사 플러그인을 사용하고 있습니다. 이것은 지원을 요청하기에 적합한 장소가 아니므로 해당 플러그인의 저장소에 문제로 게시해야 합니다.

rayward 에 2015년 11월 04일

https://github.com/elastic/elasticsearch/pull/15125 는 다음과 같은 구문을 구현하고 있습니다.

curl -XPOST localhost:9200/index/type/_update_by_query -d '{
    "query" : { "term" : { "counter" : 0 } },
    "script" : {
      "inline": "ctx._source.counter += count",
      "params" : {
          "count" : 4
      }
  }
}'

이 너무 오래 정체 된 이유는 그 시간 제한이다 : 최대 이제 자신의 상태와 일에 Elasticsearch 긴 실행중인 작업을 시작하는 방법과 보고서가 될 때까지. 작업 관리 API(#15347)가 저명하여 "재색인" 및 "쿼리별 업데이트" 스타일 항목에 대한 횃불을 들고 작업 관리와 최대한 빨리 통합하려는 의도로 다시 시작했습니다.

어쨌든 #15125 및 후속 PR에서 이 기능을 찾을 수 있습니다.

nik9000 에 2015년 12월 19일

greg-symphony 에 2016년 03월 02일

YuriMarinkov 에 2016년 03월 15일

canyildiz 에 2016년 03월 22일

JohnTian 에 2016년 03월 22일

yossicahen 에 2016년 04월 20일

쿼리에 의한 업데이트는 2.3.0 및 5.0.0-alpha-1에서 제공됩니다. 문서는 여기에 있습니다 .

nik9000 에 2016년 04월 20일

🎉6

2.3.+ 또는 5.+에서 쿼리에 의한 업데이트가 javascript 플러그인을 지원합니까?

scohenenator 에 2016년 08월 09일

2.3.+ 또는 5.+에서 쿼리에 의한 업데이트가 javascript 플러그인을 지원합니까?

당신이 정말로 그것을 원한다면, 확실히. 2.3+에서는 groovy에 대해 쿼리별 업데이트를 테스트하고 5.+에서는 무통에 대해 테스트합니다. 우리는 groovy에 대해 테스트하곤 했고 거기에서도 작동했습니다. 자바 스크립트가 잘 작동 할 것으로 기대합니다.

nik9000 에 2016년 08월 09일

JS 지원은 매우 매끄럽습니다.

scohenenator 에 2016년 08월 09일

JS 지원은 매우 매끄럽습니다.

내가 말했듯이 플러그인이 존재하기 때문에 플러그인을 설치하기만 하면 됩니다.

이러한 모든 언어의 문제점은 JVM에서의 구현이 임베딩에 적합하지 않다는 것입니다. 그렇기 때문에 기본적으로 포함하지 않습니다.

어쨌든, 그것에 대해 더 이야기하고 싶다면 토론.elastic.co가 더 적절한 장소라고 생각합니다.

nik9000 에 2016년 08월 09일

이 페이지가 도움이 되었나요?

0 / 5 - 0 등급

Elasticsearch: 업데이트 API: 쿼리로 업데이트

1583에서는 개별 문서를 업데이트할 수 있습니다. 쿼리로 업데이트하면 여러 문서를 업데이트하고 클라이언트에서 ES로 작업을 푸시하려는 경우 네트워크 왕복이 크게 줄어듭니다.

가장 유용한 댓글

모든 160 댓글

이 이메일에 직접 답장하거나 Gi tHubhttps://github.com/elasticsearch/elasticsearch/issues/1607#issuecomment -33917801에서 확인하세요.
.

관련 문제

Elasticsearch: 업데이트 API: 쿼리로 업데이트

1583에서는 개별 문서를 업데이트할 수 있습니다. 쿼리로 업데이트하면 여러 문서를 업데이트하고 클라이언트에서 ES로 작업을 푸시하려는 경우 네트워크 왕복이 크게 줄어듭니다.

가장 유용한 댓글

모든 160 댓글

이 이메일에 직접 답장하거나 Gi tHubhttps://github.com/elasticsearch/elasticsearch/issues/1607#issuecomment -33917801에서 확인하세요. .

관련 문제

이 이메일에 직접 답장하거나 Gi tHubhttps://github.com/elasticsearch/elasticsearch/issues/1607#issuecomment -33917801에서 확인하세요.
.