Elasticsearch: APIの更新：クエリによる更新

作成日 2012年01月12日  ·  160コメント  ·  ソース: elastic/elasticsearch

1583では、個々のドキュメントを更新できます。 クエリによる更新は、多数のドキュメントを更新してクライアントからESに作業をプッシュする場合に、ネットワークのラウンドトリップを大幅に削減します。

curl -XPOST localhost:9200/index/type/_update -d '{
    "query" : { "constant_score" : { "filter" : { "term" : { "counter" : 0 } } } },
    "script" : "ctx._source.counter += count",
    "params" : {
        "count" : 4
    }
}'
:DistributeCRUD
ソース
picture monken
👍3

最も参考になるコメント

クエリによる更新は、2.3.0および5.0.0-alpha-1で公開されています。 ドキュメントはこちらです。

picture nik9000 2016年04月20日
🎉6

全てのコメント160件

この機能も本当に気に入ります！

Mpdreamz picture Mpdreamz 2012年04月12日

+1

r10r picture r10r 2012年06月03日

+1

darklow picture darklow 2012年06月05日

+1

mrgautamsam picture mrgautamsam 2012年06月14日

+1

feridgurbuz picture feridgurbuz 2012年06月16日

+1

gc20 picture gc20 2012年09月25日

+1

serpent403 picture serpent403 2012年11月15日

+1

devilankur18 picture devilankur18 2012年11月19日

+1

willtrking picture willtrking 2012年12月01日

+1

ignatiusreza picture ignatiusreza 2012年12月10日

+1

kenshin54 picture kenshin54 2012年12月13日

+1

noodlehaus picture noodlehaus 2013年01月03日

+1

Aoseala picture Aoseala 2013年01月03日

私は本当にこの機能が必要です

timotta picture timotta 2013年01月24日

：+1：

burzum picture burzum 2013年02月04日

この機能が正式に終了してリリースされるのを待っている間に、プルリクエスト＃2231をプラグインとしてパッケージ化しました： yakaz / elasticsearch-action-updatebyquery 。
楽しむ。

ofavre picture ofavre 2013年02月13日

+1

bobbyrenwick picture bobbyrenwick 2013年02月27日

+1

geoffwatts picture geoffwatts 2013年02月27日

+1

AnSavvides picture AnSavvides 2013年02月28日

+1

neogenix picture neogenix 2013年03月04日

+1

scriby picture scriby 2013年03月04日

+1

gnurag picture gnurag 2013年03月07日

+1

damienalexandre picture damienalexandre 2013年03月28日

+1

paulsabou picture paulsabou 2013年04月11日

+1

acarrasco picture acarrasco 2013年04月11日

+1

steegi picture steegi 2013年04月11日

+1

thomasma picture thomasma 2013年04月17日

+1

oowl picture oowl 2013年04月28日

+1

ttghr picture ttghr 2013年05月15日

+1

acerb picture acerb 2013年05月23日

+1

lucaskatayama picture lucaskatayama 2013年06月05日

：+1 ：： pray：

qw3r picture qw3r 2013年06月06日

+1

sectronov picture sectronov 2013年06月11日

+1

mguillermin picture mguillermin 2013年06月13日

クエリのスコアをパラメータとして更新スクリプトに渡す方法はありますか？ 子のフィールドに基づいて更新されたスコアでエントリを更新する必要があります。

scottc52-zz picture scottc52-zz 2013年06月27日

+1

thlawiczka picture thlawiczka 2013年07月02日

+1

dalibor-frivaldsky picture dalibor-frivaldsky 2013年07月09日

+1

anderson-arlen picture anderson-arlen 2013年07月11日

@ scottc52なんとかできましたか？ 私もこれを行う方法を探しています。

gboivin picture gboivin 2013年07月18日

+1

jstray picture jstray 2013年07月18日

@gboivinいいえ。 has_childクエリを実行し、個別の更新要求を送信していますが、速度が遅くなります。

scottc52-zz picture scottc52-zz 2013年07月18日

この機能も待っています。

bugbuilder picture bugbuilder 2013年07月19日

+1

YannBrrd picture YannBrrd 2013年08月01日

+1

khsibr picture khsibr 2013年08月01日

+1

theorm picture theorm 2013年08月14日

+1

onokonem picture onokonem 2013年08月19日

+1

consulthys picture consulthys 2013年08月22日

+1

willtrking picture willtrking 2013年08月27日

+1

scoolen picture scoolen 2013年08月27日

何かを待つのに役立つ小さなスクリプトを書いただけです...もっと「本番準備完了」;-)

https://github.com/YannBrrd/esNodeUpdater

コメント/更新してください...

YannBrrd picture YannBrrd 2013年09月02日

+1

denis-ryzhkov picture denis-ryzhkov 2013年09月03日

開発チームからのこの機能に関する公式のステータスはありますか？ 彼らからの入力は見当たりません。 この機能をコアに追加する計画はありますか、それともユーザーに上記のようなプラグインを使用させることを好みますか？

mastermatt picture mastermatt 2013年09月25日

これを取り戻す予定です。これを保留にする主な理由は、大量のデータに対して誤って実行され、問題が発生する可能性があるため、クエリによる既存の更新を停止する方法が必要なためです。 。

kimchy picture kimchy 2013年09月25日

+1。 アップデートとこれに取り組んでいただきありがとうございます。

emanuil-tolev picture emanuil-tolev 2013年10月02日

+1

kapso picture kapso 2013年10月16日

+1

preetiraj picture preetiraj 2013年10月18日

+1

alexkoltun picture alexkoltun 2013年10月20日

+1

eyardimci picture eyardimci 2013年10月27日

+1、便利ですね

kmarsh picture kmarsh 2013年11月02日

+1

olsp picture olsp 2013年11月06日

+1

pionize picture pionize 2013年11月08日

+1

dularion picture dularion 2013年11月11日

+1

abronner picture abronner 2013年11月25日

+1

Vineeth-Mohan picture Vineeth-Mohan 2013年11月25日

+1

whatevercode picture whatevercode 2013年12月04日

+1

mishu- picture mishu- 2013年12月09日

+1

kevinsteger picture kevinsteger 2013年12月10日

+2

MrHash picture MrHash 2013年12月12日

+1

kzachara picture kzachara 2013年12月12日

+10

anderson-arlen picture anderson-arlen 2013年12月12日

+1

Plasma picture Plasma 2013年12月28日

+1

kiyanwang picture kiyanwang 2014年01月06日

+1

vaidik picture vaidik 2014年01月10日

この機能をダブルHTTP呼び出しで実装することを考えたことはありますか。 クエリを保存してからクエリを実行する可能性を提供するウォーマーについて考えます（実際には同じことではありませんが、考えさせられます）。

@kimchyは、大量のデータに対して誤って更新が開始された場合に更新を停止する方法を考えていると言います。 停止すると、インデックス付きデータが無効な状態になる可能性があります（ロールバックできる可能性があります...？）。 たぶん、より良いアプローチは間違いを防ぐことでしょう。

実際の一括更新をトリガーする前に2つのHTTP呼び出し（1つは準備し、1つはトランザクションIDを使用して実際にトリガーする）が必要な場合は、更新ステータスハンドラー（SolRのdataimporthandlerなど）を使用して、クエリが実際にいつ行われたかを確認します。

はっきりとはわかりませんが、間違った電話を防ぐための解決策になると思います...

shulard picture shulard 2014年01月23日

+1

brsanthu picture brsanthu 2014年01月28日

+1

yarinm picture yarinm 2014年01月29日

私もこれに賛成したいと思います。

fuwaneko picture fuwaneko 2014年01月29日

+1

@kimchy ：パフォーマンスは問題になりません：現在、データをルックアップするために何千ものクエリを実行しています（たとえば、GPSロケーションのOSMインデックスアドレスルックアップ-ルックアップは高速です、ElasticSearchを取得しました！）そして他のインデックスの各ドキュメントを更新します（たとえば、クリアテキストアドレスを追加します）。 私の更新は新しいフィールドを追加します。 ES内の一括更新は、10.000ルックアップクエリ+ 10.000更新要求（一括更新も使用）よりも効率的である必要があります。 コーディングと実行時の観点からは、より効率的です。たとえば、一括更新ファイルは20.000行を取得し、新機能では2行しかありません。すべてのデータがネットワーク上を移動し、ESが一括更新ファイルの読み取りでビジー状態になります...

更新操作に制限を追加することに同意するかもしれません。たとえば、_update / _query = some_conditions＆size = 1000を使用すると、100万のドキュメントを更新できなくなります。開発者は、1000 * 1000の更新を実行して100万のレコードを更新するかどうかを決定できます...別の更新呼び出しが必要な場合に制御できるように、更新されたドキュメントの数を返す必要があります。

seti123 picture seti123 2014年01月31日

+1

dhruvbansal picture dhruvbansal 2014年01月31日

私のシナリオ（他のインデックスでのルックアップ後にレコードを強化する）では、別の方法で行うことができます：最初にmongoDbにデータを挿入し、MongoでElasticSearch更新レコードでルックアップを実行し、mongo Riverを使用してElasticSearchで最終結果を取得し、GUIに表示します（ビルドESの上に）。 誰かがそのようなシナリオを経験したことがありますか？ 私はESにしか行けないことを望んでいました...今まで、私は自分のプロジェクトでDBを使用することを拒否していました。

seti123 picture seti123 2014年02月03日

こんにちは、

これには、Couchbase + ElasticsearchをCouchbaseとして使用できます。
Elasticsearchとのインターフェースを提供します

心のこもった、
ヤン・バロー

2014年2月3日seti123 [email protected] ：

私のシナリオ（他のインデックスでのルックアップ後にレコードを強化する）の場合、
別の方法で実行します。最初にmongoDbにデータを挿入し、でルックアップを実行します。
モンゴのElasticSearchアップデートレコード、モンゴリバーを使用して最終結果を取得
ElasticSearchでGUIに表示します（ES上に構築）。 誰かいます
そのようなシナリオを経験しましたか？ 私はESにしか行けないことを望んでいました...
今、私は自分のプロジェクトでDBを使用することを拒否しました。

このメールに直接返信するか、Gi tHubhttps：//github.com/elasticsearch/elasticsearch/issues/1607#issuecomment-33917801で表示してください
。

YannBrrd picture YannBrrd 2014年02月03日

+1

weeyum picture weeyum 2014年02月11日

+100

girak picture girak 2014年02月11日

+1

sulabhjain picture sulabhjain 2014年02月11日

+1

ncammarata picture ncammarata 2014年02月23日

ElasticSearchに代替手段はありますか？たとえば、新しいデータが挿入または更新されたときにアクションを実行するスクリプトをトリガーしますか？ Index-Triggerの前のある種の方法で、前処理チェーンを削除できます（ESにデータを挿入する前にREDISと0MQ処理チェーンを使用してメッセージキューを実行しました-すべて、並列処理のためにデータをシャッフルするためにネットワーク帯域幅が必要です... ）。

を見たいのですが
http：// localhost ：9200 / index / type / _preprocessBeforeIndex？script = myDataAnalysisScript
http：// localhost ：9200 / index / type / _preprocessBeforeUpdate？script = myDataAnalysisScript
スクリプトは、ESがレコードを保存/インデックス付けする前に、現在のレコードに新しいフィールドを追加できます（変更後の二重インデックスアクションを回避するため）。 node.jsで多くの作業を行うため、スクリプトは必要な言語（Case JavaScriptの場合）で動作するはずです。

生成されたインデックスではなく、データのタイプごとのMAPPINGでスクリプトを定義できればさらに良いでしょう。
そのようなスクリプトをトリガーできるプラグインはありますか？ スクリプトでESAPIを使用するためのドキュメントはありますか？

seti123 picture seti123 2014年02月23日

+1

xreal picture xreal 2014年02月24日

+1

choonkeat picture choonkeat 2014年03月12日

+1

rotbackenpfeifdruesling picture rotbackenpfeifdruesling 2014年03月12日

+1

ghost picture ghost 2014年03月17日

+1

eirikgro picture eirikgro 2014年03月17日

+1

demockk picture demockk 2014年03月18日

+1

stormizin picture stormizin 2014年03月18日

+1

ibagui picture ibagui 2014年03月19日

+1

nkhare picture nkhare 2014年04月04日

この機能を待っています...（+ 1）

gvolpe picture gvolpe 2014年04月08日

+1

cosmin-marginean picture cosmin-marginean 2014年04月15日

+1

rpiccoli picture rpiccoli 2014年04月15日

+1

shuperok picture shuperok 2014年04月21日

+1

harishvolvoikar picture harishvolvoikar 2014年04月23日

+1

JGailor picture JGailor 2014年04月23日

+1

alari picture alari 2014年04月24日

+1

gabrielgambarini picture gabrielgambarini 2014年04月29日

+1

matheus2740 picture matheus2740 2014年04月29日

+1

matthiasfeist picture matthiasfeist 2014年05月09日

+1

bhabegger picture bhabegger 2014年05月13日

この機能は開発中ですか？
これにより、現在アプリケーションレベルで確実に処理することがほとんど不可能な非常に多くの問題が解決されます。

pmishev picture pmishev 2014年05月16日

+1

fernandolins picture fernandolins 2014年05月21日

+1

fuyp picture fuyp 2014年05月23日

+1

mvallebr picture mvallebr 2014年05月30日

2013年2月中旬以降、プラグインとして@martijnvgのブランチを介した「公式プルリクエスト」＃2231をパッケージ化して維持していることを思い出してください： yakaz / elasticsearch-action-updatebyquery 。

ofavre picture ofavre 2014年05月30日

+1

jalateras picture jalateras 2014年06月04日

+1

ksaveras picture ksaveras 2014年06月05日

+1

MassiveMedia picture MassiveMedia 2014年06月18日

+1

jrots picture jrots 2014年06月18日

+1
2013年2月以降、この機能をマスターにマージしないようにするにはどうすればよいですか？

KrzysztofWilczek picture KrzysztofWilczek 2014年06月26日

+1
@KrzysztofWilczekコメントの同上。 なぜPRは更新なしで過去1年間停滞したままになっているのですか？ これは、この問題についてこれまでで最もコメントされています。

efuquen picture efuquen 2014年07月07日

+1

dhanson358 picture dhanson358 2014年07月09日

この問題は数か月前に発生し（ @seti1231月/ 2月の投稿を参照）、結果を共有したいと思います
類似点と相違点について読むための良い出発点： https ：

megastef picture megastef 2014年07月14日

＃2230を優先して閉鎖

clintongormley picture clintongormley 2014年07月18日

+1

leibale picture leibale 2015年01月01日

+1

niemyjski picture niemyjski 2015年01月20日

+1

rkleiren picture rkleiren 2015年03月19日

+1

idoshamun picture idoshamun 2015年03月19日

+1

fjarrett picture fjarrett 2015年03月27日

+1

raphaelMalie picture raphaelMalie 2015年04月14日

+1

bogdanovich picture bogdanovich 2015年04月29日

+1

dbrambilla picture dbrambilla 2015年05月06日

+1

binque picture binque 2015年05月15日

+1

saval picture saval 2015年05月26日

+1

artild picture artild 2015年05月29日

+1

bn96 picture bn96 2015年06月01日

+1

vkopitsa picture vkopitsa 2015年06月07日

+1

ifgh picture ifgh 2015年06月12日

+1

fabriciomassula picture fabriciomassula 2015年07月11日

クエリサポートsetPostFilterによって更新されますか？
発行番号12295

Praveen82 picture Praveen82 2015年07月17日

+1

vitaliikapliuk picture vitaliikapliuk 2015年07月20日

+1

xelllee picture xelllee 2015年08月04日

+1

IUnknownPtr picture IUnknownPtr 2015年08月14日

+1

leonklinke picture leonklinke 2015年08月24日

+1

ispringer picture ispringer 2015年09月01日

+1

sapkalrohan picture sapkalrohan 2015年09月02日

+1

fiserro picture fiserro 2015年09月04日

+1

mobalytics picture mobalytics 2015年09月11日

+1

marioeu picture marioeu 2015年09月16日

+1

ogorun picture ogorun 2015年09月16日

+1

ron521 picture ron521 2015年11月03日

誰かがこれをレビューしてフィードバックを与えることができますか？
https://discuss.elastic.co/t/updatebyqueryresponse-throwing-timeout/29176

クエリによる更新は失敗しますが、2,000万以上のレコードを更新します。

Praveen82 picture Praveen82 2015年11月03日

@ Praveen82サードパーティのプラグインを使用しています。 これはサポートをリクエストするのに適切な場所ではありません。プラグインのリポジトリに問題として投稿する必要があります。

rayward picture rayward 2015年11月04日

https://github.com/elastic/elasticsearch/pull/15125は、少し似た構文を実装しています

curl -XPOST localhost:9200/index/type/_update_by_query -d '{
    "query" : { "term" : { "counter" : 0 } },
    "script" : {
      "inline": "ctx._source.counter += count",
      "params" : {
          "count" : 4
      }
  }
}'

これが長い間停止した理由は、これらのタイムアウトが原因です。これまで、Elasticsearchで長時間実行されているジョブを起動し、そのステータスや状況を報告する方法がありました。 タスク管理API（＃15347）の著名人を使って、「インデックスの再作成」と「クエリによる更新」スタイルのトーチを取り上げ、タスク管理とできるだけ早く統合することを目的として、それらを再開しました。

とにかく、＃15125とフォローアップPRは、この機能を探す場所です。

nik9000 picture nik9000 2015年12月19日

+1

greg-symphony picture greg-symphony 2016年03月02日

+1

YuriMarinkov picture YuriMarinkov 2016年03月15日

+1

canyildiz picture canyildiz 2016年03月22日

+1

JohnTian picture JohnTian 2016年03月22日

+1

yossicahen picture yossicahen 2016年04月20日

クエリによる更新は、2.3.0および5.0.0-alpha-1で公開されています。 ドキュメントはこちらです。

nik9000 picture nik9000 2016年04月20日
🎉6

2.3。+または5. +のクエリによる更新はjavascriptプラグインをサポートしていますか？

scohenenator picture scohenenator 2016年08月09日

2.3。+または5. +のクエリによる更新はjavascriptプラグインをサポートしていますか？

あなたが本当にそれを望むなら、確かに。 2.3以降では、Groovyに対してクエリごとの更新をテストし、5。以降では無痛に対してテストします。 以前はGroovyに対してテストしていましたが、そこでも機能しました。 javascriptは問題なく動作すると思います。

nik9000 picture nik9000 2016年08月09日

JSのサポートはかなりスムーズでしょう。

scohenenator picture scohenenator 2016年08月09日

JSのサポートはかなりスムーズでしょう。

私が言ったように、それは存在します、あなたはただプラグインをインストールする必要があります。

これらすべての言語の問題は、JVMでの実装が埋め込み用に適切に方向付けられていないことです。 そのため、デフォルトでは含まれていません。

とにかく、それについてもっと話したいのなら、discuss.elastic.coがより適切な場所だと思います。

nik9000 picture nik9000 2016年08月09日
このページは役に立ちましたか？
0 / 5 - 0 評価

関連する問題

malpani picture malpani  ·  3コメント
clintongormley picture clintongormley  ·  3コメント
rjernst picture rjernst  ·  3コメント
jasontedor picture jasontedor  ·  3コメント
abrahamduran picture abrahamduran  ·  3コメント