Elasticsearch: 更新API：按查询更新

创建于 2012-01-12  ·  160评论  ·  资料来源: elastic/elasticsearch

1583 允许更新单个文档。 如果您想更新大量文档并将工作从客户端推送到 ES，则按查询更新将从根本上减少网络往返。

curl -XPOST localhost:9200/index/type/_update -d '{
    "query" : { "constant_score" : { "filter" : { "term" : { "counter" : 0 } } } },
    "script" : "ctx._source.counter += count",
    "params" : {
        "count" : 4
    }
}'
:DistributeCRUD
资料来源
picture monken
👍3

最有用的评论

查询更新在 2.3.0 和 5.0.0-alpha-1 中生效。 文档在这里。

picture nik9000 于 2016-04-20
🎉6

所有160条评论

也会非常喜欢这个功能！

Mpdreamz picture Mpdreamz 于 2012-04-12

+1

r10r picture r10r 于 2012-06-03

+1

darklow picture darklow 于 2012-06-05

+1

mrgautamsam picture mrgautamsam 于 2012-06-14

+1

feridgurbuz picture feridgurbuz 于 2012-06-16

+1

gc20 picture gc20 于 2012-09-25

+1

serpent403 picture serpent403 于 2012-11-15

+1

devilankur18 picture devilankur18 于 2012-11-19

+1

willtrking picture willtrking 于 2012-12-01

+1

ignatiusreza picture ignatiusreza 于 2012-12-10

+1

kenshin54 picture kenshin54 于 2012-12-13

+1

noodlehaus picture noodlehaus 于 2013-01-03

+1

Aoseala picture Aoseala 于 2013-01-03

我真的很需要这个功能

timotta picture timotta 于 2013-01-24

：+1：

burzum picture burzum 于 2013-02-04

在等待此功能正式完成和发布的同时，我将拉取请求 #2231 打包为插件： yakaz/elasticsearch-action-updatebyquery 。
玩得开心。

ofavre picture ofavre 于 2013-02-13

+1

bobbyrenwick picture bobbyrenwick 于 2013-02-27

+1

geoffwatts picture geoffwatts 于 2013-02-27

+1

AnSavvides picture AnSavvides 于 2013-02-28

+1

neogenix picture neogenix 于 2013-03-04

+1

scriby picture scriby 于 2013-03-04

+1

gnurag picture gnurag 于 2013-03-07

+1

damienalexandre picture damienalexandre 于 2013-03-28

+1

paulsabou picture paulsabou 于 2013-04-11

+1

acarrasco picture acarrasco 于 2013-04-11

+1

steegi picture steegi 于 2013-04-11

+1

thomasma picture thomasma 于 2013-04-17

+1

oowl picture oowl 于 2013-04-28

+1

ttghr picture ttghr 于 2013-05-15

+1

acerb picture acerb 于 2013-05-23

+1

lucaskatayama picture lucaskatayama 于 2013-06-05

：+1：：祈祷：

qw3r picture qw3r 于 2013-06-06

+1

sectronov picture sectronov 于 2013-06-11

+1

mguillermin picture mguillermin 于 2013-06-13

有没有办法将查询的分数作为参数传递给更新脚本？ 我需要根据其子项的字段更新分数来更新条目。

scottc52-zz picture scottc52-zz 于 2013-06-27

+1

thlawiczka picture thlawiczka 于 2013-07-02

+1

dalibor-frivaldsky picture dalibor-frivaldsky 于 2013-07-09

+1

anderson-arlen picture anderson-arlen 于 2013-07-11

@scottc52你做到了吗？ 我也在寻找一种方法来做到这一点。

gboivin picture gboivin 于 2013-07-18

+1

jstray picture jstray 于 2013-07-18

@gboivin不。 我正在执行 has_child 查询并发送单独的更新请求，但速度很慢。

scottc52-zz picture scottc52-zz 于 2013-07-18

也在等这个功能。。

bugbuilder picture bugbuilder 于 2013-07-19

+1

YannBrrd picture YannBrrd 于 2013-08-01

+1

khsibr picture khsibr 于 2013-08-01

+1

theorm picture theorm 于 2013-08-14

+1

onokonem picture onokonem 于 2013-08-19

+1

consulthys picture consulthys 于 2013-08-22

+1

willtrking picture willtrking 于 2013-08-27

+1

scoolen picture scoolen 于 2013-08-27

刚刚写了一个小脚本来帮助等待一些东西......更多的“生产准备”;-)

https://github.com/YannBrrd/esNodeUpdater

随意评论/更新...

YannBrrd picture YannBrrd 于 2013-09-02

+1

denis-ryzhkov picture denis-ryzhkov 于 2013-09-03

开发团队是否对此功能有官方状态？ 我没有看到他们的任何意见。 是否有计划将此功能添加到核心中，还是倾向于让用户使用上面列出的

mastermatt picture mastermatt 于 2013-09-25

我们计划重新讨论这个，我们搁置这个的主要原因是我们需要有一种方法来停止查询的现有更新，因为它们可能会在大量数据上错误地执行，从而导致问题.. .

kimchy picture kimchy 于 2013-09-25

+1。 感谢您的更新并致力于此。

emanuil-tolev picture emanuil-tolev 于 2013-10-02

+1

kapso picture kapso 于 2013-10-16

+1

preetiraj picture preetiraj 于 2013-10-18

+1

alexkoltun picture alexkoltun 于 2013-10-20

+1

eyardimci picture eyardimci 于 2013-10-27

+1，听起来很有用

kmarsh picture kmarsh 于 2013-11-02

+1

olsp picture olsp 于 2013-11-06

+1

pionize picture pionize 于 2013-11-08

+1

dularion picture dularion 于 2013-11-11

+1

abronner picture abronner 于 2013-11-25

+1

Vineeth-Mohan picture Vineeth-Mohan 于 2013-11-25

+1

whatevercode picture whatevercode 于 2013-12-04

+1

mishu- picture mishu- 于 2013-12-09

+1

kevinsteger picture kevinsteger 于 2013-12-10

+2

MrHash picture MrHash 于 2013-12-12

+1

kzachara picture kzachara 于 2013-12-12

+10

anderson-arlen picture anderson-arlen 于 2013-12-12

+1

Plasma picture Plasma 于 2013-12-28

+1

kiyanwang picture kiyanwang 于 2014-01-06

+1

vaidik picture vaidik 于 2014-01-10

你有没有想过用一个双 HTTP 调用来实现这个功能。 我想到了warmers，它提供了存储查询然后执行查询的可能性（这不是一回事，但它让我思考）。

@kimchy你说你想了一种方法来阻止更新，如果它是在大量数据上错误地启动的。 如果你停止它，也许索引数据将处于无效状态（也许有可能回滚......？）。 也许更好的方法是防止错误。

如果在触发真正的大规模更新之前需要两次 HTTP 调用（1 次准备和 1 次真正触发它，中间有一个转换 ID），然后更新状态处理程序（如 SolR 中的 dataimporthandler）知道查询何时真正完成。

我不确定是否真的很清楚，但我认为这可以成为防止错误调用的解决方案......

shulard picture shulard 于 2014-01-23

+1

brsanthu picture brsanthu 于 2014-01-28

+1

yarinm picture yarinm 于 2014-01-29

我也想为这个点赞。

fuwaneko picture fuwaneko 于 2014-01-29

+1

@kimchy ：性能不是问题：目前我正在运行数以千计的查询来查找数据（例如，用于 GPS 位置的 OSM 索引地址查找 - 查找速度很快，嘿，我有 ElasticSearch！）并更新其他索引中的每个文档（例如添加明文地址）。 我的更新添加了新字段。 ES 中的批量更新必须比 10.000 个查找查询 + 10.000 个更新请求（也使用批量更新......）更有效。 从编码和运行时的角度来看，它会更有效率，例如，批量更新文件有 20.000 行，而新功能可能只有 2 行——所有数据都通过网络移动，使 ES 忙于读取批量更新文件......

也许您同意为更新操作添加限制，例如 _update/_query=some_conditions&size=1000 这样它就可以避免更新一百万个文档——我们作为开发人员可以决定是否运行 1000*1000 次更新来更新一百万条记录......它如果需要另一个更新调用，应该返回更新的文档数以提供一些控制。

seti123 picture seti123 于 2014-01-31

+1

dhruvbansal picture dhruvbansal 于 2014-01-31

对于我的场景（在其他索引中查找后丰富记录）我可能会做另一种方式：首先将数据插入到 mongoDb，在 ElasticSearch 中查找在 Mongo 中更新记录，使用 mongo river 在 ElasticSearch 中获得最终结果以在 GUI 中显示它（构建在 ES 之上）。 有没有人经历过这样的场景？ 我希望我只能采用 ES 的方式……直到现在，我确实拒绝在我的项目中使用 DB。

seti123 picture seti123 于 2014-02-03

你好，

你可以简单地使用 Couchbase + Elasticsearch，作为 Couchbase
提供与 Elasticsearch 的接口

亲切，
雅恩·巴罗

2014-02-03 seti123通知@github.com：

对于我的场景（在其他索引中查找后丰富记录）我可能
另一种方式：首先将数据插入到 mongoDb，在
ElasticSearch在Mongo中更新记录，使用mongo river得到最终结果
在 ElasticSearch 中以 GUI 显示它（构建在 ES 之上）。 有没有人
经历过这样的场景？ 我希望我只能去 ES ......直到
现在，我确实拒绝在我的项目中使用数据库。

直接回复本邮件或在Gi tHub上查看
.

YannBrrd picture YannBrrd 于 2014-02-03

+1

weeyum picture weeyum 于 2014-02-11

+100

girak picture girak 于 2014-02-11

+1

sulabhjain picture sulabhjain 于 2014-02-11

+1

ncammarata picture ncammarata 于 2014-02-23

ElasticSearch 中是否有替代方法，例如在插入或更新新数据时触发执行操作的脚本？ 某种之前的索引触发器可以帮助我删除预处理链（我们现在在 ES 中插入数据之前使用 REDIS 和 0MQ 处理链做了消息队列 - 所有这些都需要网络带宽来混洗数据以进行并行处理...... )

我想看看
http://localhost :9200/index/type/_preprocessBeforeIndex?script=myDataAnalysisScript
http://localhost :9200/index/type/_preprocessBeforeUpdate?script=myDataAnalysisScript
脚本必须能够在 ES 存储/索引它之前向当前记录添加新字段（以避免更改后的双重索引操作）。 由于我们经常使用 node.js，脚本应该使用所需的语言（在我们的案例中为 JavaScript）。

如果我们可以在每个数据类型的 MAPPING 中定义脚本而不是在生成的索引上，那就更好了。
任何能够触发此类脚本的插件可用？ 在脚本中使用 ES API 的任何文档？

seti123 picture seti123 于 2014-02-23

+1

xreal picture xreal 于 2014-02-24

+1

choonkeat picture choonkeat 于 2014-03-12

+1

rotbackenpfeifdruesling picture rotbackenpfeifdruesling 于 2014-03-12

+1

ghost picture ghost 于 2014-03-17

+1

eirikgro picture eirikgro 于 2014-03-17

+1

demockk picture demockk 于 2014-03-18

+1

stormizin picture stormizin 于 2014-03-18

+1

ibagui picture ibagui 于 2014-03-19

+1

nkhare picture nkhare 于 2014-04-04

正在等待此功能...（+1）

gvolpe picture gvolpe 于 2014-04-08

+1

cosmin-marginean picture cosmin-marginean 于 2014-04-15

+1

rpiccoli picture rpiccoli 于 2014-04-15

+1

shuperok picture shuperok 于 2014-04-21

+1

harishvolvoikar picture harishvolvoikar 于 2014-04-23

+1

JGailor picture JGailor 于 2014-04-23

+1

alari picture alari 于 2014-04-24

+1

gabrielgambarini picture gabrielgambarini 于 2014-04-29

+1

matheus2740 picture matheus2740 于 2014-04-29

+1

matthiasfeist picture matthiasfeist 于 2014-05-09

+1

bhabegger picture bhabegger 于 2014-05-13

此功能是否正在开发中？
这将解决目前在应用程序级别几乎不可能可靠处理的许多问题。

pmishev picture pmishev 于 2014-05-16

+1

fernandolins picture fernandolins 于 2014-05-21

+1

fuyp picture fuyp 于 2014-05-23

+1

mvallebr picture mvallebr 于 2014-05-30

只是提醒您，自 2013 年 2 月中旬以来，我已经打包并维护了“官方拉取请求”#2231，通过@martijnvg的分支作为插件： yakaz/elasticsearch-action-updatebyquery 。

ofavre picture ofavre 于 2014-05-30

+1

jalateras picture jalateras 于 2014-06-04

+1

ksaveras picture ksaveras 于 2014-06-05

+1

MassiveMedia picture MassiveMedia 于 2014-06-18

+1

jrots picture jrots 于 2014-06-18

+1
自 2013 年 2 月以来，此功能怎么可能还没有合并到 master？

KrzysztofWilczek picture KrzysztofWilczek 于 2014-06-26

+1
同上@KrzysztofWilczek评论。 为什么公关在过去一年停滞不前，没有更新？ 这是迄今为止评论最多的问题。

efuquen picture efuquen 于 2014-07-07

+1

dhanson358 picture dhanson358 于 2014-07-09

几个月前我们遇到了这个问题（请参阅我的帖子@seti123一月/二月），我想分享我们的结果 - 在放弃 DB+ES River 之后（过于担心版本依赖性），我们成功地评估了我们的用例Crate Data（它使用 ES 作为库并添加了一个用于映射和查询的 SQL 接口，包括“按查询更新”https://crate.io/docs/stable/sql/dml.html#updating-data）。
阅读相似之处和不同之处的一个很好的起点： https :

megastef picture megastef 于 2014-07-14

关闭支持 #2230

clintongormley picture clintongormley 于 2014-07-18

+1

leibale picture leibale 于 2015-01-01

+1

niemyjski picture niemyjski 于 2015-01-20

+1

rkleiren picture rkleiren 于 2015-03-19

+1

idoshamun picture idoshamun 于 2015-03-19

+1

fjarrett picture fjarrett 于 2015-03-27

+1

raphaelMalie picture raphaelMalie 于 2015-04-14

+1

bogdanovich picture bogdanovich 于 2015-04-29

+1

dbrambilla picture dbrambilla 于 2015-05-06

+1

binque picture binque 于 2015-05-15

+1

saval picture saval 于 2015-05-26

+1

artild picture artild 于 2015-05-29

+1

bn96 picture bn96 于 2015-06-01

+1

vkopitsa picture vkopitsa 于 2015-06-07

+1

ifgh picture ifgh 于 2015-06-12

+1

fabriciomassula picture fabriciomassula 于 2015-07-11

将通过查询支持 setPostFilter 更新吗？
问题 #12295

Praveen82 picture Praveen82 于 2015-07-17

+1

vitaliikapliuk picture vitaliikapliuk 于 2015-07-20

+1

xelllee picture xelllee 于 2015-08-04

+1

IUnknownPtr picture IUnknownPtr 于 2015-08-14

+1

leonklinke picture leonklinke 于 2015-08-24

+1

ispringer picture ispringer 于 2015-09-01

+1

sapkalrohan picture sapkalrohan 于 2015-09-02

+1

fiserro picture fiserro 于 2015-09-04

+1

mobalytics picture mobalytics 于 2015-09-11

+1

marioeu picture marioeu 于 2015-09-16

+1

ogorun picture ogorun 于 2015-09-16

+1

ron521 picture ron521 于 2015-11-03

有人可以对此进行评论并提供反馈。
https://discuss.elastic.co/t/updatebyqueryresponse-throwing-timeout/29176

查询更新失败，同时更新超过 20 + 百万条记录。

Praveen82 picture Praveen82 于 2015-11-03

@Praveen82您使用的是第 3 方插件。 这不是请求支持的正确位置，您应该将其作为问题发布到该插件的存储库中。

rayward picture rayward 于 2015-11-04

https://github.com/elastic/elasticsearch/pull/15125正在实现一种看起来有点像的语法

curl -XPOST localhost:9200/index/type/_update_by_query -d '{
    "query" : { "term" : { "counter" : 0 } },
    "script" : {
      "inline": "ctx._source.counter += count",
      "params" : {
          "count" : 4
      }
  }
}'

之所以停滞这么久是因为这些超时：到目前为止，有一种方法可以在 Elasticsearch 中启动长时间运行的作业并报告它们的状态和事物。 随着任务管理 api (#15347) 的出现，我在“重新索引”和“按查询更新”风格的事情上拿起了火炬，并再次启动它们，目的是尽快与任务管理集成。

无论如何，#15125 和任何后续 PR 都是寻找此功能的地方。

nik9000 picture nik9000 于 2015-12-19

+1

greg-symphony picture greg-symphony 于 2016-03-02

+1

YuriMarinkov picture YuriMarinkov 于 2016-03-15

+1

canyildiz picture canyildiz 于 2016-03-22

+1

JohnTian picture JohnTian 于 2016-03-22

+1

yossicahen picture yossicahen 于 2016-04-20

查询更新在 2.3.0 和 5.0.0-alpha-1 中生效。 文档在这里。

nik9000 picture nik9000 于 2016-04-20
🎉6

2.3.+ 或 5.+ 中的按查询更新是否支持 javascript 插件？

scohenenator picture scohenenator 于 2016-08-09

2.3.+ 或 5.+ 中的按查询更新是否支持 javascript 插件？

如果你真的想要，当然可以。 在 2.3+ 中，我们针对 groovy 测试了按查询更新，在 5.+ 中，我们针对无痛进行了测试。 我们曾经针对 groovy 进行测试，它也在那里工作。 我希望 javascript 可以正常工作。

nik9000 picture nik9000 于 2016-08-09

JS 支持会非常流畅。

scohenenator picture scohenenator 于 2016-08-09

JS 支持会非常流畅。

正如我所说，它存在，你只需要安装插件。

所有这些语言的问题在于它们在 JVM 上的实现没有正确地面向嵌入。 这就是我们默认不包含它的原因。

无论如何，如果你想更多地谈论它，我认为discuss.elastic.co是一个更合适的地方。

nik9000 picture nik9000 于 2016-08-09
此页面是否有帮助？
0 / 5 - 0 等级

相关问题

malpani picture malpani  ·  3评论
brwe picture brwe  ·  3评论
jasontedor picture jasontedor  ·  3评论
DhairyashilBhosale picture DhairyashilBhosale  ·  3评论
dadoonet picture dadoonet  ·  3评论