Elasticsearch: Perbarui API: perbarui berdasarkan kueri

Dibuat pada 12 Jan 2012  ·  160Komentar  ·  Sumber: elastic/elasticsearch

1583 memungkinkan untuk memperbarui dokumen individu. Pembaruan dengan kueri akan mengurangi perjalanan pulang pergi jaringan secara radikal jika Anda ingin memperbarui sejumlah dokumen dan mendorong pekerjaan dari klien ke ES.

curl -XPOST localhost:9200/index/type/_update -d '{
    "query" : { "constant_score" : { "filter" : { "term" : { "counter" : 0 } } } },
    "script" : "ctx._source.counter += count",
    "params" : {
        "count" : 4
    }
}'
:DistributeCRUD
Sumber
picture monken
👍3

Komentar yang paling membantu

Pembaruan berdasarkan kueri aktif di 2.3.0 dan 5.0.0-alpha-1. Dokumen ada di sini .

picture nik9000 pada 20 Apr 2016
🎉6

Semua 160 komentar

Akan sangat menyukai fitur ini juga!

Mpdreamz picture Mpdreamz pada 12 Apr 2012

+1

r10r picture r10r pada 3 Jun 2012

+1

darklow picture darklow pada 5 Jun 2012

+1

mrgautamsam picture mrgautamsam pada 14 Jun 2012

+1

feridgurbuz picture feridgurbuz pada 16 Jun 2012

+1

gc20 picture gc20 pada 25 Sep 2012

+1

serpent403 picture serpent403 pada 15 Nov 2012

+1

devilankur18 picture devilankur18 pada 19 Nov 2012

+1

willtrking picture willtrking pada 1 Des 2012

+1

ignatiusreza picture ignatiusreza pada 10 Des 2012

+1

kenshin54 picture kenshin54 pada 13 Des 2012

+1

noodlehaus picture noodlehaus pada 3 Jan 2013

+1

Aoseala picture Aoseala pada 3 Jan 2013

Saya sangat membutuhkan fitur ini

timotta picture timotta pada 24 Jan 2013

:+1:

burzum picture burzum pada 4 Feb 2013

Sambil menunggu fitur ini secara resmi selesai dan dirilis, saya telah mengemas pull request #2231 sebagai plugin: yakaz/elasticsearch-action-updatebyquery .
Selamat bersenang-senang.

ofavre picture ofavre pada 13 Feb 2013

+1

bobbyrenwick picture bobbyrenwick pada 27 Feb 2013

+1

geoffwatts picture geoffwatts pada 27 Feb 2013

+1

AnSavvides picture AnSavvides pada 28 Feb 2013

+1

neogenix picture neogenix pada 4 Mar 2013

+1

scriby picture scriby pada 4 Mar 2013

+1

gnurag picture gnurag pada 7 Mar 2013

+1

damienalexandre picture damienalexandre pada 28 Mar 2013

+1

paulsabou picture paulsabou pada 11 Apr 2013

+1

acarrasco picture acarrasco pada 11 Apr 2013

+1

steegi picture steegi pada 11 Apr 2013

+1

thomasma picture thomasma pada 17 Apr 2013

+1

oowl picture oowl pada 28 Apr 2013

+1

ttghr picture ttghr pada 15 Mei 2013

+1

acerb picture acerb pada 23 Mei 2013

+1

lucaskatayama picture lucaskatayama pada 5 Jun 2013

:+1: :doa:

qw3r picture qw3r pada 6 Jun 2013

+1

sectronov picture sectronov pada 11 Jun 2013

+1

mguillermin picture mguillermin pada 13 Jun 2013

Apakah ada cara untuk meneruskan skor kueri sebagai parameter ke skrip pembaruan? Saya perlu memperbarui entri dengan skor yang diperbarui berdasarkan bidang turunannya.

scottc52-zz picture scottc52-zz pada 27 Jun 2013

+1

thlawiczka picture thlawiczka pada 2 Jul 2013

+1

dalibor-frivaldsky picture dalibor-frivaldsky pada 9 Jul 2013

+1

anderson-arlen picture anderson-arlen pada 11 Jul 2013

@scottc52 Apakah Anda berhasil melakukannya? Saya juga mencari cara untuk melakukan ini.

gboivin picture gboivin pada 18 Jul 2013

+1

jstray picture jstray pada 18 Jul 2013

@gboivin Tidak. Saya melakukan kueri has_child dan mengirim permintaan pembaruan terpisah, tetapi lambat.

scottc52-zz picture scottc52-zz pada 18 Jul 2013

ditunggu fitur ini juga..

bugbuilder picture bugbuilder pada 19 Jul 2013

+1

YannBrrd picture YannBrrd pada 1 Agu 2013

+1

khsibr picture khsibr pada 1 Agu 2013

+1

theorm picture theorm pada 14 Agu 2013

+1

onokonem picture onokonem pada 19 Agu 2013

+1

consulthys picture consulthys pada 22 Agu 2013

+1

willtrking picture willtrking pada 27 Agu 2013

+1

scoolen picture scoolen pada 27 Agu 2013

Hanya menulis skrip kecil untuk membantu menunggu sesuatu ... lebih banyak "produksi siap" ;-)

https://github.com/YannBrrd/esNodeUpdater

Jangan ragu untuk berkomentar/memperbarui ...

YannBrrd picture YannBrrd pada 2 Sep 2013

+1

denis-ryzhkov picture denis-ryzhkov pada 3 Sep 2013

Apakah ada status resmi pada fitur ini dari tim pengembang? Saya tidak melihat ada masukan dari mereka. Apakah ada rencana untuk menambahkan fitur ini ke inti atau preferensi pengguna untuk menggunakan plugin seperti yang tercantum di atas ?

mastermatt picture mastermatt pada 25 Sep 2013

Kami berencana untuk kembali ke yang ini, alasan utama kami menunda ini adalah karena kami perlu memiliki cara untuk menghentikan pembaruan yang ada dengan kueri, karena mereka dapat dieksekusi secara tidak sengaja pada sejumlah besar data, menyebabkan masalah.. .

kimchy picture kimchy pada 25 Sep 2013

+1. Terima kasih atas pembaruan dan pengerjaannya.

emanuil-tolev picture emanuil-tolev pada 2 Okt 2013

+1

kapso picture kapso pada 16 Okt 2013

+1

preetiraj picture preetiraj pada 18 Okt 2013

+1

alexkoltun picture alexkoltun pada 20 Okt 2013

+1

eyardimci picture eyardimci pada 27 Okt 2013

+1, terdengar berguna

kmarsh picture kmarsh pada 2 Nov 2013

+1

olsp picture olsp pada 6 Nov 2013

+1

pionize picture pionize pada 8 Nov 2013

+1

dularion picture dularion pada 11 Nov 2013

+1

abronner picture abronner pada 25 Nov 2013

+1

Vineeth-Mohan picture Vineeth-Mohan pada 25 Nov 2013

+1

whatevercode picture whatevercode pada 4 Des 2013

+1

mishu- picture mishu- pada 9 Des 2013

+1

kevinsteger picture kevinsteger pada 10 Des 2013

+2

MrHash picture MrHash pada 12 Des 2013

+1

kzachara picture kzachara pada 12 Des 2013

+10

anderson-arlen picture anderson-arlen pada 12 Des 2013

+1

Plasma picture Plasma pada 28 Des 2013

+1

kiyanwang picture kiyanwang pada 6 Jan 2014

+1

vaidik picture vaidik pada 10 Jan 2014

Pernahkah Anda berpikir untuk mengimplementasikan dengan panggilan HTTP ganda fitur ini. Saya memikirkan penghangat yang memberikan kemungkinan untuk menyimpan kueri dan kemudian menjalankan kueri (itu sebenarnya bukan hal yang sama tetapi itu membuat saya memikirkannya).

@kimchy Anda memberi tahu bahwa Anda memikirkan cara untuk menghentikan pembaruan jika diluncurkan pada sejumlah besar data secara tidak sengaja. Jika Anda menghentikannya, mungkin data yang diindeks akan dalam keadaan tidak valid (mungkin dimungkinkan untuk mengembalikan ...?). Mungkin pendekatan yang lebih baik akan mencegah kesalahan.

Jika Anda memerlukan dua panggilan HTTP sebelum memicu pembaruan massal nyata (1 untuk mempersiapkan dan 1 untuk benar-benar memicunya dengan id transasi antara) dan kemudian penangan status pembaruan (seperti dataimporthandler di SolR) untuk mengetahui kapan kueri benar-benar selesai.

Saya tidak yakin benar-benar jelas tetapi saya pikir ini bisa menjadi solusi untuk mencegah panggilan kesalahan ...

shulard picture shulard pada 23 Jan 2014

+1

brsanthu picture brsanthu pada 28 Jan 2014

+1

yarinm picture yarinm pada 29 Jan 2014

Saya juga ingin upvote ini.

fuwaneko picture fuwaneko pada 29 Jan 2014

+1

@kimchy : Performa tidak dapat menjadi pertanyaan: Saat ini saya menjalankan ribuan kueri untuk mencari data (mis. Pencarian alamat indeks OSM untuk lokasi GPS - pencarian cepat, hei, saya mendapat ElasticSearch!) dan perbarui setiap dokumen di indeks lain (misalnya untuk menambahkan alamat teks yang jelas). Pembaruan saya menambahkan bidang baru. Pembaruan massal di dalam ES harus lebih efisien daripada 10.000 Permintaan pencarian + 10.000 permintaan pembaruan (juga menggunakan pembaruan massal ...). Dari sudut pandang pengkodean dan runtime akan lebih efisien, misalnya file pembaruan massal mendapatkan 20.000 baris dan hanya dapat memiliki 2 dengan fitur baru - semua data dipindahkan melalui jaringan dan membuat ES sibuk membaca file pembaruan massal ...

Mungkin Anda setuju untuk menambahkan batasan untuk memperbarui operasi misalnya _update/_query=some_conditions&size=1000 dengan cara itu menghindari memperbarui satu juta dokumen - dan kami sebagai pengembang dapat memutuskan apakah kami menjalankan 1000*1000 pembaruan untuk memperbarui satu juta catatan... Ini harus mengembalikan sejumlah dokumen yang diperbarui untuk memberikan kontrol jika panggilan pembaruan lain diperlukan.

seti123 picture seti123 pada 31 Jan 2014

+1

dhruvbansal picture dhruvbansal pada 31 Jan 2014

Untuk skenario saya (perkaya catatan setelah pencarian di indeks lain) saya mungkin melakukannya dengan cara lain: masukkan data terlebih dahulu ke mongoDb, lakukan pencarian di catatan pembaruan ElasticSearch di Mongo, gunakan sungai mongo untuk mendapatkan hasil akhir di ElasticSearch untuk menampilkannya di GUI (build di atas ES). Adakah yang pernah mengalami skenario seperti itu? Saya berharap saya bisa pergi ES saja ... sampai sekarang, saya menolak menggunakan DB dalam proyek saya.

seti123 picture seti123 pada 3 Feb 2014

Hai,

anda cukup menggunakan Couchbase + Elasticsearch untuk ini, sebagai Couchbase
menawarkan antarmuka dengan Elasticsearch

keramahan,
Yann Barraud

02-03 2014 seti123 [email protected] :

Untuk skenario saya (memperkaya catatan setelah pencarian di indeks lain) saya mungkin
lakukan dengan cara lain: masukkan data terlebih dahulu ke mongoDb, lakukan pencarian di
Catatan pembaruan ElasticSearch di Mongo, gunakan sungai mongo untuk mendapatkan hasil akhir
di ElasticSearch untuk menampilkannya di GUI (dibangun di atas ES). punya siapa saja?
berpengalaman dengan skenario seperti itu? Saya berharap saya bisa pergi ES satu-satunya cara ... sampai
sekarang, saya memang menolak menggunakan DB di proyek saya.

Balas email ini secara langsung atau lihat di Gi tHubhttps://github.com/elasticsearch/elasticsearch/issues/1607#issuecomment -33917801
.

YannBrrd picture YannBrrd pada 3 Feb 2014

+1

weeyum picture weeyum pada 11 Feb 2014

+100

girak picture girak pada 11 Feb 2014

+1

sulabhjain picture sulabhjain pada 11 Feb 2014

+1

ncammarata picture ncammarata pada 23 Feb 2014

Apakah ada alternatif di ElasticSearch misalnya memicu skrip yang melakukan tindakan saat data baru dimasukkan atau diperbarui? Beberapa jenis sebelum Pemicu Indeks dapat membantu saya menghapus rantai pra-pemrosesan (sekarang kami melakukan Message Ques dengan REDIS dan rantai pemrosesan 0MQ sebelum kami memasukkan Data dalam ES - semuanya memerlukan bandwdtih jaringan untuk mengacak data untuk pemrosesan paralel ... )

saya ingin melihat
http://localhost :9200/index/type/_preprocessBeforeIndex?script=myDataAnalysisScript
http://localhost :9200/index/type/_preprocessBeforeUpdate?script=myDataAnalysisScript
Skrip harus dapat menambahkan bidang baru ke catatan saat ini sebelum ES menyimpan/mengindeksnya (untuk menghindari tindakan indeks ganda setelah perubahan). Karena kami banyak bekerja dengan node.js, skrip harus bekerja dalam bahasa yang diperlukan (dalam JavaScript Kasus kami).

Lebih baik lagi jika kita bisa mendefinisikan Script di MAPPING per Type data daripada di indeks yang dihasilkan.
Adakah plugin yang tersedia yang dapat memicu skrip seperti itu? Adakah dokumentasi penggunaan ES API dalam Skrip?

seti123 picture seti123 pada 23 Feb 2014

+1

xreal picture xreal pada 24 Feb 2014

+1

choonkeat picture choonkeat pada 12 Mar 2014

+1

rotbackenpfeifdruesling picture rotbackenpfeifdruesling pada 12 Mar 2014

+1

ghost picture ghost pada 17 Mar 2014

+1

eirikgro picture eirikgro pada 17 Mar 2014

+1

demockk picture demockk pada 18 Mar 2014

+1

stormizin picture stormizin pada 18 Mar 2014

+1

ibagui picture ibagui pada 19 Mar 2014

+1

nkhare picture nkhare pada 4 Apr 2014

Menunggu fitur ini... (+1)

gvolpe picture gvolpe pada 8 Apr 2014

+1

cosmin-marginean picture cosmin-marginean pada 15 Apr 2014

+1

rpiccoli picture rpiccoli pada 15 Apr 2014

+1

shuperok picture shuperok pada 21 Apr 2014

+1

harishvolvoikar picture harishvolvoikar pada 23 Apr 2014

+1

JGailor picture JGailor pada 23 Apr 2014

+1

alari picture alari pada 24 Apr 2014

+1

gabrielgambarini picture gabrielgambarini pada 29 Apr 2014

+1

matheus2740 picture matheus2740 pada 29 Apr 2014

+1

matthiasfeist picture matthiasfeist pada 9 Mei 2014

+1

bhabegger picture bhabegger pada 13 Mei 2014

Apakah fitur ini sedang dalam pengembangan sama sekali?
Ini akan memecahkan begitu banyak masalah yang hampir tidak mungkin ditangani dengan andal pada tingkat aplikasi saat ini.

pmishev picture pmishev pada 16 Mei 2014

+1

fernandolins picture fernandolins pada 21 Mei 2014

+1

fuyp picture fuyp pada 23 Mei 2014

+1

mvallebr picture mvallebr pada 30 Mei 2014

Hanya untuk mengingatkan Anda bahwa sejak pertengahan Februari 2013 saya sudah dikemas, dan dipelihara sejak itu, "permintaan tarik resmi" # 2231 via @martijnvg 's cabang sebagai plugin: Yakaz / elasticsearch-aksi-updateByQuery .

ofavre picture ofavre pada 30 Mei 2014

+1

jalateras picture jalateras pada 4 Jun 2014

+1

ksaveras picture ksaveras pada 5 Jun 2014

+1

MassiveMedia picture MassiveMedia pada 18 Jun 2014

+1

jrots picture jrots pada 18 Jun 2014

+1
Bagaimana mungkin fitur ini sejak Februari 2013 masih belum bergabung menjadi master?

KrzysztofWilczek picture KrzysztofWilczek pada 26 Jun 2014

+1
Begitu juga dengan komentar

efuquen picture efuquen pada 7 Jul 2014

+1

dhanson358 picture dhanson358 pada 9 Jul 2014

Kami mendapatkan masalah ini beberapa bulan yang lalu (lihat posting saya sebagai @seti123 Januari/Februari) dan saya ingin membagikan hasil kami - setelah menyerah pada DB+ES River (terlalu banyak kekhawatiran tentang dependensi versi) kami mengevaluasi kasus penggunaan kami dengan sukses Data Peti (yang menggunakan ES sebagai pustaka dan menambahkan antarmuka SQL untuk pemetaan & kueri termasuk "perbarui berdasarkan kueri" https://crate.io/docs/stable/sql/dml.html#updating-data ).
Titik awal yang baik untuk membaca tentang kesamaan & perbedaan: https://crate.io/blog/crate_data_elasticsearch

megastef picture megastef pada 14 Jul 2014

Ditutup untuk #2230

clintongormley picture clintongormley pada 18 Jul 2014

+1

leibale picture leibale pada 1 Jan 2015

+1

niemyjski picture niemyjski pada 20 Jan 2015

+1

rkleiren picture rkleiren pada 19 Mar 2015

+1

idoshamun picture idoshamun pada 19 Mar 2015

+1

fjarrett picture fjarrett pada 27 Mar 2015

+1

raphaelMalie picture raphaelMalie pada 14 Apr 2015

+1

bogdanovich picture bogdanovich pada 29 Apr 2015

+1

dbrambilla picture dbrambilla pada 6 Mei 2015

+1

binque picture binque pada 15 Mei 2015

+1

saval picture saval pada 26 Mei 2015

+1

artild picture artild pada 29 Mei 2015

+1

bn96 picture bn96 pada 1 Jun 2015

+1

vkopitsa picture vkopitsa pada 7 Jun 2015

+1

ifgh picture ifgh pada 12 Jun 2015

+1

fabriciomassula picture fabriciomassula pada 11 Jul 2015

akan memperbarui dengan permintaan dukungan setPostFilter?
edisi #12295

Praveen82 picture Praveen82 pada 17 Jul 2015

+1

vitaliikapliuk picture vitaliikapliuk pada 20 Jul 2015

+1

xelllee picture xelllee pada 4 Agu 2015

+1

IUnknownPtr picture IUnknownPtr pada 14 Agu 2015

+1

leonklinke picture leonklinke pada 24 Agu 2015

+1

ispringer picture ispringer pada 1 Sep 2015

+1

sapkalrohan picture sapkalrohan pada 2 Sep 2015

+1

fiserro picture fiserro pada 4 Sep 2015

+1

mobalytics picture mobalytics pada 11 Sep 2015

+1

marioeu picture marioeu pada 16 Sep 2015

+1

ogorun picture ogorun pada 16 Sep 2015

+1

ron521 picture ron521 pada 3 Nov 2015

dapatkah seseorang meninjau ini dan memberikan umpan balik.
https://discuss.elastic.co/t/updatebyqueryresponse-throwing-timeout/29176

Pembaruan dengan kueri gagal saat memperbarui lebih dari 20 + juta catatan.

Praveen82 picture Praveen82 pada 3 Nov 2015

@ Praveen82 Anda menggunakan plugin pihak ke-3. Ini bukan tempat yang tepat untuk meminta dukungan, Anda harus mempostingnya sebagai masalah di repositori plugin itu.

rayward picture rayward pada 4 Nov 2015

https://github.com/elastic/elasticsearch/pull/15125 mengimplementasikan sintaks yang akan terlihat seperti

curl -XPOST localhost:9200/index/type/_update_by_query -d '{
    "query" : { "term" : { "counter" : 0 } },
    "script" : {
      "inline": "ctx._source.counter += count",
      "params" : {
          "count" : 4
      }
  }
}'

Alasan mengapa ini terhenti begitu lama adalah karena batas waktu tersebut: sampai sekarang ada cara untuk meluncurkan pekerjaan yang berjalan lama di Elasticsearch dan melaporkan status dan hal-hal mereka. Dengan api manajemen tugas (#15347) yang unggul, saya mengambil obor pada hal-hal gaya "reindex" dan "update-by-query" dan memulainya lagi dengan maksud untuk berintegrasi dengan manajemen tugas ASAP.

Bagaimanapun, #15125 dan PR tindak lanjut apa pun adalah tempat untuk mencari fitur ini.

nik9000 picture nik9000 pada 19 Des 2015

+1

greg-symphony picture greg-symphony pada 2 Mar 2016

+1

YuriMarinkov picture YuriMarinkov pada 15 Mar 2016

+1

canyildiz picture canyildiz pada 22 Mar 2016

+1

JohnTian picture JohnTian pada 22 Mar 2016

+1

yossicahen picture yossicahen pada 20 Apr 2016

Pembaruan berdasarkan kueri aktif di 2.3.0 dan 5.0.0-alpha-1. Dokumen ada di sini .

nik9000 picture nik9000 pada 20 Apr 2016
🎉6

Apakah pembaruan dengan kueri di 2.3.+ atau 5.+ mendukung plugin javascript?

scohenenator picture scohenenator pada 9 Agu 2016

Apakah pembaruan dengan kueri di 2.3.+ atau 5.+ mendukung plugin javascript?

Jika Anda benar-benar menginginkannya, tentu saja. Di 2.3+ kami menguji pembaruan demi kueri terhadap groovy dan di 5.+ kami menguji tanpa rasa sakit. Kami biasa menguji groovy dan itu berhasil di sana juga. Saya berharap javascript akan berfungsi dengan baik.

nik9000 picture nik9000 pada 9 Agu 2016

Dukungan JS akan sangat apik.

scohenenator picture scohenenator pada 9 Agu 2016

Dukungan JS akan sangat apik.

Seperti yang saya katakan, itu ada, Anda hanya perlu menginstal plugin.

Masalah dengan semua bahasa ini adalah bahwa implementasinya pada JVM tidak diorientasikan dengan benar untuk disematkan. Itu sebabnya kami tidak memasukkannya secara default.

Bagaimanapun, jika Anda ingin membicarakannya lebih lanjut, saya pikir diskusi.elastis.co adalah tempat yang lebih tepat untuk itu.

nik9000 picture nik9000 pada 9 Agu 2016
Apakah halaman ini membantu?
0 / 5 - 0 peringkat

Masalah terkait

abtpst picture abtpst  ·  3Komentar
rjernst picture rjernst  ·  3Komentar
ttaranov picture ttaranov  ·  3Komentar
jasontedor picture jasontedor  ·  3Komentar
clintongormley picture clintongormley  ·  3Komentar