Elasticsearch: Обновить API: обновление по запросу
1583 позволяет обновлять отдельные документы. Обновление по запросу радикально сократит количество обращений к сети, если вы хотите обновить несколько документов и передать работу от клиента к ES.
curl -XPOST localhost:9200/index/type/_update -d '{
"query" : { "constant_score" : { "filter" : { "term" : { "counter" : 0 } } } },
"script" : "ctx._source.counter += count",
"params" : {
"count" : 4
}
}'
monken
Все 160 Комментарий
Мне бы очень понравилась эта функция!
Mpdreamz
12 апр. 2012
+1
r10r
3 июн. 2012
+1
darklow
5 июн. 2012
+1
mrgautamsam
14 июн. 2012
+1
feridgurbuz
16 июн. 2012
+1
gc20
25 сент. 2012
+1
serpent403
15 нояб. 2012
+1
devilankur18
19 нояб. 2012
+1
willtrking
1 дек. 2012
+1
ignatiusreza
10 дек. 2012
+1
kenshin54
13 дек. 2012
+1
noodlehaus
3 янв. 2013
+1
Aoseala
3 янв. 2013
Мне очень нужна эта функция
timotta
24 янв. 2013
: +1:
burzum
4 февр. 2013
В ожидании официального завершения и выпуска этой функции я упаковал запрос на перенос № 2231 как плагин:
Развлекайся.
ofavre
13 февр. 2013
+1
bobbyrenwick
27 февр. 2013
+1
geoffwatts
27 февр. 2013
+1
AnSavvides
28 февр. 2013
+1
neogenix
4 мар. 2013
+1
scriby
4 мар. 2013
+1
gnurag
7 мар. 2013
+1
damienalexandre
28 мар. 2013
+1
paulsabou
11 апр. 2013
+1
acarrasco
11 апр. 2013
+1
steegi
11 апр. 2013
+1
thomasma
17 апр. 2013
+1
oowl
28 апр. 2013
+1
ttghr
15 мая 2013
+1
acerb
23 мая 2013
+1
lucaskatayama
5 июн. 2013
: +1:: молиться:
qw3r
6 июн. 2013
+1
sectronov
11 июн. 2013
+1
mguillermin
13 июн. 2013
Есть ли способ передать оценку запроса в качестве параметра скрипту обновления? Мне нужно обновить записи с оценками, обновленными на основе полей его дочерних элементов.
scottc52-zz
27 июн. 2013
+1
thlawiczka
2 июл. 2013
+1
dalibor-frivaldsky
9 июл. 2013
+1
anderson-arlen
11 июл. 2013
@ scottc52 У тебя получилось? Я тоже ищу способ сделать это.
gboivin
18 июл. 2013
+1
jstray
18 июл. 2013
@gboivin Нет. Я делаю запрос has_child и отправляю отдельный запрос на обновление, но это медленно.
scottc52-zz
18 июл. 2013
жду и эту функцию ..
bugbuilder
19 июл. 2013
+1
YannBrrd
1 авг. 2013
+1
khsibr
1 авг. 2013
+1
theorm
14 авг. 2013
+1
onokonem
19 авг. 2013
+1
consulthys
22 авг. 2013
+1
willtrking
27 авг. 2013
+1
scoolen
27 авг. 2013
Просто написал небольшой скрипт, чтобы помочь дождаться чего-то ... больше "готово к производству" ;-)
https://github.com/YannBrrd/esNodeUpdater
Не стесняйтесь комментировать / обновлять ...
YannBrrd
2 сент. 2013
+1
denis-ryzhkov
3 сент. 2013
Есть ли официальный статус этой функции от команды разработчиков? Я не вижу никакой информации от них. Планируется ли добавить эту функцию в ядро или пользователи предпочитают использовать плагин, подобный указанному выше ?
mastermatt
25 сент. 2013
Мы планируем вернуться к этому, основная причина, по которой мы отложили это, заключается в том, что нам нужен способ остановить существующее обновление по запросам, так как они могут быть выполнены по ошибке для большого количества данных, что вызовет проблемы. .
kimchy
25 сент. 2013
+1. Спасибо за обновление и работу над этим.
emanuil-tolev
2 окт. 2013
+1
kapso
16 окт. 2013
+1
preetiraj
18 окт. 2013
+1
alexkoltun
20 окт. 2013
+1
eyardimci
27 окт. 2013
+1, звучит полезно
kmarsh
2 нояб. 2013
+1
olsp
6 нояб. 2013
+1
pionize
8 нояб. 2013
+1
dularion
11 нояб. 2013
+1
abronner
25 нояб. 2013
+1
Vineeth-Mohan
25 нояб. 2013
+1
whatevercode
4 дек. 2013
+1
mishu-
9 дек. 2013
+1
kevinsteger
10 дек. 2013
+2
MrHash
12 дек. 2013
+1
kzachara
12 дек. 2013
+10
anderson-arlen
12 дек. 2013
+1
Plasma
28 дек. 2013
+1
kiyanwang
6 янв. 2014
+1
vaidik
10 янв. 2014
Вы когда-нибудь думали реализовать эту функцию с помощью двойного HTTP-вызова? Я думаю о грелках, которые дают возможность сохранить запрос, а затем выполнить его (на самом деле это не одно и то же, но это заставляет меня задуматься).
@kimchy вы говорите, что думаете, как остановить обновление, если оно было запущено на большом количестве данных по ошибке. Если вы его остановите, возможно, индексированные данные будут в недопустимом состоянии (возможно, откат возможен ...?). Возможно, лучший подход - предотвратить ошибку.
Если вам требуются два HTTP-вызова перед запуском реального массового обновления (1 для подготовки и 1 для реального запуска с идентификатором перехода между ними), а затем обработчик состояния обновления (например, обработчик импорта данных в SolR), чтобы узнать, когда запрос действительно выполнен.
Я не уверен, что все ясно, но я думаю, что это может быть решением для предотвращения ошибочных вызовов ...
shulard
23 янв. 2014
+1
brsanthu
28 янв. 2014
+1
yarinm
29 янв. 2014
Я также хочу проголосовать за это.
fuwaneko
29 янв. 2014
+1
@kimchy :
Возможно, вы согласны добавить ограничения для операции обновления, например _update / _query = some_conditions & size = 1000, таким образом, он избегает обновления миллиона документов - и мы, как разработчик, можем решить, запускать ли мы 1000 * 1000 обновлений для обновления миллиона записей ... Это должен возвращать количество обновленных документов, чтобы дать некоторый контроль, если требуется еще один вызов обновления.
seti123
31 янв. 2014
+1
dhruvbansal
31 янв. 2014
Для моего сценария (обогащение записей после поиска по другим признакам) я мог бы сделать это другим способом: сначала вставить данные в mongoDb, выполнить поиск в записях обновления ElasticSearch в Mongo, использовать mongo river, чтобы получить окончательные результаты в ElasticSearch, чтобы отобразить их в графическом интерфейсе (сборка поверх ES). Кто-нибудь сталкивался с такими сценариями? Я надеялся, что смогу пойти только по ES ... до сих пор я отказывался от использования БД в моем проекте.
seti123
3 февр. 2014
Привет,
вы можете просто использовать для этого Couchbase + Elasticsearch, как Couchbase
предлагает интерфейс с Elasticsearch
Кордиэлемент,
Янн Барро
2014-02-03 seti123 [email protected] :
Для моего сценария (обогащение записей после поиска по другим показателям) я мог бы
сделайте это по-другому: сначала вставьте данные в mongoDb, выполните поиск в
ElasticSearch обновляет записи в Mongo, используйте mongo river для получения окончательных результатов
в ElasticSearch, чтобы отобразить его в графическом интерфейсе (построенном поверх ES). Есть кто-нибудь
сталкивались с такими сценариями? Я надеялся, что смогу пойти ES только так ... пока
теперь я отказался от использования БД в моем проекте.Ответьте на это письмо напрямую или просмотрите его на Gi tHubhttps: //github.com/elasticsearch/elasticsearch/issues/1607#issuecomment -33917801
.
YannBrrd
3 февр. 2014
+1
weeyum
11 февр. 2014
+100
girak
11 февр. 2014
+1
sulabhjain
11 февр. 2014
+1
ncammarata
23 февр. 2014
Есть ли в ElasticSearch альтернатива, например, запускать скрипт, который выполняет действие при вставке или обновлении новых данных? Какая-то до того, как Index-Trigger мог помочь мне удалить цепочку предварительной обработки (мы сделали сейчас Message Ques с цепочкой обработки REDIS и 0MQ, прежде чем вставлять данные в ES - все это требует сетевой полосы пропускания, чтобы перетасовать данные для параллельной обработки ... )
Я хотел бы посмотреть
http: // локальный : 9200 / индекс / тип / _preprocessBeforeIndex? script = myDataAnalysisScript
http: // локальный : 9200 / индекс / тип / _preprocessBeforeUpdate? script = myDataAnalysisScript
Скрипт должен иметь возможность добавлять новые поля в текущую запись до того, как ES сохранит / проиндексирует ее (чтобы избежать двойного индексирования после изменений). Поскольку мы много работаем с node.js, скрипты должны работать на требуемом языке (в нашем случае - JavaScript).
Еще лучше, если бы мы могли определить сценарий в MAPPING для каждого типа данных вместо сгенерированных индикаторов.
Есть ли какой-либо плагин, который может запускать такие скрипты? Любая документация по использованию ES API в скриптах?
seti123
23 февр. 2014
+1
xreal
24 февр. 2014
+1
choonkeat
12 мар. 2014
+1
rotbackenpfeifdruesling
12 мар. 2014
+1
ghost
17 мар. 2014
+1
eirikgro
17 мар. 2014
+1
demockk
18 мар. 2014
+1
stormizin
18 мар. 2014
+1
ibagui
19 мар. 2014
+1
nkhare
4 апр. 2014
Жду эту фичу ... (+1)
gvolpe
8 апр. 2014
+1
cosmin-marginean
15 апр. 2014
+1
rpiccoli
15 апр. 2014
+1
shuperok
21 апр. 2014
+1
harishvolvoikar
23 апр. 2014
+1
JGailor
23 апр. 2014
+1
alari
24 апр. 2014
+1
gabrielgambarini
29 апр. 2014
+1
matheus2740
29 апр. 2014
+1
matthiasfeist
9 мая 2014
+1
bhabegger
13 мая 2014
Эта функция вообще находится в стадии разработки?
Это решило бы так много проблем, с которыми сейчас практически невозможно надежно справиться на уровне приложений.
pmishev
16 мая 2014
+1
fernandolins
21 мая 2014
+1
fuyp
23 мая 2014
+1
mvallebr
30 мая 2014
Напомним, что с середины февраля 2013 года я упаковано, и поддерживали с тех пор, «официальный запрос выдергивать» # 2231 с помощью @martijnvg «s филиала в качестве плагина: Yakaz / elasticsearch-действия updatebyquery .
ofavre
30 мая 2014
+1
jalateras
4 июн. 2014
+1
ksaveras
5 июн. 2014
+1
MassiveMedia
18 июн. 2014
+1
jrots
18 июн. 2014
+1
Как это возможно, чтобы эта функция с февраля 2013 года все еще не была объединена в master?
KrzysztofWilczek
26 июн. 2014
+1
То же самое с комментарием
efuquen
7 июл. 2014
+1
dhanson358
9 июл. 2014
У нас возникла эта проблема несколько месяцев назад (см. Мои сообщения как
Хорошая отправная точка для чтения о сходствах и различиях: https://crate.io/blog/crate_data_elasticsearch
megastef
14 июл. 2014
Закрыт в пользу № 2230
clintongormley
18 июл. 2014
+1
leibale
1 янв. 2015
+1
niemyjski
20 янв. 2015
+1
rkleiren
19 мар. 2015
+1
idoshamun
19 мар. 2015
+1
fjarrett
27 мар. 2015
+1
raphaelMalie
14 апр. 2015
+1
bogdanovich
29 апр. 2015
+1
dbrambilla
6 мая 2015
+1
binque
15 мая 2015
+1
saval
26 мая 2015
+1
artild
29 мая 2015
+1
bn96
1 июн. 2015
+1
vkopitsa
7 июн. 2015
+1
ifgh
12 июн. 2015
+1
fabriciomassula
11 июл. 2015
будет обновляться по запросу support setPostFilter?
Выпуск # 12295
Praveen82
17 июл. 2015
+1
vitaliikapliuk
20 июл. 2015
+1
xelllee
4 авг. 2015
+1
IUnknownPtr
14 авг. 2015
+1
leonklinke
24 авг. 2015
+1
ispringer
1 сент. 2015
+1
sapkalrohan
2 сент. 2015
+1
fiserro
4 сент. 2015
+1
mobalytics
11 сент. 2015
+1
marioeu
16 сент. 2015
+1
ogorun
16 сент. 2015
+1
ron521
3 нояб. 2015
может кто-нибудь просмотреть это и оставить отзыв.
https://discuss.elastic.co/t/updatebyqueryresponse-throwing-timeout/29176
Обновление по запросу завершается ошибкой при обновлении более 20 миллионов записей.
Praveen82
3 нояб. 2015
@ Praveen82, вы используете сторонний плагин. Это не подходящее место для запроса поддержки, вы должны опубликовать это как проблему в репозитории этого плагина.
rayward
4 нояб. 2015
https://github.com/elastic/elasticsearch/pull/15125 реализует синтаксис, который будет немного похож на
curl -XPOST localhost:9200/index/type/_update_by_query -d '{
"query" : { "term" : { "counter" : 0 } },
"script" : {
"inline": "ctx._source.counter += count",
"params" : {
"count" : 4
}
}
}'
Причина, по которой это задерживалось
В любом случае, # 15125 и любые последующие PR - это то место, где стоит искать эту функцию.
nik9000
19 дек. 2015
+1
greg-symphony
2 мар. 2016
+1
YuriMarinkov
15 мар. 2016
+1
canyildiz
22 мар. 2016
+1
JohnTian
22 мар. 2016
+1
yossicahen
20 апр. 2016
Обновление по запросу доступно в 2.3.0 и 5.0.0-alpha-1. Документы здесь .
nik9000
20 апр. 2016
Поддерживает ли обновление по запросу в 2.3. + Или 5. + плагин javascript?
scohenenator
9 авг. 2016
Поддерживает ли обновление по запросу в 2.3. + Или 5. + плагин javascript?
Если ты действительно этого хочешь, конечно. В 2.3+ мы тестируем обновление за запросом на Groovy, а в 5. + мы тестируем на безболезненное. Раньше мы тестировали на groovy, и там он тоже работал. Я ожидаю, что javascript будет работать нормально.
nik9000
9 авг. 2016
Поддержка JS была бы довольно хорошей.
scohenenator
9 авг. 2016
Поддержка JS была бы довольно хорошей.
Как я уже сказал, он существует, вам просто нужно установить плагин.
Проблема со всеми этими языками заключается в том, что их реализация на JVM не ориентирована должным образом для встраивания. Вот почему мы не включаем его по умолчанию.
В любом случае, если вы хотите поговорить об этом подробнее, я думаю, что более подходящим местом для этого будет Discussion.elastic.co.
nik9000
9 авг. 2016
Смежные вопросы
clintongormley
·
3Комментарии
rjernst
·
3Комментарии
ttaranov
·
3Комментарии
dadoonet
·
3Комментарии
Praveen82
·
3Комментарии
Самый полезный комментарий
Обновление по запросу доступно в 2.3.0 и 5.0.0-alpha-1. Документы здесь .