Elasticsearch: Error: curl (56) Error de recepción: conexión restablecida por el par
Estoy tratando de cargar mi base de datos ES usando API masiva, pero recibo este error
"curl: (56) Recv failure: Connection reset by peer"
La estructura de los documentos json en mi archivo json es correcta
Pero el tamaño de mi archivo es de 750 MB
Por favor sugiéreme alguna solución
Gracias
rpalsaxena
Todos 3 comentarios
Por favor use discus.elastic.co
Intente reducir su tamaño a granel. Creo que no inserto más de 10.000 documentos por lote (documentos pequeños). Entonces, algunos mb como máximo por volumen.
dadoonet
en 27 jun. 2015
Pero elasticsearch está hecho para manejar datos de gran tamaño, algunos GB de datos, incluso wiki y github también lo están usando.
Creo que reducir el tamaño de entrada no es una buena solución, pero de alguna manera logré insertar los datos usando Python.
Incluso entonces, si alguien puede sugerirme la mejor solución posible, por favor comente
rpalsaxena
en 3 jul. 2015
Si. Puedo confirmar que elasticsearch puede manejar miles de millones de documentos, billones de documentos.
No significa que pueda pasar todos esos documentos en una sola solicitud masiva.
Eche un vistazo por cierto en http.max_content_length . De forma predeterminada, está limitado a 100 MB (a propósito).
https://www.elastic.co/guide/en/elasticsearch/reference/current/modules-http.html
dadoonet
en 3 jul. 2015
Temas relacionados
brwe
·
3Comentarios
malpani
·
3Comentarios
abtpst
·
3Comentarios
abrahamduran
·
3Comentarios
mayyamus
·
3Comentarios
Comentario más útil
Pero elasticsearch está hecho para manejar datos de gran tamaño, algunos GB de datos, incluso wiki y github también lo están usando.
Creo que reducir el tamaño de entrada no es una buena solución, pero de alguna manera logré insertar los datos usando Python.
Incluso entonces, si alguien puede sugerirme la mejor solución posible, por favor comente