Elasticsearch: Erro: curl (56) Falha de recebimento: Conexão redefinida pelo par
Estou tentando carregar meu banco de dados ES usando a API em massa, mas estou recebendo este erro
"curl: (56) Falha de recebimento: conexão redefinida pelo par"
A estrutura dos documentos json em meu arquivo json está correta
Mas o tamanho do meu arquivo é 750 MB
Por favor me sugira alguma solução
Obrigado
rpalsaxena
Todos 3 comentários
Por favor, use discuss.elastic.co
Tente reduzir o tamanho do seu volume. Acho que não insiro mais de 10 mil documentos por lote (documentos pequenos). Portanto, alguns MB no máximo por volume.
dadoonet
em 27 jun. 2015
Mas elasticsearch é feito para lidar com dados de grande porte - alguns GBs de dados, até mesmo wiki e github também estão usando.
Acho que reduzir o tamanho da entrada não é uma boa solução, mas de alguma forma consegui inserir os dados usando python ..
Mesmo assim, se alguém puder me sugerir a melhor solução possível, por favor, comente
rpalsaxena
em 3 jul. 2015
sim. Posso confirmar que o elasticsearch pode lidar com bilhões de documentos, trilhões de documentos.
Isso não significa que você pode passar todos esses documentos em uma única solicitação em massa.
Dê uma olhada BTW em http.max_content_length . Por padrão, é limitado a 100 MB (propositalmente).
https://www.elastic.co/guide/en/elasticsearch/reference/current/modules-http.html
dadoonet
em 3 jul. 2015
Questões relacionadas
dadoonet
·
3Comentários
rjernst
·
3Comentários
Praveen82
·
3Comentários
ttaranov
·
3Comentários
makeyang
·
3Comentários
Comentários muito úteis
Mas elasticsearch é feito para lidar com dados de grande porte - alguns GBs de dados, até mesmo wiki e github também estão usando.
Acho que reduzir o tamanho da entrada não é uma boa solução, mas de alguma forma consegui inserir os dados usando python ..
Mesmo assim, se alguém puder me sugerir a melhor solução possível, por favor, comente