Elasticsearch: 오류: curl(56) 수신 실패: 피어에 의한 연결 재설정

에 만든 2015년 06월 27일 · 3코멘트 · 출처: elastic/elasticsearch

대량 API를 사용하여 ES db를 로드하려고 하는데 이 오류가 발생합니다.
"curl: (56) 수신 실패: 피어에 의한 연결 재설정"

내 json 파일의 json 문서 구조가 정확합니다.
하지만 내 파일 크기는 750MB입니다.

나에게 해결책을 제안하십시오

감사 해요

출처

rpalsaxena

가장 유용한 댓글

그러나 Elasticsearch는 몇 GB의 데이터를 처리하기 위해 만들어졌으며 Wiki와 github에서도 사용하고 있습니다.

입력 크기를 줄이는 것은 좋은 해결책이 아니라고 생각하지만 어떻게 든 파이썬을 사용하여 데이터를 삽입 할 수있었습니다 ..

그래도 누군가가 나에게 최상의 솔루션을 제안 할 수 있다면 친절하게 의견을 말하십시오.

rpalsaxena 에 2015년 07월 03일

😄3 👎3

토론.elastic.co를 사용하십시오

벌크 크기를 줄이십시오. 대량(작은 문서)당 10,000개 이상의 문서를 삽입하지 않는다고 생각합니다. 따라서 대량당 최대 몇 mb입니다.

dadoonet 에 2015년 06월 27일

👎1

그러나 Elasticsearch는 몇 GB의 데이터를 처리하기 위해 만들어졌으며 Wiki와 github에서도 사용하고 있습니다.

입력 크기를 줄이는 것은 좋은 해결책이 아니라고 생각하지만 어떻게 든 파이썬을 사용하여 데이터를 삽입 할 수있었습니다 ..

그래도 누군가가 나에게 최상의 솔루션을 제안 할 수 있다면 친절하게 의견을 말하십시오.

rpalsaxena 에 2015년 07월 03일

😄3 👎3

예. 나는 Elasticsearch가 수십억 개의 문서, 수조 개의 문서를 처리할 수 있음을 확인할 수 있습니다.
단일 일괄 요청 내에서 모든 문서를 전달할 수 있다는 의미는 아닙니다.

http.max_content_length 에서 BTW를 살펴보십시오. 기본적으로 100MB로 제한됩니다(의도적으로).

dadoonet 에 2015년 07월 03일

👍1

이 페이지가 도움이 되었나요?

0 / 5 - 0 등급