Elasticsearch: エラー：curl（56）受信エラー：ピアによって接続がリセットされました

作成日 2015年06月27日 · 3コメント · ソース: elastic/elasticsearch

バルクAPIを使用してESデータベースを読み込もうとしていますが、このエラーが発生します
"curl：（56）Recv failure：接続がピアによってリセットされました"

私のjsonファイルのjsonドキュメントの構造は正しいです
しかし、私のファイルサイズは750MBです

私にいくつかの解決策を提案してください

ありがとう

ソース

rpalsaxena

最も参考になるコメント

しかし、elasticsearchは、数GBのデータを処理するために作成されており、wikiやgithubでも使用されています。

入力サイズを小さくするのは良い解決策ではないと思いますが、どういうわけかpythonを使用してデータを挿入することができました。

それでも誰かが私に可能な限り最善の解決策を提案できるなら、親切にコメントしてください

rpalsaxena 2015年07月03日

😄3 👎3

Discussion.elastic.coを使用してください

バルクサイズを小さくしてみてください。バルクあたり1万を超えるドキュメント（小さなドキュメント）を挿入しないと思います。したがって、バルクあたり最大で数MBです。

dadoonet 2015年06月27日

👎1

しかし、elasticsearchは、数GBのデータを処理するために作成されており、wikiやgithubでも使用されています。

入力サイズを小さくするのは良い解決策ではないと思いますが、どういうわけかpythonを使用してデータを挿入することができました。

それでも誰かが私に可能な限り最善の解決策を提案できるなら、親切にコメントしてください

rpalsaxena 2015年07月03日

😄3 👎3

はい。 elasticsearchが数十億のドキュメント、数兆のドキュメントを処理できることを確認できます。
これらすべてのドキュメントを1回の一括リクエストで渡すことができるという意味ではありません。

ところでhttp.max_content_length 。デフォルトでは、100MBに制限されています（意図的に）。

dadoonet 2015年07月03日

👍1

このページは役に立ちましたか？

0 / 5 - 0 評価