我正在尝试使用批量 API 加载我的 ES 数据库,但出现此错误
“卷曲:(56)接收失败:对等方重置连接”
我的json文件中json文档的结构是正确的
但我的文件大小是 750MB
请建议我一些解决方案
谢谢
请使用discussion.elastic.co
尝试减少您的批量大小。 我想我不会插入超过 1 万个文档(小文档)。 因此,每批最多一些 mb。
但是 elasticsearch 是为处理大数据而设计的,一些 GB 的数据,甚至 wiki 和 github 也在使用它。
我认为减少输入大小不是一个好的解决方案,但我以某种方式设法使用 python 插入数据..
即使这样,如果有人可以向我建议最好的解决方案,那么请发表评论
是的。 我可以确认elasticsearch可以处理数十亿个文档,数万亿个文档。
这并不意味着您可以在一个批量请求中传递所有这些文档。
顺便看看http.max_content_length
。 默认情况下,它被限制为 100mb(故意)。
https://www.elastic.co/guide/en/elasticsearch/reference/current/modules-http.html
最有用的评论
但是 elasticsearch 是为处理大数据而设计的,一些 GB 的数据,甚至 wiki 和 github 也在使用它。
我认为减少输入大小不是一个好的解决方案,但我以某种方式设法使用 python 插入数据..
即使这样,如果有人可以向我建议最好的解决方案,那么请发表评论