Meilisearch-laravel-scout: scout:导入大数据(500 万条记录)需要很多时间

创建于 2020-11-09  ·  8评论  ·  资料来源: meilisearch/meilisearch-laravel-scout

最有用的评论

php artisan scout:import -c 10000, 6 小时内 550 万条记录,听起来不错

所有8条评论

@curquiza你知道它是否与 scout 或 meilisearch 相关,我从来没有经历过这么大的数据集。

你好@Kladislav和@shokme!
这可能确实与 Meil​​iSearch 相关,而不是与侦察相关。
@Kladislav ,您能解释一下“花费大量时间”是什么意思:您收到任何错误消息吗? update需要时间来处理? 多少次?

Idk,没有错误,api 工作正常,但我花了 18 个小时,只导入了 2/5 百万条记录,我可以加快速度吗?

如果您还没有这样做,您可以尝试使用 scout 运行多个队列

你好@Kladislav!
美丽搜索允许您批量发送文档。 您可以使用此 Meil​​iSearch 参数增加这些批次的大小: https ://docs.meilisearch.com/guides/advanced_guides/configuration.html#payload -limit-size。
如果您有大量的批次,这会导致大量的索引时间。 因此,您应该增加每批发送的文档数量以减少索引时间。 但要小心,不要创建太大的批次:当批次很大时,内存使用率可能很高,MeiliSearch 可能会被杀死。
如果您的文档有大约 20 个字段,您可以尝试分批发送 10 000 个文档。

此外,我们目前正在积极致力于改进核心引擎以减少索引时间 😉

php artisan scout:import -c 10000, 6 小时内 550 万条记录,听起来不错

我可以关闭这个问题然后@Kladislav? 🙂

@curquiza =)

此页面是否有帮助?
0 / 5 - 0 等级

相关问题

curquiza picture curquiza  ·  17评论

ctf0 picture ctf0  ·  7评论

elfeffe picture elfeffe  ·  30评论

JexPY picture JexPY  ·  8评论

desaintflorent picture desaintflorent  ·  8评论