Meilisearch-laravel-scout: スカウト:大量のデータ(500万レコード)のインポートに時間がかかる

作成日 2020年11月09日  ·  8コメント  ·  ソース: meilisearch/meilisearch-laravel-scout

最も参考になるコメント

php artisan scout:import -c 10000、6時間で550万レコード、いいですね

全てのコメント8件

@curquizaは、スカウトまたはメイリサーチに関連するかどうかについての考えがありますか。私は、このような大規模なデータセットで経験したことはありません。

こんにちは@Kladislavと@shokme!
これは確かに、スカウトではなく、メイリサーチにリンクされている可能性があります。
@Kladislav 、「時間がかかる」とはどういう意味ですか?エラーメッセージは表示されますか? updateが先行するのに時間がかかりますか? 何回?

Idk、エラーなし、APIは正常に動作しますが、18時間費やして、インポートされたレコードは2/5百万にすぎません。速度を上げることはできますか?

まだ実行していない場合は、スカウトを使用して複数のキューを実行してみてください。

こんにちは@Kladislav!
MeiliSearchを使用すると、ドキュメントをバッチで送信できます。 これらのバッチのサイズは、次のMeiliSearchパラメーターを使用して増やすことができます: https ://docs.meilisearch.com/guides/advanced_guides/configuration.html#payload-limit-size。
大量のバッチがある場合、これは膨大なインデックス作成時間につながります。 したがって、このインデックス作成時間を短縮するには、バッチごとに送信されるドキュメントの数を増やす必要があります。 ただし、大きすぎるバッチを作成しないように注意してください。バッチが大きいと、メモリ使用量が高くなり、メイリサーチが強制終了される可能性があります。
ドキュメントに約20のフィールドがある場合は、10000ドキュメントのバッチでドキュメントを送信してみてください。

また、現在、このインデックス作成時間を短縮するためにコアエンジンの改善に積極的に取り組んでいます😉

php artisan scout:import -c 10000、6時間で550万レコード、いいですね

この問題を閉じてから@Kladislavを閉じることはできますか? 🙂

@curquiza =)

このページは役に立ちましたか?
0 / 5 - 0 評価