Meilisearch-laravel-scout: pramuka:mengimpor data besar (5 juta catatan) membutuhkan banyak waktu

@curquiza apakah Anda punya ide jika itu terkait dengan pramuka atau meilisearch, saya belum pernah mengalami dataset sebesar itu.

Halo @Kladislav dan @shokme!
Ini mungkin memang terkait dengan MeiliSearch dan bukan untuk pramuka.
@Kladislav , dapatkah Anda menjelaskan apa yang Anda maksud dengan "mengambil banyak waktu": apakah Anda mendapatkan pesan kesalahan? Apakah update membutuhkan waktu untuk didahului? Berapa kali?

Idk, tidak ada kesalahan, api berfungsi dengan baik, tetapi saya menghabiskan 18 jam dan hanya mendapat 2/5 juta catatan yang diimpor, dapatkah saya mempercepatnya?

Jika Anda belum melakukannya, Anda dapat mencoba menjalankan beberapa antrian dengan pramuka.

Halo @Kladislav!
MeiliSearch memungkinkan Anda mengirim dokumen secara batch. Anda dapat meningkatkan ukuran kumpulan ini dengan parameter MeiliSearch ini: https://docs.meilisearch.com/guides/advanced_guides/configuration.html#payload -limit-size.
Jika Anda memiliki sejumlah besar batch, ini menyebabkan waktu indeksasi yang sangat besar. Jadi, Anda harus meningkatkan jumlah dokumen yang dikirim per batch untuk mengurangi waktu indeksasi ini. Tapi hati-hati, jangan membuat batch yang terlalu besar: ketika batch besar, penggunaan memori bisa tinggi dan MeiliSearch bisa dimatikan.
Jika dokumen Anda memiliki sekitar 20 bidang, Anda dapat mencoba mengirim dokumen Anda sebanyak 10.000 dokumen.

Selain itu, kami saat ini secara aktif berupaya meningkatkan mesin inti untuk mengurangi waktu indeksasi ini

php artisan scout:import -c 10000, 5,5 juta catatan dalam 6 jam, kedengarannya bagus

bisakah saya menutup masalah ini @Kladislav? 🙂

@curquiza =)