Meilisearch-laravel-scout: scout: Import großer Datenmengen (5 Millionen Datensätze) nimmt viel Zeit in Anspruch

@curquiza haben Sie eine Idee, ob es mit Scout oder Meilisearch zusammenhängt, habe ich noch nie bei einem so großen Datensatz erlebt.

Hallo @Kladislav und @shokme!
Dies könnte tatsächlich mit MeiliSearch verknüpft sein und nicht mit Scout.
@Kladislav , kannst du erklären, was du mit "viel Zeit in Bekommst du eine Fehlermeldung? Benötigt die Bearbeitung von update Zeit? Wie oft?

Idk, keine Fehler, API funktioniert gut, aber ich verbringe 18 Stunden und habe nur 2/5 Millionen Datensätze importiert, kann ich es beschleunigen?

Wenn Sie dies noch nicht getan haben, können Sie versuchen, mehrere Warteschlangen mit Scout auszuführen.

Hallo @Kladislav!
Mit MeiliSearch können Sie Dokumente stapelweise senden. Sie können die Größe dieser Stapel mit diesem MeiliSearch-Parameter erhöhen: https://docs.meilisearch.com/guides/advanced_guides/configuration.html#payload -limit-size.
Wenn Sie eine große Anzahl von Batches haben, führt dies zu einer enormen Indexierungszeit. Sie sollten daher die Anzahl der pro Stapel gesendeten Dokumente erhöhen, um diese Indexierungszeit zu verkürzen. Aber seien Sie vorsichtig, erstellen Sie keine zu großen Stapel: Wenn die Stapel groß sind, kann die Speicherauslastung hoch sein und MeiliSearch könnte beendet werden.
Wenn Ihre Dokumente etwa 20 Felder haben, können Sie versuchen, Ihre Dokumente per Stapel von 10 000 Dokumenten zu senden.

Außerdem arbeiten wir derzeit aktiv an der Verbesserung der Core-Engine, um diese Indexierungszeit zu reduzieren 😉

php artisan scout:import -c 10000, 5,5 Millionen Datensätze in 6 Stunden, klingt gut

kann ich dieses Problem dann schließen @Kladislav? 🙂

@curquiza =)