Meilisearch-laravel-scout: scout : importation sur des données volumineuses (5 millions d'enregistrements) prenant beaucoup de temps

@curquiza avez-vous une idée si c'est lié au scout ou à la recherche meilisearch, je n'ai jamais expérimenté sur un si grand ensemble de données.

Bonjour @Kladislav et @shokme !
Cela pourrait en effet être lié à MeiliSearch et non à Scout.
@Kladislav , pouvez-vous expliquer ce que vous entendez par "prendre beaucoup de temps" : obtenez-vous un message d'erreur ? Le update prend-il du temps à être précédé ? Combien de fois?

Idk, pas d'erreurs, l'api fonctionne bien, mais j'ai passé 18 heures et n'ai importé que 2/5 millions d'enregistrements, puis-je l'accélérer ?

Si vous ne le faites pas déjà, vous pouvez essayer d'exécuter plusieurs files d'

Bonjour @Kladislav !
MeiliSearch vous permet d'envoyer des documents par lot. Vous pouvez augmenter la taille de ces lots avec ce paramètre MeiliSearch : https://docs.meilisearch.com/guides/advanced_guides/configuration.html#payload -limit-size.
Si vous avez une énorme quantité de lots, cela entraîne un temps d'indexation énorme. Il faut donc augmenter le nombre de documents envoyés par lot pour réduire ce temps d'indexation. Mais attention, ne créez pas de lots trop volumineux : lorsque les lots sont volumineux, l'utilisation de la mémoire peut être élevée et MeiliSearch pourrait être tué.
Si vos documents comportent une vingtaine de champs, vous pouvez essayer d'envoyer vos documents par lot de 10 000 documents.

Aussi, nous travaillons actuellement activement à l'amélioration du core-engine pour réduire ce temps d'indexation 😉

php artisan scout:import -c 10000, 5,5 millions d'enregistrements en 6 heures, sonne bien

puis-je fermer ce problème alors @Kladislav ? ??

@curquiza =)