Meilisearch-laravel-scout: scout: импорт больших данных (5 миллионов записей) занимает много времени

@curquiza у вас есть идея, связано ли это со scout или meilisearch, я никогда не сталкивался с таким большим набором данных.

Привет, @Kladislav и @shokme!
Это действительно может быть связано с MeiliSearch, а не с разведкой.
@Kladislav , вы можете объяснить, что вы имеете в виду, update ? Сколько раз?

Идентификатор, ошибок нет, api работает нормально, но я трачу 18 часов и импортировал только 2/5 миллиона записей, могу ли я ускорить это?

Если вы еще этого не сделали, вы можете попробовать запустить несколько очередей с помощью scout.

Привет @Kladislav!
MeiliSearch позволяет отправлять документы партиями. Вы можете увеличить размер этих пакетов с помощью этого параметра MeiliSearch: https://docs.meilisearch.com/guides/advanced_guides/configuration.html#payload -limit-size.
Если у вас огромное количество пакетов, это приводит к огромному времени индексации. Таким образом, вам следует увеличить количество документов, отправляемых за пакет, чтобы сократить время индексации. Но будьте осторожны, не создавайте слишком большие пакеты: когда пакеты большие, использование памяти может быть высоким, и MeiliSearch может быть убит.
Если в ваших документах около 20 полей, вы можете попробовать отправить их пакетами по 10 000 документов.

Кроме того, в настоящее время мы активно работаем над улучшением ядра ядра, чтобы сократить время индексации 😉

php artisan scout: import -c 10000, 5,5 миллиона записей за 6 часов, звучит хорошо

могу я тогда закрыть этот вопрос @Kladislav? 🙂

@curquiza =)