Meilisearch-laravel-scout: scout: importação de dados grandes (5 milhões de registros) demorando muito

@curquiza , você tem uma ideia se tem a ver com scout ou meilisearch, nunca experimentei em um conjunto de dados tão grande.

Olá @Kladislav e @shokme!
Isso pode de fato estar vinculado ao MeiliSearch e não ao batedor.
@Kladislav , você pode explicar o que você quer dizer com "demorando muito": você recebeu alguma mensagem de erro? update demora para ser processado? Quantas vezes?

Idk, sem erros, a api funciona bem, mas gastei 18 horas e consegui apenas 2/5 milhões de registros importados. Posso acelerar?

Se ainda não o fez, pode tentar executar várias filas com o scout.

Olá @Kladislav!
MeiliSearch permite enviar documentos por lote. Você pode aumentar o tamanho desses lotes com este parâmetro MeiliSearch: https://docs.meilisearch.com/guides/advanced_guides/configuration.html#payload -limit-size.
Se você tiver uma grande quantidade de lotes, isso resultará em um grande tempo de indexação. Portanto, deve-se aumentar o número de documentos enviados por lote para reduzir esse tempo de indexação. Mas tenha cuidado, não crie lotes muito grandes: quando os lotes são grandes, o uso de memória pode ser alto e o MeiliSearch pode ser eliminado.
Se os seus documentos tiverem cerca de 20 campos, pode tentar enviar os seus documentos por lote de 10.000 documentos.

Além disso, estamos trabalhando ativamente no aprimoramento do mecanismo principal para reduzir o tempo de indexação 😉

php artisan scout: import -c 10000, 5,5 milhões de registros em 6 horas, parece bom

posso encerrar este problema então @Kladislav? 🙂

@curquiza =)