Meilisearch-laravel-scout: scout: la importación de datos grandes (5 millones de registros) lleva mucho tiempo

@curquiza , ¿tienes una idea de si está relacionado con scout o meilisearch? Nunca lo había experimentado en un conjunto de datos tan grande.

¡Hola @Kladislav y @shokme!
De hecho, esto podría estar vinculado a MeiliSearch y no a scout.
@Kladislav , ¿puede explicar lo que quiere decir con "tomarse mucho tiempo": recibe algún mensaje de error? ¿El update toma tiempo para ser preccesible? ¿Cuantas veces?

Idk, no hay errores, la API funciona bien, pero dedico 18 horas y solo tengo 2/5 millones de registros importados, ¿puedo acelerarlo?

Si aún no lo ha hecho, puede intentar ejecutar varias colas con scout.

¡Hola @Kladislav!
MeiliSearch le permite enviar documentos por lotes. Puede aumentar el tamaño de estos lotes con este parámetro de MeiliSearch: https://docs.meilisearch.com/guides/advanced_guides/configuration.html#payload -limit-size.
Si tiene una gran cantidad de lotes, esto conduce a un tiempo de indexación enorme. Por lo tanto, debe aumentar la cantidad de documentos enviados por lote para reducir este tiempo de indexación. Pero tenga cuidado, no cree lotes demasiado grandes: cuando los lotes son grandes, el uso de memoria puede ser alto y MeiliSearch podría morir.
Si sus documentos tienen alrededor de 20 campos, puede intentar enviar sus documentos por lotes de 10 000 documentos.

Además, actualmente estamos trabajando activamente para mejorar el motor central para reducir este tiempo de indexación 😉

php artisan scout: import -c 10000, 5,5 millones de registros en 6 horas, suena bien

¿Puedo cerrar este problema entonces @Kladislav? 🙂

@curquiza =)