Meilisearch-laravel-scout: scout: 많은 시간이 소요되는 대용량 데이터(5백만 레코드) 가져오기

@curquiza 가 scout 또는 meilisearch와 관련된 것인지 알고 있습니까? 저는 그런 대규모 데이터 세트에서 경험한 적이 없습니다.

안녕하세요 @Kladislav 와 @shokme입니다!
이것은 실제로 스카우트가 아니라 MeiliSearch에 연결될 수 있습니다.
@Kladislav님 , "시간이 많이 걸린다"는 것이 무슨 뜻인지 설명해 주시겠습니까? 오류 메시지가 표시되나요? update 데 시간이 걸리나요? 몇 번입니까?

Idk, 오류가 없습니다. api는 잘 작동하지만 18시간을 보내고 2/5백만 레코드만 가져왔습니다. 속도를 높일 수 있습니까?

아직 하지 않았다면 scout으로 여러 대기열 을 실행할 수 있습니다.

안녕하세요 @Kladislav입니다!
MeiliSearch를 사용하면 일괄 문서를 보낼 수 있습니다. 이 MeiliSearch 매개변수를 사용하여 이러한 배치의 크기를 늘릴 수 있습니다. https://docs.meilisearch.com/guides/advanced_guides/configuration.html#payload -limit-size.
대량의 배치가 있는 경우 인덱싱 시간이 많이 소요됩니다. 따라서 이 인덱싱 시간을 줄이려면 배치당 전송되는 문서 수를 늘려야 합니다. 그러나 너무 큰 배치를 생성하지 않도록 주의하십시오. 배치가 크면 메모리 사용량이 높아지고 MeiliSearch가 종료될 수 있습니다.
문서에 약 20개의 필드가 있는 경우 10,000개 문서의 배치로 문서를 보낼 수 있습니다.

또한, 우리는 현재 이 인덱싱 시간을 줄이기 위해 코어 엔진을 개선하기 위해 적극적으로 노력하고 있습니다 😉

php artisan scout:import -c 10000, 6시간 동안 550만 레코드, 좋은 소리

@Kladislav에서 이 문제를 닫을 수 있습니까? 🙂

@curquiza =)