Meilisearch-laravel-scout: الكشافة: الاستيراد على بيانات كبيرة (5 ملايين سجل) يستغرق الكثير من الوقت

curquiza ، هل لديك فكرة إذا كانت متعلقة بالبحث عن الكشافة أو البحث النقابي ، لم أختبرها من قبل في مثل هذه المجموعة الكبيرة من البيانات.

مرحبًا Kladislav و @ shokme!
قد يكون هذا بالفعل مرتبطًا بـ MeiliSearch وليس بالكشافة.
Kladislav ، هل يمكن أن تشرح ما تعنيه بعبارة "أخذ الكثير من الوقت": هل تحصل على أي رسالة خطأ؟ هل يستغرق update وقتًا ليتم معالجته مسبقًا؟ كم مرة؟

Idk ، لا أخطاء ، api يعمل بشكل جيد ، لكنني أمضيت 18 ساعة وتم استيراد 2/5 مليون سجل فقط ، هل يمكنني تسريع ذلك؟

إذا لم تقم بذلك بالفعل ، فيمكنك محاولة تشغيل قائمة انتظار متعددة مع الكشافة.

مرحبا @ كلاديسلاف!
يتيح لك MeiliSearch إرسال المستندات على دفعات. يمكنك زيادة حجم هذه الدُفعات باستخدام معلمة MeiliSearch: https://docs.meilisearch.com/guides/advanced_guides/configuration.html#payload -limit-size.
إذا كان لديك عدد كبير من الدُفعات ، فسيؤدي ذلك إلى وقت فهرسة ضخم. لذلك ، يجب عليك زيادة عدد المستندات المرسلة لكل دفعة لتقليل وقت الفهرسة هذا. لكن كن حذرًا ، لا تنشئ دفعات كبيرة جدًا: عندما تكون الدُفعات كبيرة ، يمكن أن يكون استخدام الذاكرة مرتفعًا وقد يتم قتل MeiliSearch.
إذا كانت مستنداتك تحتوي على حوالي 20 حقلاً ، فيمكنك محاولة إرسال مستنداتك عن طريق مجموعة من 10000 مستند.

أيضًا ، نحن نعمل حاليًا بنشاط على تحسين المحرك الأساسي لتقليل وقت الفهرسة هذا

php Artisan scout: استيراد -c 10000 ، 5.5 مليون سجل في 6 ساعات ، يبدو جيدًا

هل يمكنني إغلاق هذه القضية ثمKladislav؟ 🙂

curquiza =)