أحاول تحميل ES db الخاص بي باستخدام واجهة برمجة تطبيقات مجمعة ، لكني أحصل على هذا الخطأ
"curl: (56) Recv failure: إعادة تعيين الاتصال بواسطة النظير"
بنية مستندات json في ملف json الخاص بي صحيحة
لكن حجم ملفي هو 750 ميغا بايت
من فضلك اقترح لي بعض الحل
شكرا
الرجاء استخدام Discuss.elastic.co
حاول تقليل حجم الحجم الأكبر. أعتقد أنني لا أدخل أكثر من 10 آلاف مستند لكل مجموعة (مستندات صغيرة). لذلك ، بعض ميغابايت على الأكثر لكل مجموعة.
لكن elasticsearch مصنوع للتعامل مع البيانات كبيرة الحجم التي تستخدمها بعض الجيجابايت من البيانات ، حتى أن wiki و github يستخدمونها أيضًا.
أعتقد أن تقليل حجم الإدخال ليس حلاً جيدًا ، لكنني تمكنت بطريقة ما من إدخال البيانات باستخدام Python ..
حتى مع ذلك ، إذا كان بإمكان شخص ما أن يقترح علي أفضل حل ممكن ، فيرجى التعليق
نعم فعلا. أستطيع أن أؤكد أن elasticsearch يمكنه التعامل مع مليارات المستندات وتريليونات المستندات.
هذا لا يعني أنه يمكنك تمرير كل تلك المستندات في طلب مجمع واحد.
ألق نظرة على راجع http.max_content_length
. بشكل افتراضي ، يقتصر على 100 ميغا بايت (عن قصد).
https://www.elastic.co/guide/en/elasticsearch/reference/current/modules-http.html
التعليق الأكثر فائدة
لكن elasticsearch مصنوع للتعامل مع البيانات كبيرة الحجم التي تستخدمها بعض الجيجابايت من البيانات ، حتى أن wiki و github يستخدمونها أيضًا.
أعتقد أن تقليل حجم الإدخال ليس حلاً جيدًا ، لكنني تمكنت بطريقة ما من إدخال البيانات باستخدام Python ..
حتى مع ذلك ، إذا كان بإمكان شخص ما أن يقترح علي أفضل حل ممكن ، فيرجى التعليق