Saya mencoba memuat ES db saya menggunakan API massal, tetapi saya mendapatkan kesalahan ini
"curl: (56) Recv failure: Koneksi disetel ulang oleh rekan"
Struktur dokumen json di file json saya sudah benar
Tapi ukuran file saya 750MB
Tolong sarankan saya beberapa solusi
Terima kasih
Silakan gunakan diskusi.elastis.co
Cobalah untuk mengurangi ukuran massal Anda. Saya pikir saya tidak memasukkan lebih dari 10k dokumen per massal (dokumen kecil). Jadi, beberapa mb paling banyak per massal.
Tapi elasticsearch dibuat untuk menangani data berukuran besar beberapa GB data, bahkan wiki dan github juga menggunakannya.
Saya pikir mengurangi ukuran input bukanlah solusi yang baik , tapi entah bagaimana saya berhasil memasukkan data menggunakan python ..
Bahkan jika seseorang dapat menyarankan saya solusi terbaik, silakan beri komentar
Ya. Saya dapat mengonfirmasi bahwa elasticsearch dapat menangani miliaran dokumen, triliunan dokumen.
Ini tidak berarti bahwa Anda dapat meneruskan semua dokumen tersebut dalam satu permintaan massal tunggal.
Lihat BTW di http.max_content_length
. Secara default dibatasi hingga 100mb (sengaja).
https://www.elastic.co/guide/en/elasticsearch/reference/current/modules-http.html
Komentar yang paling membantu
Tapi elasticsearch dibuat untuk menangani data berukuran besar beberapa GB data, bahkan wiki dan github juga menggunakannya.
Saya pikir mengurangi ukuran input bukanlah solusi yang baik , tapi entah bagaimana saya berhasil memasukkan data menggunakan python ..
Bahkan jika seseorang dapat menyarankan saya solusi terbaik, silakan beri komentar