Elasticsearch: Fehler: curl(56) Recv-Fehler: Verbindung durch Peer zurückgesetzt
Ich versuche, meine ES-DB mit der Bulk-API zu laden, erhalte jedoch diesen Fehler
"curl: (56) Recv-Fehler: Verbindung durch Peer zurückgesetzt"
Die Struktur der Json-Dokumente in meiner Json-Datei ist korrekt
Aber meine Dateigröße beträgt 750 MB
Bitte schlagen Sie mir eine Lösung vor
Vielen Dank
rpalsaxena
Alle 3 Kommentare
Bitte verwenden Sie diskussion.elastic.co
Versuchen Sie, Ihre Bulk-Größe zu reduzieren. Ich denke, ich füge nicht mehr als 10.000 Dokumente pro Bulk ein (kleine Dokumente). Also höchstens einige MB pro Bulk.
dadoonet
am 27. Juni 2015
Aber elastische Suche ist für den Umgang mit großen Datenmengen von einigen GB an Daten gemacht, sogar Wiki und Github verwenden es auch.
Ich denke, die Reduzierung der Eingabegröße ist keine gute Lösung, aber ich habe es irgendwie geschafft, die Daten mit Python einzufügen.
Selbst dann, wenn mir jemand die bestmögliche Lösung vorschlagen kann, dann bitte kommentieren
rpalsaxena
am 3. Juli 2015
Jawohl. Ich kann bestätigen, dass Elasticsearch Milliarden von Dokumenten verarbeiten kann, Billionen von Dokumenten.
Dies bedeutet nicht, dass Sie alle diese Dokumente in einer einzigen Massenanforderung übergeben können.
Schauen Sie sich übrigens http.max_content_length . Standardmäßig ist es auf 100 MB begrenzt (absichtlich).
https://www.elastic.co/guide/en/elasticsearch/reference/current/modules-http.html
dadoonet
am 3. Juli 2015
Verwandte Themen
clintongormley
·
3Kommentare
abrahamduran
·
3Kommentare
mayyamus
·
3Kommentare
clintongormley
·
3Kommentare
matthughes
·
3Kommentare
Hilfreichster Kommentar
Aber elastische Suche ist für den Umgang mit großen Datenmengen von einigen GB an Daten gemacht, sogar Wiki und Github verwenden es auch.
Ich denke, die Reduzierung der Eingabegröße ist keine gute Lösung, aber ich habe es irgendwie geschafft, die Daten mit Python einzufügen.
Selbst dann, wenn mir jemand die bestmögliche Lösung vorschlagen kann, dann bitte kommentieren