Elasticsearch: Erreur : curl(56) Échec de la réception : réinitialisation de la connexion par le pair
J'essaie de charger ma base de données ES à l'aide de l'API en masse, mais j'obtiens cette erreur
"curl : (56) Échec de la réception : réinitialisation de la connexion par le pair"
La structure des documents json dans mon fichier json est correcte
Mais ma taille de fichier est de 750 Mo
Merci de me proposer une solution
Merci
rpalsaxena
Tous les 3 commentaires
S'il vous plaît utiliser discuter.elastic.co
Essayez de réduire votre taille en vrac. Je pense que je n'insère pas plus de 10 000 documents par bloc (petits documents). Donc, quelques mb au maximum par vrac.
dadoonet
le 27 juin 2015
Mais elasticsearch est conçu pour gérer des données de grande taille, certains Go de données, même wiki et github l'utilisent également.
Je pense que réduire la taille d'entrée n'est pas une bonne solution, mais j'ai réussi à insérer les données à l'aide de python.
Même alors, si quelqu'un peut me suggérer la meilleure solution possible, veuillez commenter
rpalsaxena
le 3 juil. 2015
Oui. Je peux confirmer qu'elasticsearch peut gérer des milliards de documents, des milliards de documents.
Cela ne signifie pas que vous pouvez transmettre tous ces documents en une seule demande groupée.
Jetez un œil à http.max_content_length . Par défaut, il est limité à 100 Mo (volontairement).
https://www.elastic.co/guide/en/elasticsearch/reference/current/modules-http.html
dadoonet
le 3 juil. 2015
Questions connexes
dadoonet
·
3Commentaires
abtpst
·
3Commentaires
ppf2
·
3Commentaires
clintongormley
·
3Commentaires
rbayliss
·
3Commentaires
Commentaire le plus utile
Mais elasticsearch est conçu pour gérer des données de grande taille, certains Go de données, même wiki et github l'utilisent également.
Je pense que réduire la taille d'entrée n'est pas une bonne solution, mais j'ai réussi à insérer les données à l'aide de python.
Même alors, si quelqu'un peut me suggérer la meilleure solution possible, veuillez commenter