Descreva o recurso :
A estratégia atual de implantação de vários datacenters do Elasticsearch (ou entre nuvem/região da AWS) está incompleta e/ou muito complexa.
Por exemplo, uma abordagem menciona o uso da fila de mensagens (que, na minha opinião, sofre de natureza e dependências complicadas):
https://www.elastic.co/blog/scaling_elasticsearch_across_data_centers_with_kafka
Outra abordagem menciona o uso de implantação limitada baseada em nó Tribe - que é realmente projetada para pesquisa federada em clusters e não tanto escalabilidade/disponibilidade):
https://www.elastic.co/guide/en/elasticsearch/reference/current/modules-tribe.html
https://www.elastic.co/blog/clustering_across_multiple_data_centers
Seria útil explorar outras abordagens - especificamente um tipo presente na replicação de quorum do Cassandra, com seus diferentes níveis de consistência (por exemplo, EACH_QUORUM) e implantação usando rede especificada ou topologia de datacenter derivada dinamicamente:
https://docs.datastax.com/en/cassandra/2.0/cassandra/dml/dml_config_consistency_c.html
https://docs.datastax.com/en/cassandra/2.0/cassandra/architecture/architectureSnitchesAbout_c.html
Eu entendo que este é um tópico complicado, mas eu só queria colocar isso lá como um problema para a equipe do Elacticsearch considerar.
Olá @ttaranov
Estamos trabalhando ativamente em um produto de recuperação de desastres para o X-Pack que será baseado na API de alterações (https://github.com/elastic/elasticsearch/issues/1242). Trata-se de manter vários clusters em sincronia, em vez de tentar fazer com que um único cluster abranja vários data centers.
Legal - fico feliz em saber que está em andamento. Obrigado, Tim
@clintongormley Você tem algum progresso?
Comentários muito úteis
Olá @ttaranov
Estamos trabalhando ativamente em um produto de recuperação de desastres para o X-Pack que será baseado na API de alterações (https://github.com/elastic/elasticsearch/issues/1242). Trata-se de manter vários clusters em sincronia, em vez de tentar fazer com que um único cluster abranja vários data centers.