Orientdb: Dukungan data besar untuk indeks hash

Dibuat pada 22 Okt 2013  ·  3Komentar  ·  Sumber: orientechnologies/orientdb

Implementasi indeks hash saat ini hanya membutuhkan satu i/o untuk membaca dan paling banyak 3 i/os untuk kasus tulis tetapi kami masih mengalami overhead I/O acak. Rata-rata I/O acak membutuhkan waktu 20 ms, sangat lambat. Pengoptimalan cache tulis saat ini mengamortisasi overhead ini, tetapi kami masih akan mengalaminya jika terjadi penyisipan besar. Untuk menghindari overhead ini baik untuk memiliki optimasi yang diterapkan untuk LSM mencoba. Dalam pohon LSM nutshed adalah kamus yang diurutkan, satu instance di memori dan kedua di disk instance ini digabungkan di latar belakang menggunakan potongan data yang sangat besar, jadi kita tidak akan memiliki 3 I/O untuk menulis tetapi sekitar 3/16 IO untuk penulisan tunggal yang jauh lebih cepat jika kita juga memperhitungkan bahwa pengoptimalan cache tulis tambahan akan diterapkan, kita akan memiliki implementasi indeks yang sangat sangat cepat. Optimalisasi tambahan adalah penggunaan filter bloom, tetapi tidak termasuk satu yang merupakan pemborosan sumber daya server total.

Tapi itu juga memakan sumber daya, 4 bulan untuk satu orang dan sekitar 2,5 bulan untuk dua orang. Tetapi hasilnya harus benar-benar berharga.

Pengoptimalan ini harus diterapkan setelah https://github.com/orientechnologies/orientdb/issues/1756 masalah.

enhancement

Komentar yang paling membantu

@saeedtabrizi juga WiredTiger tidak menggunakan transaksi dan itu membuat implementasi hal-hal seperti itu menjadi lebih sederhana, kami sekarang berkonsentrasi pada Indeks Fraktal yang memiliki potensi yang baik untuk integrasi dalam sistem berbasis transaksi

Semua 3 komentar

@laa berdasarkan laporan ini , saya pikir implementasi pohon LSM adalah langkah paling berharga untuk menumbuhkan orientdb .

@saeedtabrizi bahwa laporan ini sedikit curang, tidak memperhitungkan kasus ketika LSM Tree memiliki banyak level, amplifikasi tulis sangat besar sehingga semua penulisan berhenti di sana.

@saeedtabrizi juga WiredTiger tidak menggunakan transaksi dan itu membuat implementasi hal-hal seperti itu menjadi lebih sederhana, kami sekarang berkonsentrasi pada Indeks Fraktal yang memiliki potensi yang baik untuk integrasi dalam sistem berbasis transaksi

Apakah halaman ini membantu?
0 / 5 - 0 peringkat