Evalml: Spike: Desain Mesin Baru

Api/implementasi Engine telah berubah dengan cepat (khususnya di #1814 dan #1913) sejak #1838 digabungkan kurang dari dua minggu yang lalu!

Setelah debu mengendap pada implementasi/api EngineBase dan SequentialEngine, kita harus mengambil pelajaran terbaru dari pekerjaan ParallelEngine (#1869) dan melihat apakah kita dapat meningkatkan desain awal kita.

Beberapa pertanyaan untuk dipertimbangkan:

1. Mesin dibuat dalam AutoML tetapi memerlukan referensi ke AutoML. Bisakah kita membuat mesin tidak membutuhkan referensi ke AutoML?
2. train_and_score_pipeline cukup besar. Bisakah kita memecahnya menjadi bagian-bagian yang dapat dikelola/digunakan kembali?
3. Saat ini, setiap mesin perlu menerapkan "loop" sendiri untuk melatih/mencetak sejumlah saluran pipa. Hal ini membuat sulit untuk menggunakan kembali logika yang diperlukan untuk melatih dan menilai masing-masing saluran di seluruh mesin kami, misalnya kapan harus menggunakan kumpulan data ensembling, cara menangani kesalahan. Mungkin layak untuk "membalikkan" desain - Subkelas mesin hanya perlu menerapkan cara menyesuaikan dan/atau menilai satu jalur pipa dan kami memiliki satu "putaran" untuk cara menyesuaikan dan/atau menilai satu kelompok di kelas dasar .
4. Bagaimana kita menangani penghentian awal/interupsi keyboard dengan cara yang sama di mesin sekuensial dan paralel?
5. Bagaimana kami menangani max_iterations? Saat ini SequentialEngine menerima callback dari instance AutoMLSearch dan callback memperbarui status AutoMLSearch untuk menentukan apakah mesin harus melanjutkan pemrosesan pipeline. Ini sepertinya tidak mungkin dengan saluran pipa yang dievaluasi secara paralel.
6. Bagaimana kita menguji mesin paralel? Menjalankan instance kelas yang memiliki fungsi yang ditambal melalui unittest.mock memiliki tambalan tersebut "dilucuti" setelah melalui Dask.Client.map().

Kriteria penerimaan:
Dokumen yang mengusulkan perubahan pada desain mesin atau membenarkan desain saat ini untuk jangka menengah.