Evalml: डेटा जांच का समर्थन मानकीकरण; समस्या_प्रकार का उपयोग करके अमान्य लक्ष्यडेटा चेक सत्यापन लक्ष्य है

@ एंजेला 97 लिन क्या आप इसके लिए उपयोग-मामले का वर्णन कर सकते हैं?

@dsherry ज़रूर! #929 में, @freddyaboulton और मैं चर्चा कर रहे थे कि यह कितना अच्छा होगा यदि InvalidTargetDataCheck और भी उपयोगी हो सकता है यदि यह उस प्रकार की समस्या से अवगत हो जो इसे संभाल रहा था। उदाहरण के लिए, यदि हम जानते हैं कि हमारी समस्या द्विआधारी वर्गीकरण थी, लेकिन डेटा जांच के इनपुट में दो से अधिक वर्ग थे, तो हम एक चेतावनी/त्रुटि फेंक सकते थे। इसलिए, डेटा जांच के लिए किसी भी तरह पैरामीटर में या केवल अधिक जानकारी पास करने में सक्षम होना अच्छा होगा। दुर्भाग्य से, यह हमारे वर्तमान डिजाइन के साथ अच्छी तरह से काम नहीं करता है, जहां हम कक्षाओं से गुजरते हैं और उदाहरण नहीं।

वैकल्पिक रूप से, हम प्रत्येक समस्या प्रकार के लिए डेटा जांच कक्षाएं बना सकते हैं, जैसे कि बाइनरी क्लासिफिकेशन इनवैलिड टार्गेटडेटा चेक लेकिन यह बहुत बालों वाली भी हो सकती है, यह निर्धारित करते समय कि डिफॉल्टडेटा चेक में क्या शामिल होना चाहिए (या इसे भी डिफॉल्ट बाइनरी क्लासिफिकेशनडेटा चेक में तोड़ा जाना चाहिए?)

अभी @angela97lin @freddyaboulton . के साथ चर्चा की

हमें उस पैटर्न को प्रतिबिंबित करने का विचार पसंद है जिसका उपयोग हम पाइपलाइनों में component_graph के लिए करते हैं:

• डेटा जांच की सूची को शुरुआत में DataCheck उपवर्गों की सूची के रूप में स्वचालित खोज के लिए निर्दिष्ट किया जा सकता है (या समान लेकिन DataChecks के अंदर), उदाहरण नहीं
• एक बार ऑटोएमएल खोज डेटा जांच चलाना चाहती है, तो यह DataChecks वर्ग का एक उदाहरण बना सकती है
• उस समय हम इसे अपनी पाइपलाइन parameters के समान एक data_check_parameters dict पास करेंगे, जिसमें एक या अधिक डेटा जांच के लिए वैकल्पिक कॉन्फ़िगरेशन शामिल है।
• यदि उपयोगकर्ता सीधे DataChecks का उपयोग करना चाहते हैं तो वे एक समान पैटर्न का अनुसरण कर सकते हैं
• data_check_parameters डिफ़ॉल्ट रूप से None $ होना चाहिए ताकि लोगों को इसे बनाने की आवश्यकता न हो यदि इसकी आवश्यकता नहीं है। लेकिन अगर डेटा जांच से एक आवश्यक तर्क गुम है (जैसे problem_type कुछ के लिए) जिसके परिणामस्वरूप प्रारंभिक त्रुटि होनी चाहिए

यहाँ एक स्केच है कि यह स्वचालित खोज में कैसे दिख सकता है:

# today this helper standardizes the input to a list of `DataCheck` instances, and wraps that in a `DataChecks` instance
# after this work, this would standardize the input to a `DataChecks` class.
# if `data_checks` was already a `DataChecks` class, do nothing. else if `data_checks` is a list of `DataCheck` classes, define a `AutoMLDataChecks` class to wrap and return that
data_checks_class = self._validate_data_checks(data_checks)
# next we create the `DataChecks` instance by passing in data checks parameters
data_check_parameters = {'Target Datatype Data Check': {'problem_type': self.problem_type}}
data_checks = data_checks_class(data_check_parameters)
data_check_results = data_checks.validate(X, y)

प्रत्यक्ष उपयोग समान दिखाई देगा।

अगले कदम

• @angela97lin @freddyaboulton अन्य लोग उपरोक्त स्केच की समीक्षा करते हैं और विवेक-जांच करते हैं
• @angela97lin #960 पर हमारी चर्चा के आधार पर TargetDatatype डेटा जांच (नाम TBD) जोड़ने को ट्रैक करने के लिए एक समस्या दर्ज करेगा। उस डेटा जांच के लिए problem_type पैरामीटर को पास करने की आवश्यकता होगी
• जो कोई भी इस मुद्दे को उठाता है उसे भी उसी समय उस TargetDatatype अंक को उठाना चाहिए और इसे बनाना चाहिए! ️

@dsherry योजना मुझे अच्छी लगती है! केवल एक चीज जो मैं जोड़ूंगा वह यह है कि मैं एक नया डेटा जांच बनाने के लिए पहले से मौजूद InvalidTargetDataCheck को बढ़ाना पसंद करता हूं लेकिन कोई भी दृष्टिकोण मेरे लिए काम करेगा। जो कोई भी इसे उठाता है, कृपया यह जांचना सुनिश्चित करें कि लक्ष्य में केवल दो अद्वितीय मान हैं जब problem_type बाइनरी है। #929 की समीक्षा में इसका उल्लेख किया गया था।

if problem_type == "binary" and len(set(y)) != 2:
    # Warn that we do not have two unique values in y

आप जानते हैं कि, @angela97lin @freddyaboulton आइए इस मुद्दे का उपयोग दोनों को ट्रैक करने के लिए करें a) ऑटोएमएल को अपडेट करना और डेटा पैरामीटरकरण का समर्थन करने के लिए API की जांच करता है और b) लक्ष्य को मान्य करने और सभी लक्ष्य के लिए बुद्धिमान त्रुटियों को बढ़ाने के लिए InvalidTargetDataCheck को अपडेट करना प्रकार हम समर्थन करते हैं।

उल्लेख करना क्योंकि मैंने अभी एक बग # 970 दायर किया है और करीब से देखने पर यह मुद्दा उपरोक्त द्वारा तय किया जाएगा। तो यह #970 बंद हो जाएगा।

@dsherry कितना सामयिक है! यह मुझे अच्छा लगता है