Evalml: 데이터 검사의 매개변수화 지원 InvalidTargetDataCheck가 problem_type을 사용하여 대상을 확인하도록 합니다.

@angela97lin 이에 대한 사용 사례를 설명해 주시겠습니까?

@dsherry 물론입니다! #929에서 @freddyaboulton 과 나는 InvalidTargetDataCheck 가 처리하고 있는 문제의 유형을 알고 있다면 훨씬 더 유용할 수 있다면 얼마나 좋을지 논의하고 있었습니다. 예를 들어, 문제가 이진 분류라는 것을 알았지만 데이터 검사에 대한 입력에 두 개 이상의 클래스가 있는 경우 경고/오류가 발생할 수 있습니다. 따라서 매개변수를 어떻게든 전달하거나 데이터 검사에 더 많은 정보를 전달할 수 있으면 좋을 것입니다. 불행히도 이것은 인스턴스가 아닌 클래스를 전달하는 현재 디자인에서는 잘 작동하지 않습니다.

또는 BinaryClassificationInvalidTargetDataCheck와 같은 각 문제 유형에 대한 데이터 검사 클래스를 생성할 수 있지만 이는 DefaultDataChecks에 포함해야 하는 항목을 결정할 때(또는 DefaultBinaryClassificationDataChecks로 분류해야 하는 경우) 매우 복잡해질 수 있습니다.

@angela97lin @freddyaboulton 과 방금 논의했습니다.

우리는 파이프라인에서 component_graph 에 사용하는 패턴을 미러링하는 아이디어를 좋아합니다.

• 데이터 검사 목록은 처음에 인스턴스가 아닌 DataCheck 하위 클래스(또는 동일하지만 DataChecks 내부) 목록으로 automl 검색하도록 지정할 수 있습니다.
• automl 검색이 데이터 검사를 실행하기를 원하면 DataChecks 클래스의 인스턴스를 생성할 수 있습니다.
• 이 시점에서 하나 이상의 데이터 검사를 위한 선택적 구성이 포함된 parameters 파이프라인과 유사한 data_check_parameters dict를 전달합니다.
• 사용자가 DataChecks 를 직접 사용하려는 경우 유사한 패턴을 따를 수 있습니다.
• data_check_parameters 는 기본적으로 None $이어야 하므로 필요하지 않은 경우 만들 필요가 없습니다. 그러나 데이터 검사에서 필수 인수가 누락된 경우(예 problem_type ) 초기화 오류가 발생해야 합니다.

이것이 automl 검색에서 어떻게 보일 수 있는지에 대한 스케치입니다:

# today this helper standardizes the input to a list of `DataCheck` instances, and wraps that in a `DataChecks` instance
# after this work, this would standardize the input to a `DataChecks` class.
# if `data_checks` was already a `DataChecks` class, do nothing. else if `data_checks` is a list of `DataCheck` classes, define a `AutoMLDataChecks` class to wrap and return that
data_checks_class = self._validate_data_checks(data_checks)
# next we create the `DataChecks` instance by passing in data checks parameters
data_check_parameters = {'Target Datatype Data Check': {'problem_type': self.problem_type}}
data_checks = data_checks_class(data_check_parameters)
data_check_results = data_checks.validate(X, y)

직접적인 사용법은 비슷할 것입니다.

다음 단계

• @angela97lin @freddyaboulton 다른 사람들은 위의 스케치를 검토하고 온전한 확인을 합니다.
• @angela97lin 은 #960에 대한 논의를 기반으로 TargetDatatype 데이터 검사(이름 미정) 추가를 추적하는 문제를 제출할 것입니다. 해당 데이터 검사에는 problem_type 매개변수가 전달되어야 합니다.
• 이 이슈를 집어든 사람은 그 TargetDatatype 이슈도 동시에 집어 들고 이것을 빌드해야 합니다! 🛠️ 😁

@dsherry 계획이 좋아 보입니다! 내가 추가할 유일한 것은 새 데이터 검사를 생성하는 것보다 이미 존재하는 InvalidTargetDataCheck 를 보강하는 것을 선호하지만 두 가지 접근 방식 모두 저에게 적합하다는 것입니다. 이것을 선택하는 사람은 problem_type 가 바이너리일 때 타겟이 고유한 값을 2개만 가지고 있는지 확인하십시오. 이것은 #929에 대한 리뷰에서 언급되었습니다.

if problem_type == "binary" and len(set(y)) != 2:
    # Warn that we do not have two unique values in y

@angela97lin @freddyaboulton 이 문제를 사용하여 a) 매개변수화를 지원하기 위해 automl 및 데이터 검사 API를 업데이트하고 b) 모든 대상에 대해 대상을 확인하고 지능형 오류를 발생시키기 위해 InvalidTargetDataCheck 업데이트를 모두 추적해 보겠습니다. 우리가 지원하는 유형.

방금 버그 #970을 제출했기 때문에 언급하고 자세히 살펴보면 문제가 위에서 수정될 것입니다. 그래서 이것은 #970을 닫을 것입니다.

@dsherry 얼마나 시의적절한가! 나에게 좋은 소리입니다 😊