Evalml: AutoMLSearch: 동일한 인스턴스에서 검색을 두 번 호출하면 작동하지 않습니다.

@angela97lin 제 생각에 버그는 우리가 두 번째로 기준선을 채점하는 것입니다. 그러나 두 번째로 기준선이 아닌 파이프라인을 검색하지 않도록 의도된 것이라고 생각합니다.

검색에 대한 두 번째 호출은 작동하지 않아야 하므로 첫 번째 "라운드"에서만 기준선 점수를 매기기 위해 검색을 리팩토링해야 한다고 생각합니다. 어떻게 생각하나요?

@freddyaboulton 흠, 당신의 제안이 마음에

더 큰 규모로 사용자가 동일한 automl 개체를 재사용할 수 있도록 의도되었습니까? 아니면 검색을 실행할 때마다 새 개체를 만들어야 합니까?

좋은 지적 @angela97lin ! 현재의 AutoMLSearch 디자인은 귀하가 언급한 "검색당 하나의 개체" 패러다임에 적합하다고 생각합니다. 내 추론은 사용자가 검색을 생성할 때 지정하는 많은 구성 매개변수가 당면한 문제/데이터 세트에 따라 다르다는 것입니다( problem_type , allowed_pipelines , objective ). 이러한 매개변수의 값은 X , y 중 한 가지 종류에 대해 합리적이지만 동일한 문제 유형의 X , y 에 대해서는 적절하지 않을 수 있습니다. . 또한 cv 점수를 직접 비교할 수 없기 때문에 사용자가 별도의 데이터 세트에서 검색을 호출하도록 허용하면 rankings 테이블이 오해의 소지가 있습니다.

그래서 저는 우리가 지금까지 가지고 있는 것을 따르고 싶다면 "no-op" 솔루션을 수행해야 한다고 생각합니다. 중지 기준이 충족되면 검색을 위한 후속 호출에서 파이프라인이 점수를 매기지 않도록 해야 합니다. 동일한 검색 개체를 재사용할 수 있도록 디자인을 변경하는 경우에만 기준선을 다시 계산해야 한다고 생각합니다.

search 여러 번 호출할 수 있도록 AutoMLSearch 를 리팩토링/재설계해야 하는지 여부에 대해 이야기하게 되어 기쁩니다. 최종 사용자에게 가장 유용한 것이 무엇인지에 대해서는 아직 확실한 의견이 없습니다!

@angela97lin @freddyaboulton 제출 및 훌륭한 토론에 감사드립니다. 나는 동의한다!

두 분 모두 언급했듯이 우리는 이 상향식, 즉 "현재 API에서 어떤 동작이 되어야 합니까?"에 대해 이야기했지만 우리는 이 하향식, 즉 "사용자가 하고 싶은 것이 무엇입니까?"에 대해서도 이야기해야 합니다. 자동 검색으로?" 검색 일시 중지 및 재개와 같은 동작을 지원하기로 결정했다면 AutoMLSearch 추가 업데이트에 시간을 투자하기 전에 이에 대한 다른 API 구축( #1047 )을 고려해야 한다고 생각합니다.

이를 염두에 두고 첫 번째 호출 후 AutoMLSearch 인스턴스에서 search 다시 호출할 때 어떤 일이 발생해야 하는지에 대한 옵션(반드시 상호 배타적일 필요는 없음):

1. 현재 버그 동작
2. 오류: "AutoMLSearch 인스턴스에서 검색을 두 번 이상 실행할 수 없습니다."
3. 무작정: 아무 일도 일어나지 않습니다.
4. 전체 검색을 처음부터 다시 실행합니다. search 이전 호출 중에 생성된 모든 상태를 덮어씁니다.
5. 중단된 위치에서 검색을 "계속" 또는 "재개"합니다.

옵션 0(현재 동작)이 버그가 있고 변경해야 한다는 데 동의합니다. 당분간은 옵션 2 또는 3을 가장 좋아합니다. 지금은 옵션 3을 선택해야 하며, 빌드하기가 너무 복잡하다고 생각되면 옵션 2로 돌아갈 수 있습니다. 장기적으로 저는 실제로 옵션 4(계속)를 가장 좋아하지만 지금.

@dsherry @angela97lin @freddyaboulton 이제 AutoMLSearch는 검색 기능이 아닌 AutoMLSearch 의 초기화를 통해 X_train 및 y_train 를 사용하므로 계속 진행하는 가장 좋은 방법은 옵션 3입니다. ? 검색을 위한 X 및 y 데이터는 단순히 검색을 호출하면 동일하므로 처음부터 검색을 실행하는 대신 호출이 작동하지 않도록 할 수 있습니까? 하지만 그 외에는 이 문제에 대해 더 이상 할 일이 없다고 생각합니다. 네 생각을 말해봐!