@saninstein 왜 격차가 있습니까?

@clstaudt gap은 주식 거래에서 모델 평가에 유용한 기능입니다. 가격 예측에서 모델이 훈련 세트 직후 데이터에서 매우 잘 수행되고 시간이 지남에 따라 성능이 저하되는 것은 매우 일반적인 경우입니다. 따라서 어떤 경우에는 훈련 세트 후에 발생한 약간의 "양호한" 데이터를 건너뛰는 것이 유용할 수 있습니다.

시계열 관련 기능에 대한 우리의 일반적인 입장은 sklearn의 범위를 벗어났다는 것입니다(적어도 현재로서는). 그리고 데이터에 타임스탬프와 같은 샘플 속성이 첨부되면 문제를 다시 검토하는 것이 좋습니다.

이에 대해 @scikit-learn/core-devs로부터 최소한 하나의 다른 의견을 듣고 싶지만 현재로서는 "고칠 수 없는" 결의안이 제 투표입니다.

@adrinjalali sklearn에는 이미 시계열에 대한 많은 좋은 모델이 있습니다.

어느 것?

@adrinjalali 이미 sklearn에서 구현된 TimeSeriesSplit이 있습니다 :)

TimeSeriesSplit은 제안된 WalkForwardCV의 특정 사례입니다( gap=0, expanding=True 인수로 달성 가능). 실제로 TimeSeriesSplit은 WalkForwardCV로 쉽게 대체될 수 있습니다(앞서 언급한 대로 기본 인수를 설정하기만 하면 됨).

저는 주식 거래 ML 팀의 일원이며 다양한 sklearn 기능과 sklearn 호환 라이브러리를 성공적으로 사용하고 있습니다. 적절한 CV 스플리터가 없어서 sklearn에 다시 기여하기로 결정했지만 그렇지 않은 경우 내부적으로 사용할 것입니다. :)

TimeSeriesSplit은 제안된 WalkForwardCV의 특정 사례입니다(gap=0, expand=True 인수로 달성 가능). 실제로 TimeSeriesSplit은 WalkForwardCV로 쉽게 대체될 수 있습니다(이전에 언급한 대로 기본 인수를 설정하기만 하면 됨).

공정하지만 필요한 기능을 추가하기 위해 이전 버전과 호환되는 방식으로 TimeSeriesSplit 를 패치하려고 할 것입니다. 또한 커뮤니티에서 받아들일 가능성이 더 높습니다.

WalkForwardCV의 유일한 경우는 시계열 예측이 아닙니다. 데이터 세트 관찰이 시간에 따라 정렬되고 유효성 검사가 동일한 방식으로 수행되어야 할 때 유용합니다.

예를 들어 우리 작업 중 하나는 거래에 "허가"를 줄 ml 모델로 기존 거래 전략을 개선하려고 할 때 분류 문제를 필터링하는 거래를 잃는 것입니다.

공정하지만 필요한 기능을 추가하기 위해 이전 버전과 호환되는 방식으로 TimeSeriesSplit을 패치하려고 할 것입니다. 또한 커뮤니티에서 받아들일 가능성이 더 높습니다.

최고의 솔루션이 될 거라 믿습니다.

저는 시계열 예측 모델을 연구하는 데이터 과학자입니다. 시계열 관련 사항은 scikit-learn의 범위를 벗어났다고 가정하고 이 스레드에서 설명하는 방법과 약간 다른 자체 유효성 검사 코드를 구현하기 시작했습니다.

나중에 나는 TimeSeriesSplit 의 존재를 알게 되었고 내가 바퀴를 재발명하기 시작했는지 궁금했습니다. 검증 코드를 기존의 확립된 프로젝트에 기여하고 싶습니다.

이런 종류의 모델 평가에 대한 요구가 분명히 있기 때문에 그것이 어디에 적합한지 여전히 궁금합니다.

시계열에 대한 예측을 위해서는 많은 패턴이 필요합니다. NS
예를 들어 웨이블릿 기능을 생성하는 변환기가
매우 유용합니다.

그러나 이것들은 scikit-learn의 범위를 벗어납니다. 유용할 것입니다
이 모든 것을 일관된 방식으로 구현하는 패키지를 만듭니다. 그것
아마 추진력을 얻을 것입니다.

이 모든 것을 일관된 방식으로 구현하는 패키지를 만드는 것이 유용할 것입니다. 아마 탄력을 받을 것입니다.

예. 가입하세요.

https://github.com/scikit-learn-contrib/에 이러한 패키지가 있으면 기쁩니다.

그럼 이만 종료합니다 :)

더 나은 시계열 교차 검증을 추가하는 것이 범위에 있다고 생각합니다.

또한 참조 #13666 #13204 #6322 #13761

범위를 변경합니다. @amueller 가 이를 일반적인 사용 사례로 확장하는 데 개방적이어야 한다는 데 동의합니다. 기본적으로, 우리는 일반적으로 scikit-learn 추정기(즉, sklearn 패키지)에서 모델이 샘플 순서와 기능 순서에 다소간 불변해야 한다고 가정합니다. 시계열 추정기는 제외됩니다. 그러나 오랫동안 샘플 주문에 주의해야 할 사항을 고려한 교차 검증 스플리터에는 이러한 제약이 없습니다. 궁극적으로 교차 검증은 ML에 대한 핵심 가정이 있는 곳입니다.

그러나 @amueller 도 지적했듯이 실제로 대화는 기존 풀 리퀘스트에서 계속되어 호의적인 상태로 이동해야 합니다.

물론, 하지만 데이터의 실제 타임스탬프가 분할에서 중요해야 하는 경우(IMO가 있어야 함)가 아니라 단순한 행 수가 아닌 경우에 주의합니다. 나는 우리가 조만간 타임스탬프를 처리할 것이라고 생각하지 않습니다. 그렇지 않습니까?

https://github.com/scikit-learn/scikit-learn/issues/3202 에서 처음 제안한 이후 5년 동안 이 질문은 교육 또는 적용 대화에서 최소 50번 나왔습니다. @saninstein , 여기에 포함할지 아니면 -contrib를 추진할지 결정하셨나요? 이 문제를 해결하는 데 도움이 필요한 것이 있으면 (어딘가) 도움이 되었으면 합니다.

저도 기여하고 싶습니다. 이에 대해 다른 문제에서 작성했으며 TimeSeriesSplit을 확장하거나 이에 대한 다른 패키지를 만드는 데 협력하고 싶습니다. 나는 이것이 CV 도메인의 분할과 관련되어 있으며 sklearn에 있어야 한다고 생각합니다.
솔직히 지금 어디로 가야 할지, 무엇을 해야 할지 막막하기는 하지만 공헌하고 싶습니다. 나는 내 시간을 염두에두고 커뮤니티를 위해 올바른 방법으로 사용하고 싶습니다.

@mjbommar 위의 나와 @jnothman이 말했듯이 우리는 앞으로 나아가는 데 매우 개방적이며 일부 기존 PR, 특히 #13761 및 #13204가 있으며 두 API에 대한 피드백을 많이 주시면 감사하겠습니다.

제 생각에는 #13204가 가장 성숙해 보여서 거기에서 가는 것이 가장 의미가 있지 않을까요? @kykosic 이 아직 작업을 하고 있는지 확실하지 않습니다. 늦어졌나요 ?

흠 #13204는 WalkForward를 구현하지 않지만... #13204를 먼저 병합하고 나중에 WalkForward를 구현하시겠습니까?
그것은 별도의 CV 개체여야 합니까?

@amueller 이 글이 올라오기 전까지 #13204에 대해 잊고 있었습니다. 나는 다음 주에 그것에 대한 리뷰를 다루며 여전히 적합한지 확인할 것입니다.

@kykosic 굉장합니다, 감사합니다!

#13204가 완료되어 이 문제가 종료된 이유가 궁금합니다. 나는 #13204가 이것의 전제 조건이라고 생각했습니다.

13204는 이 문제에서 요청한 기능인 gap 를 TimeSeriesSplit 했습니다.