커미터는 아니지만 1.0용 PySpark API를 대상으로 지정할 수 있습니까?
문제: #3370
현재 홍보: #4656

게시물을 편집할 수 있는 권한이 없는 다른 기고자의 경우 1.0.0에 포함되어야 한다고 생각하는 내용에 대해 여기에 댓글을 달아주세요.

또한 1.0에서 Scala 기반 Rabit 추적기(Spark용)로만 이동하는 것을 목표로 해야 합니까?

나도 커미터는 아니지만 나와 내가 일하는 회사는 체크포인트로 성능 문제를 해결하는 데 매우 관심이 있습니다(또는 최소한 완화). #3946

@trams @thesuperzapper 저는 이것이 모든 사람들이 다음에 올 일에 대한 느낌을 가질 수 있는 개요라고 생각합니다. XGBoost는 커뮤니티 주도 프로젝트이기 때문에 모든 것을 나열하는 것은 어려울 것입니다. 준비가 되면 PR을 열면 됩니다.

커미터는 아니지만 1.0용 PySpark API를 대상으로 지정할 수 있습니까?

@thesuperzapper 진행 상황을 추적해 보겠습니다. 확실히 테스트를 시작할 수 있기를 바랍니다. :-)

1.0에 대한 준비가 되지 않았을 수 있다는 두 번째 고려 사항도 있습니다. API는 이에 따라 예를 들어 다음 0.10.0을 대신할 수 있다고 보장합니다.

@thesuperzapper 1.0은 최종 버전이 아닙니다. 의미론적 버전 관리를 하려는 것일 뿐입니다.

일부 GPU 관련 항목을 추가했습니다.

기본 xgb 수정 사항을 포함하고 싶습니다.
https://github.com/dmlc/xgboost/issues/4753

목록에서 JSON이 제거됩니다. https://github.com/dmlc/xgboost/pull/4683#issuecomment -520485615 참조

위의 제안에 대해 문제를 제기했습니다. #4781 (파이썬 Rabit 추적기를 제거하려면)

Spark 버전의 FeatureImportance도 훌륭할 것입니다(즉, 중요도 기능을 쉽게 가질 수 있음).
https://github.com/dmlc/xgboost/pull/988

회귀 테스트가 추가되었습니다.

@chenqin 프로덕션에서 ML을 관리한 경험이 있으므로 회귀 테스트에 대해 듣고 싶습니다. 어떤 제안?

@chenqin 프로덕션에서 ML을 관리한 경험이 있으므로 회귀 테스트에 대해 듣고 싶습니다. 어떤 제안?

다양한 워크로드에 대한 회귀 테스트와 이전 버전보다 예측 정확도 및 안정성(동등하거나 더 우수함)에 대한 벤치마크를 대략 같은 시간 내에 다루어야 한다고 생각합니다. 내 머리 위에 두 후보는

https://archive.ics.uci.edu/ml/datasets/HIGGS

희소 행렬
https://www.kaggle.com/c/ClaimPredictionChallenge

좋은 적용 범위를 보장하기 위해 다양한 트리 방법과 구성을 시도할 수 있습니다.

tree_method, 구성 / 데이터 세트 / 독립 실행형 또는 클러스터

선언문:
조금 명확히 할 가치가 있다고 생각합니다.

• 릴리스 회귀는 내가 일한 회사에서 이미 수행한 것이 아닙니다.

• 내가 제안한 데이터 세트는 임의적이며 한 프레임워크가 다른 프레임워크보다 낫다고 주장하는 벤치마크로 사용되지 않을 수 있습니다. (이것은 내가 때때로 편향된 벤치마크를 보았을 때 가장 우려됩니다)

• 사실, 조정의 본질과 적절한 기능/설정을 발견하는 것이 항상 더 중요했습니다. 불행히도 회귀 테스트에서는 이를 다루지 않을 수 있습니다.

보다 조직적인 계획은 사용자가 자체 데이터 센터의 개인 데이터 세트 및 모델에 대해 다양한 설정을 취하고 벤치마킹할 수 있는 자동화 도구를 구축하는 것입니다.

1.0 출시를 위한 요구 사항으로 #4779 수정을 추가해야 합니다.

정리 단계로 #4899를 추가합니다.

@dmlc/xgboost-committer 1.0에 대한 작업이 꽤 많이 남아 있기 때문에 중간 릴리스 0.91을 만들어야 할까요?

@ hcho3 또는 아마도 0.10.0

@thesuperzapper 버전 시스템을 혼란스럽게 합니다. 나는 0.91 릴리스에 신경 쓰지 않지만 여전히 회귀 테스트를 위한 적절한 절차를 보고 싶습니다.

@trivialfis 마스터에 API 변경 사항이 있는 경우 주 버전을 범하면 안 됩니다. 0.100.0처럼 보일 것입니다.

@thesuperzapper 1.0.0 버전은 의미론적 버전 관리 체계를 채택한 첫 번째 버전이므로 아니요, 의미론적 버전 관리는 임시 릴리스에 적용되지 않습니다. 1.0.0이 출시될 때까지 할 일이 많기 때문에 약간 까다롭습니다.

0.91을 원하면 모든 변경 사항을 검토하고 0.91이
0.90을 기반으로 하는 증분 업데이트이므로 로드맵을 해치지 않습니다.
여러 기능을 0.9x 또는 다른 버전으로 이동하여 1.0.0

내 제안은 릴리스 1.0.0.preview.1이며 다른 프로젝트도 있습니다.
주요 릴리스 전에 이 작업을 수행합니다.

2019년 10월 5일(토) 오전 10:19 조필립 현수 알림 @github.com
썼다:

@thesuperzapper https://github.com/thesuperzapper 1.0.0 버전은
첫 번째 버전에서는 의미론적 버전 관리 체계를 채택하므로 아니요.
시맨틱 버전 관리는 임시 릴리스에 적용되지 않습니다.

—
스레드를 작성했기 때문에 이 메시지를 받는 것입니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/dmlc/xgboost/issues/4680?email_source=notifications&email_token=AAFFQ6GBEQSXJKFW6QDPN53QNDEALA5CNFSM4IE5CQGKYYY3PNVWWK3TUL52HS4DFVEXG43NVMVBW6
또는 스레드 음소거
https://github.com/notifications/unsubscribe-auth/AAFFQ6BYMDES3537PDMGE5DQNDEALANCNFSM4IE5CQGA
.

@CodingCat 1.0.0.preview.1은 흥미로운 제안입니다. Maven이 이 버전을 허용합니까?

예, 버전 번호에 숫자가 아닌 문자를 사용할 수 있습니다.

2019년 10월 5일(토) 오전 11:11 조필립 현수 알림 @github.com
썼다:

@CodingCat https://github.com/CodingCat 1.0.0.preview.1은
흥미로운 제안. Maven이 이 버전을 허용합니까?

—
당신이 언급되었기 때문에 이것을 받는 것입니다.

이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/dmlc/xgboost/issues/4680?email_source=notifications&email_token=AAFFQ6H64Y75JBSSDRVYIS3QNDKFNA5CNFSM4IE5CQGKYY3PNVWWK3TUL52HS4DFVEXG43VMXVBW
또는 스레드 음소거
https://github.com/notifications/unsubscribe-auth/AAFFQ6BHKVVMQIDMRPY4DSTQNDKFNANCNFSM4IE5CQGA
.

중간 릴리스는 좋은 생각이며 0.9 이후로 많은 개선 사항이 있습니다.

알겠습니다. 앞으로 며칠 내에 CI 시스템에서 약간의 배관 작업을 수행한 다음 1.0.0.preview.1 릴리스를 준비할 것입니다.

@CodingCat 0.100 또는 0.95는 어떻습니까? "미리보기"는 1.0.0 릴리스가 얼마 남지 않은 것처럼 들리지만 몇 가지 주요 기능(PySpark)이 준비되어 있습니다.

무게 xgboost를 지원합니까?

사용자에게 1.0.0의 인상에 대해 걱정하지 않습니다

스파크 3.0 프리뷰는 이번 달에 출시되지만 정식 출시는 그 다음이다.
4월(스파크 정상 부근) 아마도

2019년 10월 8일 화요일 오전 11시 41분 Philip Hyunsu Cho [email protected]
썼다:

@CodingCat https://github.com/CodingCat 0.100 또는 0.95는 어떻습니까?
"미리보기"는 1.0.0 릴리스가 얼마 남지 않은 것처럼 들리지만
라인에 몇 가지 주요 기능(PySpark)이 있습니다.

—
당신이 언급되었기 때문에 이것을 받는 것입니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/dmlc/xgboost/issues/4680?email_source=notifications&email_token=AAFFQ6AOGIWIB6W6TW3R5W3QNTH6TA5CNFSM4IE5CQGKYY3PNVWWK3TUL52HS4DFVEXG43NVMVBW6
또는 스레드 음소거
https://github.com/notifications/unsubscribe-auth/AAFFQ6HF52HBR7ZNSKLIY3TQNTH6TANCNFSM4IE5CQGA
.

@CodingCat 적어도 xgboost4j-spark의 관점에서 볼 때 2.12에서 Spark를 실행하는 사람이 거의 없기 때문에 1.0.0 미리보기는 대부분의 사람들에게 유용하지 않습니다. 또한 https://spark.apache.org/downloads.html 이 Hadoop 바이너리가 포함된 2.12용 Spark의 컴파일된 버전을 배포하지 않기 때문에 컴파일된 바이너리를 쉽게 얻을 수 없습니다.

그럼 우리는 아무것도 공개하지 말아야 합니까?

2019년 10월 10일 목요일 오후 10:05 Mathew Wicks [email protected]
썼다:

@CodingCat https://github.com/CodingCat 적어도 관점에서
xgboost4j-spark의 1.0.0 미리보기는 대부분의 사람들에게 유용하지 않습니다.
거의 아무도 2.12에서 Spark를 실행하지 않습니다. 또한 쉽게 얻을 수 없는
https://spark.apache.org/downloads.html 로 컴파일된 바이너리는 사용하지 않습니다.
Hadoop 바이너리를 사용하여 2.12용 Spark의 컴파일된 버전 배포
포함.

—
당신이 언급되었기 때문에 이것을 받는 것입니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/dmlc/xgboost/issues/4680?email_source=notifications&email_token=AAFFQ6AN3FJQ7ZE7EOTXLW3QOACSFA5CNFSM4IE5CQGKYY3PNVWQZ3TUL52HS4DFVEXG43NVMVBW
또는 구독 취소
https://github.com/notifications/unsubscribe-auth/AAFFQ6EJRRMTNY7R7JVALTDQOACSFANCNFSM4IE5CQGA
.

@CodingCat @thesuperzapper #4574를 사용하면 Scala 2.11과 2.12 모두에서 XGBoost를 컴파일할 수 있다고 생각했습니다. 이 경우 XGBoost를 2.11로 컴파일하고 JAR을 Maven에 업로드해야 합니다.

제거됨:

• [ ] 훈련 후 GPU 메모리 해제 #4668

나는 우리가 지금 거기에 갈 수 있다고 생각하지 않습니다.

@thesuperzapper Spark가 3.0 프리뷰(올 가을에 곧 목표로 함)를 출시한 후 Apache Spark 마스터(3.0) 브랜치 및 Scala 2.12에 대해 개발하기가 더 쉬워질 것입니다. 최종 3.0 릴리스(2020년 초를 목표로 함) 이후 Spark 커뮤니티에서 Scala 2.12로 훨씬 더 큰 전환이 예상되지만 현재 2.12 사용량이 많지 않다는 것이 맞습니다. 다가오는 Spark 릴리스에 대한 토론을 요청하기 위해 https://github.com/dmlc/xgboost/issues/4926 을 만들었습니다.

@CodingCat @thesuperzapper #4574를 사용하면 Scala 2.11과 2.12 모두에서 XGBoost를 컴파일할 수 있다고 생각했습니다. 이 경우 XGBoost를 2.11로 컴파일하고 JAR을 Maven에 업로드해야 합니다.

4574 크로스 컴파일을 허용하지 않습니다.

그것이 허용하는 것은 누군가가 코드를 체크 아웃하고 스칼라 버전을 수동으로 재정의하고 다시 컴파일하는 것입니다.

따라서 누군가 2.11로 jar를 컴파일하고 Maven에 업로드할 수 있습니다.
크로스 컴파일을 허용하는 SBT로 마이그레이션하는 풀 요청이 있었습니다.
나는 또한 Maven에서 크로스 컴파일을 지원하는 방법을 알고 있습니다(저희 회사에서 사용했습니다). 당신이 관심이 있다면 나는 공유 할 수 있습니다

@ hcho3 그것은 사용할 수 있습니다 CPack를 OSX의 설치를 용이하게하기위한? 가능하지 않은 경우 이 의견을 무시하십시오.

다목표 학습을 지원합니까?

@douglasren 슬프게도 아닙니다. 우리가 토론할 수 있도록 새로운 문제를 시작할 수 있습니까? "다중 목표"라는 용어는 여러 출력에 대한 하나의 목적 함수, 하나의 출력이 있는 다중 목표 또는 다중 출력이 있는 다중 목표와 같이 컨텍스트에 따라 달라질 수 있습니다.

중간 릴리스에도 한 표를 던지고 싶습니다.

5146 수정 #4477.

제거됨:

• [ ] PySpark API 지원 (https://github.com/dmlc/xgboost/issues/3370) (https://github.com/dmlc/xgboost/pull/4656) .

현재로서는 macOS 설치가 여전히 고통스럽기 때문에 임시 릴리스는 훌륭할 것입니다.

XGBoost4J-Spark로 순위(쌍별) 학습에 대한 문서화된 지원을 받을 수 있습니까? 현재 훈련 데이터를 지정하는 방법에 대한 구체적인 솔루션은 없습니다. 동일한 파티션 전략을 따라야 하는 groupID 및 교육 데이터에 의한 파티셔닝에 대해 약간의 혼동이 있지만 상당히 모호합니다.
예제 또는 명확한 문서가 정말 도움이 될 것입니다!

임시 릴리스에도 한 표를 던지고 싶습니다. @cpfarrell에 의한 누락된 값 수정에 대한 다음 버전을 기대하고 있습니다(https://github.com/dmlc/xgboost/pull/4805 참조).

다음 릴리스(주요 또는 잠정)와 관련된 예상 시간이 있습니까?

추신: @thesuperzapper 우리는 2.11과 2.12를 사용하고 있으며 중간 릴리스는 우리에게 매우 도움이 될 것입니다.

@hcho3 릴리스 분기를 만들고 테스트를 위해 일주일 정도 시간을 가질 수 있습니까?

예!

@hcho3 분기 외에도 GitHub 릴리스에서 공식 릴리스 후보를 만들 수 있으므로 커뮤니티에서도 테스트할 수 있습니다.

이것은 굉장한 소리입니다! 다음 출시가 정말 기대됩니다. 저희가 도와드릴 수 있는지 알려주세요. 우리는 확실히 Yelp에서 그것을 테스트할 것입니다.

https://github.com/dmlc/xgboost/pull/5248 이 병합된 후 새 분기 release_1.0.0 를 잘라냅니다. 기다려 주셔서 감사합니다.

이제 Python용 릴리스 후보를 사용할 수 있습니다: https://github.com/dmlc/xgboost/issues/5253. 오늘 실행하여 시도할 수 있습니다.

pip3 install xgboost==1.0.0rc1

1.0.0이 출시되었습니다.

pip3 install xgboost==1.0.0