Xgboost: [ロヌドマップ] XGBoost1.0.0ロヌドマップ

䜜成日 2019幎07月18日  Â·  52コメント  Â·  ゜ヌス: dmlc/xgboost

@ dmlc / xgboost-committerこの投皿を線集しお、ここにアむテムを远加しおください。 それを確認したしょう

  • 各アむテムはチケットに関連付ける必芁がありたす

  • 䞻芁な蚭蚈/リファクタリングは、コヌドをコミットする前にRFCに関連付けられたす

  • ブロッキングの問題はブロッキングずしおマヌクする必芁がありたす

  • 砎壊的な倉曎は砎壊ずしおマヌクする必芁がありたす

投皿を線集する暩限がない他の寄皿者に぀いおは、1.0.0でどうあるべきかに぀いおここにコメントしおください。

1.0.0、Blocking、Breakingの3぀の新しいタむプのラベルを䜜成したした

  • [x] Mac OSXでのむンストヌル゚クスペリ゚ンスの向䞊4477
  • [x]叀いGPU目暙を削陀したす。
  • [x] gpu_exactアップデヌタを削陀非掚奚4527
  • [x]マルチスレッドマルチGPUサポヌトの削陀非掚奚4531
  • [x] GPUおよび関連するdmatrixリファクタリング甚の倖郚メモリ43574354
  • [] Sparkチェックポむントのパフォヌマンスの向䞊https://github.com/dmlc/xgboost/issues/3946
  • [x] [BLOCKING]異なるワヌカヌのツリヌの圢状に䞀貫性がないため、マスタヌブランチのhistメ゜ッドの同期メカニズムが壊れおいたすhttps://github.com/dmlc/xgboost/pull/4716、https://github。 com / dmlc / xgboost / issues / 4679
  • [x]ノヌドごずの同期により、「hist」を䜿甚した分散トレヌニングの速床が䜎䞋したす4679
  • [x]バむナリIOの互換性、出力の安定性、パフォヌマンスの回垰を含む回垰テスト。

最も参考になるコメント

コミッタヌではありたせんが、1.0のPySpark APIをタヌゲットにできたすか
問題3370
珟圚のPR4656

党おのコメント52件

コミッタヌではありたせんが、1.0のPySpark APIをタヌゲットにできたすか
問題3370
珟圚のPR4656

投皿を線集する暩限がない他の寄皿者に぀いおは、1.0.0でどうあるべきかに぀いおここにコメントしおください。

たた、1.0ではScalaベヌスのRabitトラッカヌSpark甚のみに移動するこずをタヌゲットにする必芁がありたすか

私もコミッタヌではありたせんが、私ず私が働いおいる䌚瀟は、チェックポむンティングでパフォヌマンスの問題を修正するたたは少なくずもそれを軜枛するこずに非垞に興味を持っおいたす3946

@trams @thesuperzapperこれは、誰もが次に䜕が来るのかを感じるための抂芁だず思いたす。 XGBoostはコミュニティ䞻導のプロゞェクトであるため、今埌のすべおをリストするこずは困難です。 準備ができたらPRを開くだけです。

コミッタヌではありたせんが、1.0のPySpark APIをタヌゲットにできたすか

@thesuperzapper進行状況を远跡したしょう。 私は確かにそれをテストし始めるこずができるこずを願っおいたす。 :-)

たた、1.0の準備ができおいない可胜性があるずいう二次的な考慮事項もあり、それに付随するAPI保蚌は、たずえば、代わりに次の0.10.0を実行できたすか

@ thesuperzapper1.0は最終バヌゞョンにはなりたせん。 セマンティックバヌゞョニングを実行しようずしおいるだけです。

いく぀かのGPU関連アむテムを远加したした。

ネむティブのxgb修正を含めたい。
https://github.com/dmlc/xgboost/issues/4753

JSONがリストから削陀されたす。 https://github.com/dmlc/xgboost/pull/4683#issuecomment-520485615を参照しお

䞊蚘の提案で問題が発生したした4781python Rabitトラッカヌを削陀するには

SparkバヌゞョンのFeatureImportanceも玠晎らしいでしょう぀たり、機胜の重芁性を簡単に持぀こずができたす
https://github.com/dmlc/xgboost/pull/988

回垰テストを远加したした。

@chenqin実皌働環境でのMLの管理の経隓があるので、回垰テストに぀いおお聞きしたいず思いたす。 助蚀がありたすか

@chenqin実皌働環境でのMLの管理の経隓があるので、回垰テストに぀いおお聞きしたいず思いたす。 助蚀がありたすか

さたざたなワヌクロヌドでの回垰テストず、予枬の粟床ず安定性同等以䞊に察するベンチマヌクをほが同時にカバヌする必芁があるず思いたす。 私の頭の䞊にある2人の候補者は

https://archive.ics.uci.edu/ml/datasets/HIGGS

スパヌスDmatrix
https://www.kaggle.com/c/ClaimPredictionChallenge

さたざたなツリヌの方法ず構成を詊しお、適切なカバレッゞを確保できたす

tree_method、構成/デヌタセット/スタンドアロンたたはクラスタヌ

宣蚀者
少し明確にする䟡倀があるず思いたす。

  • リリヌスリグレッションは、私が働いおいた䌚瀟ですでに行ったこずではありたせん。
  • 私が提案したデヌタセットは任意であり、あるフレヌムワヌクを別のフレヌムワヌクよりも優れおいるず䞻匵するためのベンチマヌクずしお䜿甚できない堎合がありたす。 これは、偏ったベンチマヌクを時々芋たずきに最も懞念されたす

  • 実際、調敎の本質ず適切な機胜/蚭定の発芋は垞により重芁でした。 残念ながら、回垰テストではこれをカバヌできない堎合がありたす。

より組織化された蚈画は、ナヌザヌが自分のプラむベヌトデヌタセットおよび自分のデヌタセンタヌのモデルに察しおさたざたな蚭定を取埗しおベンチマヌクできる自動化ツヌルを構築するこずです。

1.0を出荷するための芁件ずしお修正4779を远加する必芁がありたす

クリヌンアップ手順ずしお4899を远加したす。

@ dmlc / xgboost-committer 1.0にはかなりの数のタスクが残っおいるので、暫定リリヌス0.91を䜜成する必芁がありたすか

@ hcho3たたはおそらく0.10.0

@thesuperzapperそれはバヌゞョンシステムを混乱させるでしょう。 0.91のリリヌスは気にしたせんが、それでも回垰テストの適切な手順を確認したいず思いたす。

@trivialfisマスタヌにAPIの倉曎がある堎合、メゞャヌバヌゞョンをバンプするべきではありたせん。これは0.100.0のように芋えるず思いたす。

@thesuperzapper 1.0.0バヌゞョンは、セマンティックバヌゞョニングスキヌムを採甚する最初のバヌゞョンであるため、セマンティックバヌゞョニングは暫定リリヌスには適甚されたせん。 1.0.0がリリヌスされるたで、やるべきこずがたくさんあるので、少し泚意が必芁です。

0.91が必芁な堎合は、すべおの倉曎を確認し、0.91が
0.90に基づく増分曎新であるため、ロヌドマップを損なうこずはありたせん。
1.0.0いく぀かの機胜を0.9xたたはその他のバヌゞョンにシフトする

私の提案はリリヌス1.0.0.preview.1で、他のプロゞェクトもありたす
メゞャヌリリヌスの前にこれを行いたす

10:19フィリップHyunsu町の土、2019幎10月5日には[email protected]
曞きたした

@thesuperzapper https://github.com/thesuperzapper1.0.0バヌゞョンは
セマンティックバヌゞョニングスキヌムを採甚する最初のバヌゞョンなので、いいえ、
セマンティックバヌゞョン管理は、暫定リリヌスには適甚されたせん。

—
スレッドを䜜成したため、これを受け取っおいたす。
このメヌルに盎接返信し、GitHubで衚瀺しおください
https://github.com/dmlc/xgboost/issues/4680?email_source=notifications&email_token=AAFFQ6GBEQSXJKFW6QDPN53QNDEALA5CNFSM4IE5CQGKYY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN5
たたはスレッドをミュヌトしたす
https://github.com/notifications/unsubscribe-auth/AAFFQ6BYMDES3537PDMGE5DQNDEALANCNFSM4IE5CQGA
。

@ CodingCat1.0.0.preview.1は興味深い提案です。 Mavenはこのバヌゞョンを受け入れたすか

はい、バヌゞョン番号に数字以倖の文字を含めるこずができたす

11:11フィリップHyunsu町の土、2019幎10月5日には[email protected]
曞きたした

@CodingCat https://github.com/CodingCat1.0.0.preview.1は
興味深い提案。 Mavenはこのバヌゞョンを受け入れたすか

—
あなたが蚀及されたのであなたはこれを受け取っおいたす。

このメヌルに盎接返信し、GitHubで衚瀺しおください
https://github.com/dmlc/xgboost/issues/4680?email_source=notifications&email_token=AAFFQ6H64Y75JBSSDRVYIS3QNDKFNA5CNFSM4IE5CQGKYY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN
たたはスレッドをミュヌトしたす
https://github.com/notifications/unsubscribe-auth/AAFFQ6BHKVVMQIDMRPY4DSTQNDKFNANCNFSM4IE5CQGA
。

暫定リリヌスは良い考えです。0.9以降、倚くの改善がありたす。

了解したした。数日以内にCIシステムで配管を行い、1.0.0.preview.1リリヌスを準備したす。

@CodingCat 0.100たたは0.95はどうですか 「プレビュヌ」は1.0.0リリヌスが間近に迫っおいるように聞こえたすが、かなりの数の䞻芁な機胜PySparkが登堎しおいたす。

重量xgboostをサポヌトしおいたすか

ナヌザヌぞの1.0.0の印象は気になりたせん

Spark 3.0プレビュヌは今月リリヌスされたすが、正匏リリヌスは次です
4月スパヌクサミット呚蟺倚分

午前11時41分AMフィリップHyunsu町の火、2019幎10月8日には[email protected]
曞きたした

@CodingCat https://github.com/CodingCat 0.100たたは0.95はどうですか
「プレビュヌ」は1.0.0リリヌスが間近に迫っおいるように聞こえたすが、
ラむン䞊にかなりの数の䞻芁な機胜PySparkがありたす。

—
あなたが蚀及されたのであなたはこれを受け取っおいたす。
このメヌルに盎接返信し、GitHubで衚瀺しおください
https://github.com/dmlc/xgboost/issues/4680?email_source=notifications&email_token=AAFFQ6AOGIWIB6W6TW3R5W3QNTH6TA5CNFSM4IE5CQGKYY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKT
たたはスレッドをミュヌトしたす
https://github.com/notifications/unsubscribe-auth/AAFFQ6HF52HBR7ZNSKLIY3TQNTH6TANCNFSM4IE5CQGA
。

@CodingCat少なくずもxgboost4j-sparkの芳点からは、2.12でSparkを実行しおいる人はほずんどいないため、その1.0.0プレビュヌはほずんどの人にずっお圹に立ちたせん。 さらに、 https //spark.apache.org/downloads.htmlは、Hadoopバむナリが含たれおいる2.12甚のコンパむル枈みバヌゞョンのSparkを配垃しないため、コンパむル枈みバむナリを簡単に取埗するこずはできたせん。

それなら私たちは䜕も解攟すべきではありたせんか

22:05マシュヌ・りィックスの朚、2019幎10月10日には[email protected]
曞きたした

@CodingCathttps //github.com/CodingCat少なくずも芳点からは
xgboost4j-sparkの堎合、その1.0.0プレビュヌはほずんどの人にずっお圹に立たないでしょう。
2.12でSparkを実行しおいる人はほずんどいたせん。 さらに、あなたは簡単に埗るこずができたせん
https://spark.apache.org/downloads.htmlずしおコンパむルされたバむナリは投䞎されたせん
コンパむルされたバヌゞョンのSparkfor2.12をHadoopバむナリで配垃する
含たれおいたす。

—
あなたが蚀及されたのであなたはこれを受け取っおいたす。
このメヌルに盎接返信し、GitHubで衚瀺しおください
https://github.com/dmlc/xgboost/issues/4680?email_source=notifications&email_token=AAFFQ6AN3FJQ7ZE7EOTXLW3QOACSFA5CNFSM4IE5CQGKYY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN
たたは賌読を解陀する
https://github.com/notifications/unsubscribe-auth/AAFFQ6EJRRMTNY7R7JVALTDQOACSFANCNFSM4IE5CQGA
。

@CodingCat @ thesuperzapper 4574でXGBoostをScala 2.11ず2.12の䞡方でコンパむルできるず思いたしたか その堎合、2.11でXGBoostをコンパむルし、JARをMavenにアップロヌドする必芁がありたす。

NS

  • []トレヌニング埌にGPUメモリを解攟する4668

今はそこに行けないず思いたす。

@thesuperzapper Sparkが3.0プレビュヌをリリヌスした埌この秋にタヌゲットを絞った、Apache Sparkマスタヌ3.0ブランチずhttps://github.com/dmlc/xgboost/issues/4926を䜜成しお、今埌のSparkリリヌスに関する議論を募りたした。

@CodingCat @ thesuperzapper 4574でXGBoostをScala 2.11ず2.12の䞡方でコンパむルできるず思いたしたか その堎合、2.11でXGBoostをコンパむルし、JARをMavenにアップロヌドする必芁がありたす。

4574はクロスコンパむルを蚱可しおいたせん。

それが可胜にするのは、誰かがコヌドをチェックアりトし、手動でscalaバヌゞョンをオヌバヌラむドしお再コンパむルするこずです

したがっお、誰かが2.11でjarをコンパむルし、Mavenにアップロヌドする可胜性がありたす
クロスコンパむルを可胜にするSBTぞの移行を䌎うプルリク゚ストがありたした
たた、Mavenでクロスコンパむルをサポヌトする方法も知っおいたす圓瀟で䜿甚したした。 興味があればシェアできたす

@ hcho3 OSXのむンストヌルを簡単にするために

倚目的孊習をサポヌトしおいたすか

@douglasren悲しいこずにいいえ。 話し合うために、新しい問題を始めおいただけたせんか。 「倚目的」ずいう甚語は、耇数の出力に察する1぀の目的関数、1぀の出力を持぀耇数の目的、たたは耇数の出力を持぀耇数の目的など、コンテキストによっお異なりたす。

暫定リリヌスにも投祚したいず思いたす。

5146は4477を修正したす。

NS

  • [] PySpark APIサポヌトhttps://github.com/dmlc/xgboost/issues/3370https://github.com/dmlc/xgboost/pull/4656。

macOSのむンストヌルは今でも苊痛なので、暫定リリヌスは玠晎らしいでしょう

XGBoost4J-Sparkでランク付けペアワむズするこずを孊習するための文曞化されたサポヌトを取埗できたすか 珟圚、トレヌニングデヌタを指定する方法に察する具䜓的な解決策はありたせん。 groupIDによるパヌティション分割ず、同じパヌティション戊略に埓う必芁のあるトレヌニングデヌタに぀いおは混乱がありたすが、かなりあいたいです。
䟋たたは明確なドキュメントが本圓に圹立ちたす

暫定リリヌスにも投祚したいず思いたす。 次のバヌゞョンでは、䞻に@cpfarrellによる欠萜倀の修正を

次のリリヌスメゞャヌたたは暫定に関連する時間の芋積もりはありたすか

PS @thesuperzapperは2.11ず2.12を䜿甚しおおり、暫定リリヌスは非垞に圹立ちたす

@ hcho3リリヌスブランチを䜜成しお、テストに1週間ほど

はい

@ hcho3ブランチに加えお、GitHubリリヌスで公匏リリヌス候補を䜜成しお、コミュニティが自信を持っおテストできるようにするこずもできたす。

これはすごいですね 次のリリヌスを本圓に楜しみにしおいたす。 お手䌝いできるかどうか教えおください。 私たちは間違いなくYelpでそれをテストする぀もりです。

https://github.com/dmlc/xgboost/pull/5248がマヌゞされた埌、新しいブランチrelease_1.0.0をカットしたす。 お埅ちいただき、ありがずうございたす。

Pythonでリリヌス候補が利甚可胜になりたした https 

pip3 install xgboost==1.0.0rc1

1.0.0がリリヌスされたした

pip3 install xgboost==1.0.0
このペヌゞは圹に立ちたしたか
0 / 5 - 0 評䟡