Xgboost: Dask를 사용한 분산 컴퓨팅

@mrocklin Dask가 sklearn과 통합되어 있다고 생각했습니다. sklearn 래퍼가 작동하는지 확인하셨나요?

분산 시스템과 의미 있게 통합하려면 일반적으로 라이브러리 수준이 아니라 알고리즘 수준에서 수행해야 합니다. SKLearn과 Dask가 서로를 도울 수 있는 몇 가지 방법이 있지만, 특별히 깊지는 않습니다.

Dask 데이터 프레임은 좋은 시작이 될 것입니다. 코드 베이스에는 pandas 데이터 프레임이 있는지 확인합니다. 그것이 dask 데이터 프레임이 시작하기에 적합한 곳일 수 있습니다.

누군가가 멀티 테라바이트 dask 데이터 프레임을 가지고 도착하면 어떻게 될까요? 그냥 판다로 변환하고 진행하시나요? 아니면 dask 데이터 프레임을 구성하는 다양한 pandas 데이터 프레임을 가리키면서 클러스터 전체에서 XGBoost를 지능적으로 병렬화하는 방법이 있습니까?

사용자가 배치 크기를 지정할 수 있습니까? 사용자가 partial_fit을 통해 혜택을 받을 수 있다고 생각합니다.

cc @tqchen 은 코드의 분산 부분에 더 익숙합니다.

xgboost의 분산 버전은 분산 작업 실행기에 연결할 수 있으며 이상적으로는 xgboost에 데이터 파티션 피드를 가져온 다음 계속합니다.

@mrocklin 가장 관련성이 높은 부분은 xgboost-spark 및 xgboost-flink 모듈이라고 생각합니다. 이 모듈은 xgboost를 spark/flink의 mapPartition 기능에 포함합니다. Dask에도 비슷한 게 있을 것 같아요

xgboost 측의 요구 사항은 XGBoost가 rabit에 의한 프로세스 간 연결을 처리하고 클라이언트 측에서 (각 작업을 연결하는) 추적기를 시작해야 한다는 것입니다.

https://github.com/dmlc/xgboost/blob/master/jvm-packages/xgboost4j-spark/src/main/scala/ml/dmlc/xgboost4j/scala/spark/XGBoost.scala#L112 에서 관련 코드를 참조하십시오.

Rabit은 다른 분산 시스템에 내장되도록 설계되어 있기 때문에 파이썬 측에서 조정하는 것은 그리 어렵지 않을 것이라고 생각합니다.

Dask에서 다른 분산 시스템을 시작하는 것은 일반적으로 꽤 할 수 있습니다. 호스팅 분산 시스템(spark/flink/dask)에서 xg-boost로 데이터를 어떻게 이동합니까? 아니면 소규모 데이터에 대한 분산 교육을 위한 것입니까?

보다 구체적으로 다음과 같은 시스템을 구축할 예정입니다.

• 모든 dask worker에서 Rabit 서버를 시작합니다. Dask는 이러한 Rabit 서버에 서로를 찾을 수 있는 충분한 정보를 제공합니다.
• 현재 훈련 모델을 나타내는 모든 작업자에 대해 일부 로컬 XGBoost 상태를 생성합니다.
• 이 작업자별 개체 pandas 데이터 프레임 또는 numpy 배열을 반복적으로 공급합니다.
• 중지하라는 XGBoost의 신호를 듣습니다.

이것이 당신의 기대와 일치합니까? 관련 Python API를 알려주기 쉽습니까?

예, 여기에서 관련 정보를 참조하십시오. https://github.com/dmlc/xgboost/blob/master/tests/distributed/ for python API.

추가로 해야 할 일은 드라이버 측(dask를 구동하는 장소일 가능성이 있음)에서 토끼 추적기를 시작하는 것입니다. 이것은 https://github.com/dmlc/dmlc-core 의 dmlc-submit 스크립트에서 수행됩니다.

알겠습니다. 이전의 개요를 작성합니다.

XGBoost 코드를 실행하기 전에 Rabit 네트워크를 설정합니다.

드라이버/스케줄러 노드에서 토끼 추적기를 시작합니다.

envs = {'DMLC_NUM_WORKER' : nworker,
        'DMLC_NUM_SERVER' : nserver}

rabit = RabitTracker(hostIP=ip_address, nslave=num_workers)
envs.update(rabit.slave_envs())
rabit.start(args.num_workers)  # manages connections in background thread

PSTracker 를 시작하기 위해 비슷한 과정을 거칠 수도 있습니다. 이것은 동일한 중앙 집중식 시스템에 있어야 합니까 아니면 네트워크 내의 다른 곳에 있어야 합니까? 이 몇 가지가 있어야 합니까? 사용자가 구성할 수 있어야 합니까?

결국 내 트래커(및 pstrackers?)가 rabit 네트워크에 가입하고 차단하게 됩니다.

rabit.join()  # join network

작업자 노드에서 이러한 환경 변수(일반 dask 채널을 통해 이동함)를 로컬 환경으로 덤프해야 합니다. 그런 다음 xgboost.rabit.init() 를 호출하는 것으로 충분합니다.

import os
os.environ.update(envs)
xgboost.rabit.init()

Rabit 코드를 보면 환경 변수가 이 정보를 제공하는 유일한 방법인 것처럼 보입니다. 이것을 확인할 수 있습니까? 트래커 호스트/포트 정보를 직접 입력으로 제공하는 방법이 있습니까?

훈련

그런 다음 내 numpy 배열/pandas 데이터 프레임/scipy 희소 배열을 DMatrix 개체로 변환합니다. 이것은 비교적 간단해 보입니다. 그러나 작업자당 여러 데이터 배치가 있을 수 있습니다. 더 많은 데이터를 사용할 수 있게 되면 train을 여러 번 호출하는 깔끔한 방법이 있습니까? 다음 줄에 대한 의견이 걱정됩니다.

# Run training, all the features in training API is available.
# Currently, this script only support calling train once for fault recovery purpose.
bst = xgb.train(param, dtrain, num_round, watchlist, early_stopping_rounds=2)

훈련을 시작하기 전에 모든 데이터가 도착할 때까지 기다려야 합니까?

예시 데이터세트/문제

위의 모든 것이 정확하다고 가정하면 사람들이 데모에 사용하는 표준 분산 교육 예제가 있습니까?

pstracker를 시작할 필요가 없습니다.

• 트래커는 스케줄러(드라이버)와 같이 한 곳에서만 시작하면 되며 데이터가 많은 작업이 없으며 작업을 연결하는 역할만 합니다.
• env args는 rabit.init 에서 kwargs로 전달될 수 있습니다.
• 트리 부스팅은 일괄 처리 알고리즘이므로 훈련을 시작하기 전에 모든 데이터가 수집될 때까지 기다려야 합니다.
  
  
  
  • 그러나 각 작업자는 데이터의 샤드(행의 하위 집합)만 가져오면 됩니다.
  
  
  • 이상적으로는 데이터 반복 인터페이스를 사용하여 데이터를 미니 배치 방식으로 DMatrix에 전달해야 하므로 전체 데이터 세트가 메모리에 있을 필요가 없습니다.
  
  
  • 이것은 아직 파이썬 래퍼가 없는 https://github.com/dmlc/xgboost/blob/master/include/xgboost/c_api.h#L117 을 통해 수행됩니다.
  
  
  • 첫 번째 솔루션의 경우 어레이로 직접 전달하는 것이 좋습니다.
  
  

오늘 아침에 가지고 놀 시간이 좀 있었어요. 결과: https://github.com/mrocklin/dask-xgboost

지금까지는 단일 메모리 내 데이터 세트의 분산 학습만 처리합니다. 몇 가지 질문이 생겼습니다.

1. DMatrix 객체를 직렬화하고 전달하는 가장 좋은 방법은 무엇입니까?
2. Booster 결과를 직렬화하고 반환하는 가장 좋은 방법은 무엇입니까?
3. 위에 나열된 환경 변수는 rabit.init 의 인수에 어떻게 매핑됩니까? rabit.init 에 대한 예상 입력 형식은 정확히 무엇입니까? slave_envs() 의 결과를 rabit.init에 전달하면 목록이 필요하기 때문에 분명히 작동하지 않습니다. 각 키 이름을 --key 로 변환해야 합니까, 아마도 DMLC 접두사를 삭제하고 소문자로 변환해야 할까요?
4. 정확성을 테스트하는 좋은 방법이 있습니까? 두 부스터 개체를 어떻게 비교합니까? 분산 교육이 정확히 동일한 결과와 순차 교육을 생성할 것으로 기대해야 합니까?

• 일반적으로 DMatrix를 직렬화하지 않고 교육 시간 데이터 홀더와 비슷합니다. 데이터가 dask(배열/데이터 프레임)에 의해 전달되고 공유된 다음 xgboost에 전달된다고 가정합니다.
  
  
  
  • 데이터 반복자를 xgboost에 노출하여 메모리 내 배열을 통해 직접 전달하는 것보다 더 나은 방법으로 데이터를 전달할 수 있습니다.
  
  
• 양쪽에 xgboost가 설치되어 있으면 Booster를 피클할 수 있습니다.
• 일이 어떻게 전달되는지 자세히 설명하지 못해 죄송합니다.

rabit.init(['DMLC_KEY1=VALUE1', 'DMLC_KEY2=VALUE2']

• 일반적으로 분산 및 단일 머신에서 훈련된 부스터는 동일하지 않지만 몇 가지 확인해야 할 사항이 있습니다.
  
  
  
  • 모든 작업자로부터 반환된 부스터는 동일해야 합니다.
  
  
  • 예측 유효성 검사 오류를 찾으려면 단일 기계 케이스만큼 낮아야 합니다.
  
  

이것이 어떻게 사용되는지에 대한 일반적으로 두 가지 질문이 더 있습니다(저는 XGBoost에 대한 경험이 없고 기계 학습에 대한 약간의 경험만 있습니다. 제 무지를 용서해 주십시오).

1. 동일한 입력 데이터에 여러 작업자를 사용하는 것이 합리적입니까? (XGBoost는 계산적으로 제한되어 있습니까?)
2. 더 큰 데이터 세트에서 작업하는 경우 각 XGBoost 작업자에게 해당 데이터가 동료와 다르다는 것을 알리기 위해 특별한 조치를 취해야 합니까?

어떤 사용 사례가 더 일반적입니까?

각 작업은 데이터의 다른 파티션(행별)에서 작동해야 하며 동일한 입력 데이터를 보면 안 됩니다.

• 데이터가 충분히 크지 않은 경우 다중 스레드 버전은 다음을 수행해야 합니다.
• 각 작업은 파티션에서 별도로 통계를 수집하고 서로 동기화합니다.

이것은 일반적으로 spark/flink와 같은 프레임워크의 mapPartition 작업에 해당합니다.

내 데이터 세트에 8개의 행, 4개의 열이 있다고 가정해 보겠습니다. 두 명의 작업자를 시작하면

• 작업자 0은 행 0-3에서 읽습니다.
• 작업자 1은 행 4 -7에서 읽습니다.

좋아, 지금 거기 있는 것이 조금 더 깨끗해졌습니다. 각 작업자에서 생성된 결과를 소비할 수 있는 기능이 있으면 좋겠지만 지금은 이 문제를 해결했습니다. 현재 솔루션은 다음과 같습니다.

1. 클러스터에서 dask 어레이 또는 데이터 프레임을 유지하고 완료될 때까지 기다립니다.
2. 각 청크/파티션이 끝난 위치 찾기
3. 각 작업자에게 해당 청크/파티션을 정확히 연결하고 학습하도록 지시합니다.

이 솔루션은 관리 가능한 것처럼 보이지만 이상적이지는 않습니다. xgboost-python이 도착했을 때 결과를 받아들일 수 있다면 편리할 것입니다. 그러나 다음으로 해야 할 일은 실전에서 시도해 보는 것이라고 생각합니다.

예를 들어 인터넷에서 찾아보겠습니다. 누군가 내가 numpy 또는 pandas API로 쉽게 생성할 수 있는 인위적인 문제가 있는 경우 환영합니다. 그때까지 무작위 데이터가 있는 내 랩톱의 간단한 예는 다음과 같습니다.

In [1]: import dask.dataframe as dd

In [2]: df = dd.demo.make_timeseries('2000', '2001', {'x': float, 'y': float, 'z': int}, freq='1s', partition_freq=
   ...: '1D')  # some random time series data

In [3]: df.head()
Out[3]: 
                            x         y     z
2000-01-01 00:00:00  0.778864  0.824796   977
2000-01-01 00:00:01 -0.019888 -0.173454  1023
2000-01-01 00:00:02  0.552826  0.051995  1083
2000-01-01 00:00:03 -0.761811  0.780124   959
2000-01-01 00:00:04 -0.643525  0.679375   980

In [4]: labels = df.z > 1000

In [5]: del df['z']

In [6]: df.head()
Out[6]: 
                            x         y
2000-01-01 00:00:00  0.778864  0.824796
2000-01-01 00:00:01 -0.019888 -0.173454
2000-01-01 00:00:02  0.552826  0.051995
2000-01-01 00:00:03 -0.761811  0.780124
2000-01-01 00:00:04 -0.643525  0.679375

In [7]: labels.head()
Out[7]: 
2000-01-01 00:00:00    False
2000-01-01 00:00:01     True
2000-01-01 00:00:02     True
2000-01-01 00:00:03    False
2000-01-01 00:00:04    False
Name: z, dtype: bool

In [8]: from dask.distributed import Client

In [9]: c = Client()  # creates a local "cluster" on my laptop

In [10]: from dask_xgboost import train
/home/mrocklin/Software/anaconda/lib/python3.5/site-packages/sklearn/cross_validation.py:44: DeprecationWarning: This module was deprecated in version 0.18 in favor of the model_selection module into which all the refactored classes and functions are moved. Also note that the interface of the new CV iterators are different from that of this module. This module will be removed in 0.20.
  "This module will be removed in 0.20.", DeprecationWarning)

In [11]: param = {'max_depth': 2, 'eta': 1, 'silent': 1, 'objective': 'binary:logistic'}  # taken from example

In [12]: bst = train(c, param, df, labels)
/home/mrocklin/Software/anaconda/lib/python3.5/site-packages/sklearn/cross_validation.py:44: DeprecationWarning: This module was deprecated in version 0.18 in favor of the model_selection module into which all the refactored classes and functions are moved. Also note that the interface of the new CV iterators are different from that of this module. This module will be removed in 0.20.
  "This module will be removed in 0.20.", DeprecationWarning)
/home/mrocklin/Software/anaconda/lib/python3.5/site-packages/sklearn/cross_validation.py:44: DeprecationWarning: This module was deprecated in version 0.18 in favor of the model_selection module into which all the refactored classes and functions are moved. Also note that the interface of the new CV iterators are different from that of this module. This module will be removed in 0.20.
  "This module will be removed in 0.20.", DeprecationWarning)
/home/mrocklin/Software/anaconda/lib/python3.5/site-packages/sklearn/cross_validation.py:44: DeprecationWarning: This module was deprecated in version 0.18 in favor of the model_selection module into which all the refactored classes and functions are moved. Also note that the interface of the new CV iterators are different from that of this module. This module will be removed in 0.20.
  "This module will be removed in 0.20.", DeprecationWarning)
/home/mrocklin/Software/anaconda/lib/python3.5/site-packages/sklearn/cross_validation.py:44: DeprecationWarning: This module was deprecated in version 0.18 in favor of the model_selection module into which all the refactored classes and functions are moved. Also note that the interface of the new CV iterators are different from that of this module. This module will be removed in 0.20.
  "This module will be removed in 0.20.", DeprecationWarning)
[14:46:20] Tree method is automatically selected to be 'approx' for faster speed. to use old behavior(exact greedy algorithm on single machine), set tree_method to 'exact'
[14:46:20] Tree method is automatically selected to be 'approx' for faster speed. to use old behavior(exact greedy algorithm on single machine), set tree_method to 'exact'
[14:46:20] Tree method is automatically selected to be 'approx' for faster speed. to use old behavior(exact greedy algorithm on single machine), set tree_method to 'exact'
[14:46:20] Tree method is automatically selected to be 'approx' for faster speed. to use old behavior(exact greedy algorithm on single machine), set tree_method to 'exact'

In [13]: bst
Out[13]: <xgboost.core.Booster at 0x7fbaacfd17b8>

누구든지 살펴보고 싶다면 관련 코드가 있습니다: https://github.com/mrocklin/dask-xgboost/blob/master/dask_xgboost/core.py

내가 말했듯이, 나는 XGBoost를 처음 사용하기 때문에 아마도 놓친 부분이 있을 것입니다.

시도할 일반적인 장난감 예는 https://github.com/dmlc/xgboost/tree/master/demo/data 에 있습니다.
libsvm 형식이며 numpy로 가져오려면 약간의 구문 분석이 필요합니다.

더 큰 것이 있습니까(실제로 클러스터가 필요한 경우)? 아니면 임의의 크기의 데이터 세트를 생성하는 표준 방법이 있습니까?

또는 아마도 더 나은 질문은 "당신(또는 이 호를 읽는 다른 사람)이 여기서 보고 싶은 것은 무엇입니까?"입니다.

지금 건물 예측. 모델을 작업자로 다시 이동하고(피클/피클 해제 프로세스를 통해) 일부 데이터에 대해 bst.predict 를 호출하면 다음 오류가 발생합니다.

Doing rabit call after Finalize

내 가정은 이 시점에서 모델이 독립적이며 더 이상 rabit를 사용할 필요가 없다는 것입니다. 클라이언트 컴퓨터에서 잘 작동하는 것 같습니다. predict 를 호출할 때 이 오류가 표시되는 이유는 무엇입니까?

예측의 일부는 여전히 rabit를 사용합니다. 주로 예측자가 학습과 공유되는 일부 초기화 루틴과 함께 학습자를 계속 사용하기 때문입니다. 결국 이것은 수정되어야 하지만 현재로서는 그렇습니다.

공통 데이터 세트에 대해 잘 작동하는 한 흥미로운 출발점이라고 생각합니다.

어쨌든 중간 데이터에 클러스터를 사용해야 하는 이유가 있습니다(클러스터 환경에서 스케줄링이 용이함). 일부 pyspark 사용자는 우리가 조금 광고하면 시도해 볼 수 있습니다.

실제로 중요한 데이터 세트를 테스트하는 것은 어려웠습니다(예: 10억 개의 행이 있는 1개의 데이터 세트 시도). Kaggle은 관련성이 있을 수 있는 약 천만 개의 큰 데이터 세트일 수 있습니다.

이 리포지토리 는 수천만 개의 행과 수천만 개의 열(원 핫 인코딩 후 수천?)에 있는 항공사 데이터 세트에 대한 실험을 보여줍니다. 벤치마크의 경우 100k 행의 샘플을 가져 와서 인위적으로 생성한 것처럼 보입니다. 이 샘플의 더 큰 데이터 세트. 필요한 경우 이를 확장할 수 있을 것입니다.

다음은 단일 코어에서 pandas 및 xgboost와 함께 이 데이터를 사용하는 예입니다. 데이터 준비, 매개변수 또는 이를 올바르게 수행하는 방법에 대한 모든 권장 사항을 환영합니다.

In [1]: import pandas as pd

In [2]: df = pd.read_csv('train-0.1m.csv')

In [3]: df.head()
Out[3]: 
  Month DayofMonth DayOfWeek  DepTime UniqueCarrier Origin Dest  Distance  \
0   c-8       c-21       c-7     1934            AA    ATL  DFW       732   
1   c-4       c-20       c-3     1548            US    PIT  MCO       834   
2   c-9        c-2       c-5     1422            XE    RDU  CLE       416   
3  c-11       c-25       c-6     1015            OO    DEN  MEM       872   
4  c-10        c-7       c-6     1828            WN    MDW  OMA       423   

  dep_delayed_15min  
0                 N  
1                 N  
2                 N  
3                 N  
4                 Y  

In [4]: labels = df.dep_delayed_15min == 'Y'

In [5]: del df['dep_delayed_15min']

In [6]: df = pd.get_dummies(df)

In [7]: len(df.columns)
Out[7]: 652

In [8]: import xgboost as xgb
/home/mrocklin/Software/anaconda/lib/python3.5/site-packages/sklearn/cross_validation.py:44: DeprecationWarning: This module was deprecated in version 0.18 in favor of the model_selection module into which all the refactored classes and functions are moved. Also note that the interface of the new CV iterators are different from that of this module. This module will be removed in 0.20.
  "This module will be removed in 0.20.", DeprecationWarning)

In [9]: dtrain = xgb.DMatrix(df, label=labels)

In [10]: param = {}  # Are there better choices for parameters?  I could use help here

In [11]: bst = xgb.train(param, dtrain)  # or other parameters here?
[17:50:28] src/tree/updater_prune.cc:74: tree pruning end, 1 roots, 124 extra nodes, 0 pruned nodes, max_depth=6
[17:50:30] src/tree/updater_prune.cc:74: tree pruning end, 1 roots, 120 extra nodes, 0 pruned nodes, max_depth=6
[17:50:32] src/tree/updater_prune.cc:74: tree pruning end, 1 roots, 120 extra nodes, 0 pruned nodes, max_depth=6
[17:50:33] src/tree/updater_prune.cc:74: tree pruning end, 1 roots, 116 extra nodes, 0 pruned nodes, max_depth=6
[17:50:35] src/tree/updater_prune.cc:74: tree pruning end, 1 roots, 112 extra nodes, 0 pruned nodes, max_depth=6
[17:50:36] src/tree/updater_prune.cc:74: tree pruning end, 1 roots, 114 extra nodes, 0 pruned nodes, max_depth=6
[17:50:38] src/tree/updater_prune.cc:74: tree pruning end, 1 roots, 106 extra nodes, 0 pruned nodes, max_depth=6
[17:50:39] src/tree/updater_prune.cc:74: tree pruning end, 1 roots, 116 extra nodes, 0 pruned nodes, max_depth=6
[17:50:41] src/tree/updater_prune.cc:74: tree pruning end, 1 roots, 104 extra nodes, 0 pruned nodes, max_depth=6
[17:50:43] src/tree/updater_prune.cc:74: tree pruning end, 1 roots, 100 extra nodes, 0 pruned nodes, max_depth=6

In [12]: test = pd.read_csv('test.csv')

In [13]: test.head()
Out[13]: 
  Month DayofMonth DayOfWeek  DepTime UniqueCarrier Origin Dest  Distance  \
0   c-7       c-25       c-3      615            YV    MRY  PHX       598   
1   c-4       c-17       c-2      739            WN    LAS  HOU      1235   
2  c-12        c-2       c-7      651            MQ    GSP  ORD       577   
3   c-3       c-25       c-7     1614            WN    BWI  MHT       377   
4   c-6        c-6       c-3     1505            UA    ORD  STL       258   

  dep_delayed_15min  
0                 N  
1                 N  
2                 N  
3                 N  
4                 Y  

In [14]: test_labels = test.dep_delayed_15min == 'Y'

In [16]: del test['dep_delayed_15min']

In [17]: test = pd.get_dummies(test)

In [18]: len(test.columns)  # oops, looks like the columns don't match up
Out[18]: 670

In [19]: dtest = xgb.DMatrix(test)

In [20]: predictions = bst.predict(dtest)  # this fails because of mismatched columns

어쨌든 여기에 옵션이 있습니다. 항공사 데이터 세트는 잘 알려진 것처럼 보이며 실제로는 불편할 정도로 커질 수 있습니다. 다시 말하지만 기계 학습은 내 전문이 아니므로 이것이 적절한지 아닌지 모르겠습니다.

cc @TomAugspurger , 이에 대해 생각하고 있는 사람처럼 보입니다.

Dask 및 예측에 관해서는 항상 래빗을 다시 설정할 수 있습니다. 이것은 게으른 상태를 유지하는 대신 평가를 강제하기 때문에 약간 부정확하게 느껴집니다. 그러나 이것은 사용하기에 심각한 차단기가 아닙니다.

예측에 몇 가지 문제가 있습니다. 두 가지 질문:

1. 동일한 래빗 세션 내에서 Booster.predict 를 여러 번 호출할 수 있습니까?
2. 별도의 스레드에서 rabit.init , Booster.predict 및 rabit.finalize 를 호출할 수 있습니까?

현재 새 추적기를 만들고 작업자의 기본 스레드에서 rabit.init 를 호출합니다. 이것은 잘 작동합니다. 그러나 작업자 스레드에서 Booster.predict 를 호출하면(각 dask 작업자는 계산을 위해 스레드 풀을 유지합니다) Doing rabit call after Finalize 와 같은 오류가 발생합니다. 추천 사항이 있습니까?

예측의 일부는 여전히 rabit를 사용합니다. 주로 예측자가 학습과 공유되는 일부 초기화 루틴과 함께 학습자를 계속 사용하기 때문입니다. 결국 이것은 수정되어야 하지만 현재로서는 그렇습니다.

나는 이것이 궁금하다. 훈련된 모델을 작업자에서 내 클라이언트 컴퓨터로 직렬화-전송-역직렬화한 후에는 래빗 네트워크가 없더라도 일반 데이터에서 제대로 작동하는 것 같습니다. Rabit으로 훈련된 모델을 사용하여 Rabit 없이 데이터를 예측할 수 있는 것 같습니다. 이것은 생산에서도 필요할 것 같습니다. 여기에서 래빗 훈련된 모델을 사용하는 제약 조건에 대해 더 말할 수 있습니까?

예시 데이터세트/문제
위의 모든 것이 정확하다고 가정하면 사람들이 데모에 사용하는 표준 분산 교육 예제가 있습니까?

이 실험의 결과를 재현하는 것이 좋습니다.

https://github.com/Microsoft/LightGBM/wiki/Experiments#parallel -실험

XGBoost(#1950)의 새로운 binning + fast hist 옵션을 사용하면 비슷한 결과를 얻을 수 있습니다.

시도할 일반적인 장난감 예는 https://github.com/dmlc/xgboost/tree/master/demo/data 에 있습니다.
libsvm 형식이며 numpy로 가져오려면 약간의 구문 분석이 필요합니다.

sklearn에서 이 PR에 관심이 있을 수 있습니다. https://github.com/scikit-learn/scikit-learn/pull/935

@mrocklin 모델 재사용에 제약이 없습니다. 따라서 분산 버전에서 훈련된 모델은 직렬 버전에서 사용할 수 있습니다. 현재 예측기의 한계(rabit로 컴파일할 때)가 훈련 함수와 혼합된 기능을 가지고 있다는 것입니다(그래서 rabit 호출이 발생했습니다).

이제 말씀하신 대로 문제에 대한 해결책이 있을 수 있다고 생각합니다. 단순히 rabit.init (아무것도 전달하지 않고 예측자가 이것이 유일한 작업자라고 생각하게 함)를 수행하면 예측이 문제를 해결해야 합니다.

네. 실제로 그것은 문제를 해결합니다. dask-xgboost는 이제 예측을 지원합니다: https://github.com/mrocklin/dask-xgboost/commit/827a03d96977cda8d104899c9f42f52dac446165

@tqchen 해결 방법에 감사드립니다!

다음은 로컬 랩톱에 있는 Airlines 데이터 세트의 작은 샘플에서 dask.dataframe 및 xgboost를 사용하는 워크플로입니다. 모두에게 괜찮아 보이나요? 여기에 누락된 XGBoost의 API 요소가 있습니까?

In [1]: import dask.dataframe as dd

In [2]: import dask_xgboost as dxgb

In [3]: df = dd.read_csv('train-0.1m.csv')

In [4]: df.head()
Out[4]: 
  Month DayofMonth DayOfWeek  DepTime UniqueCarrier Origin Dest  Distance  \
0   c-8       c-21       c-7     1934            AA    ATL  DFW       732   
1   c-4       c-20       c-3     1548            US    PIT  MCO       834   
2   c-9        c-2       c-5     1422            XE    RDU  CLE       416   
3  c-11       c-25       c-6     1015            OO    DEN  MEM       872   
4  c-10        c-7       c-6     1828            WN    MDW  OMA       423   

  dep_delayed_15min  
0                 N  
1                 N  
2                 N  
3                 N  
4                 Y  

In [5]: labels = df.dep_delayed_15min == 'Y'

In [6]: del df['dep_delayed_15min']

In [7]: df = df.categorize()

In [8]: df = dd.get_dummies(df)

In [9]: data_train, data_test = df.random_split([0.9, 0.1], random_state=123)

In [10]: labels_train, labels_test = labels.random_split([0.9, 0.1], random_state=123)

In [11]: from dask.distributed import Client

In [12]: client = Client()  # in a large-data situation I probably should have done this before calling categorize above (which requires computation)

In [13]: param = {}  # Are there better choices for parameters?

In [14]: bst = dxgb.train(client, {}, data_train, labels_train)
[14:00:46] src/tree/updater_prune.cc:74: tree pruning end, 1 roots, 120 extra nodes, 0 pruned nodes, max_depth=6
[14:00:48] src/tree/updater_prune.cc:74: tree pruning end, 1 roots, 120 extra nodes, 0 pruned nodes, max_depth=6
[14:00:50] src/tree/updater_prune.cc:74: tree pruning end, 1 roots, 122 extra nodes, 0 pruned nodes, max_depth=6
[14:00:53] src/tree/updater_prune.cc:74: tree pruning end, 1 roots, 118 extra nodes, 0 pruned nodes, max_depth=6
[14:00:55] src/tree/updater_prune.cc:74: tree pruning end, 1 roots, 120 extra nodes, 0 pruned nodes, max_depth=6
[14:00:57] src/tree/updater_prune.cc:74: tree pruning end, 1 roots, 114 extra nodes, 0 pruned nodes, max_depth=6
[14:00:59] src/tree/updater_prune.cc:74: tree pruning end, 1 roots, 118 extra nodes, 0 pruned nodes, max_depth=6
[14:01:01] src/tree/updater_prune.cc:74: tree pruning end, 1 roots, 118 extra nodes, 0 pruned nodes, max_depth=6
[14:01:04] src/tree/updater_prune.cc:74: tree pruning end, 1 roots, 94 extra nodes, 0 pruned nodes, max_depth=6
[14:01:06] src/tree/updater_prune.cc:74: tree pruning end, 1 roots, 102 extra nodes, 0 pruned nodes, max_depth=6

In [15]: bst
Out[15]: <xgboost.core.Booster at 0x7f689803af60>

In [16]: predictions = dxgb.predict(client, bst, data_test)

In [17]: predictions
Out[17]: 
Dask Series Structure:
npartitions=1
None    float32
None        ...
Name: predictions, dtype: float32
Dask Name: _predict_part, 9 tasks

제 단기 목표는 이에 대한 짧은 블로그 게시물을 작성하여 XGBoost에 대한 더 많은 경험과 더 많은 시간을 가진 다른 누군가가 이 프로젝트를 채택하고 추진할 수 있도록 하는 것입니다. (저도 여기 있는 다른 모든 사람들과 마찬가지로 이와 같은 몇 가지 다른 프로젝트를 동시에 진행하고 있습니다.)

나는 이미 S3 버킷에 저장되어 있기 때문에 Airlines 데이터 세트에 부분적입니다. Criteo 데이터 세트가 규모에 따라 더 나은 데모를 제공할 것이라는 점에는 동의합니다.

어떤 매개변수를 사용해야 하는지 또는 결과를 어떻게 판단해야 하는지 아직 잘 모르겠습니다. 매개변수의 경우 여기 에서 @szilard 의 실험을 사용할 수 있습니다. 예측을 판단하는 좋은 방법이 있습니까? 예를 들어 labels_test 와 일치하는 predictions > 0.5 를 찾고 있습니까?

아마도 이진 분류(특히 연구 또는 경쟁 설정에서)에 대한 예측 성능을 평가하는 가장 일반적인 방법은 ROC 곡선 아래 영역(AUC)을 사용하는 것이지만 실제 응용 프로그램에서는 "비즈니스" 값과 일치하는 메트릭을 사용해야 합니다. 모델을 사용하여 제작합니다.

예를 들어 label_test와 일치하도록 0.5보다 큰 예측을 찾고 있습니까?

네. 테스트 세트에서 그 평균을 취하면 이것이 테스트 정확도입니다. 그러나 데이터세트가 불균형할 가능성이 있습니다(클릭보다 클릭이 없는 경우가 훨씬 많음). 이 경우 ROC AUC 점수가 더 나은 지표입니다.

from sklearn.metrics import roc_auc_score
print(roc_auc_score(labels_test, predictions))

predictions 가 테스트 세트의 각 행에 대해 모델에 의해 추정된 양의 확률의 1D 배열이라고 가정합니다.

@mrocklin 한 가지 후속 질문은 dask가 다중 스레드 작업자 작업을 허용합니까? 나는 이것이 GIL로 인해 파이썬과 그다지 관련이 없다는 것을 알고 있습니다. 그러나 xgboost는 작업자당 다중 스레드 교육을 허용하면서 여전히 서로 분산적으로 조정할 수 있습니다. 항상 xgboost의 nthread 인수를 해당 작업자의 작업 코어 수로 설정해야 합니다.

짧은 대답은 "예"입니다. Dask의 대부분은 NumPy, Pandas, SKLearn 및 Python으로 래핑된 C 및 Fortran 코드에 불과한 기타 프로젝트와 함께 사용됩니다. GIL은 이러한 라이브러리에 영향을 미치지 않습니다. 어떤 사람들은 PySpark RDD( dask.bag 참조)와 유사한 응용 프로그램에 Dask를 사용하고 영향을 받을 것입니다. 이 그룹은 소수에 속합니다.

예, Dask는 다중 스레드 작업을 허용합니다. 다중 스레드를 사용하도록 XGBoost에 어떻게 지시합니까? 지금까지의 실험에서 매개변수를 변경하지 않고도 높은 CPU 사용률을 확인했는데 기본적으로 모든 것이 잘 작동할까요?

XGBoost는 기본적으로 다중 스레드를 사용하며 nthread가 설정되지 않은 경우 머신(해당 작업자 대신)에서 사용 가능한 모든 CPU 스레드를 사용합니다. 이것은 여러 작업자가 동일한 시스템에 할당될 때 경쟁 조건을 생성할 수 있습니다.

따라서 항상 nthread 매개변수를 작업자가 사용할 수 있는 최대 코어 수로 설정하는 것이 좋습니다. 일반적으로 작업자당 4개의 스레드를 사용하는 것이 좋습니다.

물론,
https://github.com/mrocklin/dask-xgboost/commit/c22d066b67c78710d5ad99b8620edc55182adc8f

2017년 2월 20일 월요일 오후 6시 31분, Tianqi Chen 알림 @github.com
썼다:

XGBoost는 기본적으로 다중 스레드를 사용하며 사용 가능한 모든 CPU를 사용합니다.
nthread가 설정되지 않은 경우 머신의 스레드(해당 작업자 대신).
여러 작업자가 동일한 작업에 할당될 때 경쟁 조건이 생성될 수 있습니다.
기계.

따라서 항상 nthread 매개변수를 최대 개수로 설정하는 것이 좋습니다.
작업자가 사용할 수 있는 코어. 일반적으로 좋은 습관은 say 주위에 사용하는 것입니다.
작업자당 스레드 4개

—
당신이 언급되었기 때문에 이것을 받는 것입니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/dmlc/xgboost/issues/2032#issuecomment-281205747 또는 음소거
스레드
https://github.com/notifications/unsubscribe-auth/AASszPELRoeIvqEzyJhkKumIs-vd0PHiks5reiJngaJpZM4L_PXa
.

노트북: https://gist.github.com/19c89d78e34437e061876a9872f4d2df
짧은 스크린캐스트(6분): https://youtu.be/Cc4E-PdDSro

비판적 피드백은 매우 환영합니다. 다시 한 번 이 분야에 대한 저의 무지를 용서해 주십시오.

@mrocklin 멋진 데모! param dict에서 'tree_method': 'hist', 'grow_policy': 'lossguide' 를 사용하면 런타임 성능(및 메모리 사용량)이 크게 향상될 수 있다고 생각합니다.

@ogrisel님 감사합니다. 이러한 매개변수를 사용하면 교육 시간이 6분에서 1분으로 늘어납니다. 메모리 사용량은 거의 동일하게 유지되는 것 같습니다.

좋아, 이것으로 돌아오자. 우리가 구현해야 할 기차 및 예측 이외의 XGBoost 작업이 있습니까?

@tqchen 또는 @ogrisel 중 한 명이 https://github.com/mrocklin/dask-xgboost/blob/master/dask_xgboost/core.py 에서 구현을 살펴볼 시간이 있다면 감사하겠습니다. 외국 코드베이스를 살펴보는 것이 우선순위 목록에서 항상 높은 것은 아니라는 것을 이해합니다.

모든 것이 정상이면 README에 조금 더 추가하고 PyPI에 게시하면 이 문제를 종료할 수 있습니다.

나는 훈련하고 예측하는 것만이 배포되어야 한다고 생각합니다. 다른 것들은 데이터셋에 응답하지 않기 때문에 배포할 필요가 없습니다.

dask-xgboost를 PyPI로 푸시하고 https://github.com/dask/dask-xgboost 로 옮겼습니다.

도움을 주신 @tqchen 과 @ogrisel 에게 감사드립니다. 협업을 통해 이를 비교적 쉽게 수행할 수 있었습니다.

벤치마크를 실행하려는 사람들에게 도움이 되었으면 합니다. 그 전까지는 닫습니다.