Xgboost: [चर्चा] PySpark के साथ एकीकरण

@CodingCat क्या आप जानते हैं कि PySpark समुदाय कितना बड़ा है? ज्यादातर लोग सिर्फ स्कैला एपीआई का इस्तेमाल करते हैं। ऐसा लगता है कि पायथन में बहुत सी चीजों को फिर से लागू करने की जरूरत है - अगर मैं गलत हूं तो कृपया मुझे सुधारें।

मुझे लगता है कि डेटा वैज्ञानिकों के समुदाय में पाइस्पार्क काफी प्रचलित है, इसका मतलब है कि त्वरित प्रोटोटाइप आदि के परिदृश्य में। मैंने कई मामलों के बारे में सुना है कि डेटा वैज्ञानिक बड़ी मात्रा में डेटा का विश्लेषण करने के लिए pySpark का उपयोग करते हैं।

दूसरी ओर, अधिकांश उत्पादन-स्तर परिदृश्य स्काला एपीआई पर आधारित होते हैं (मुझे केवल एक ही मामला पता है कि लोग बड़े पैमाने पर उत्पादन में पायस्पार्क का उपयोग कर रहे हैं)

हाँ, मुझे ऐसा लगता है कि वर्तमान पायथन एपीआई अधिकांश प्रोटोटाइप जरूरतों को संभालने में सक्षम होना चाहिए। जब हम अधिक उत्पादन-तैयार सामान चाहते हैं तो मैं व्यक्तिगत रूप से स्पार्क के बारे में अधिक परवाह करता हूं। शायद हमें चर्चा यहीं छोड़ देनी चाहिए ताकि लोग अपनी जरूरतों पर चर्चा कर सकें। इस बीच, यह बहुत अच्छा होगा यदि आप एकीकरण के दृष्टिकोण/अनुमान/चरणों पर कुछ विवरण प्रदान कर सकें।

समुदाय में अभी कुछ चर्चाएं देखीं

http://apache-spark-developers-list.1001551.n3.nabble.com/Blocked-PySpark-changes-td19712.html

ऐसा लगता है कि PySpark के विकास के पीछे है ... नीचे की ओर पुस्तकालय, मैं वोट के रूप में लगता है hold on PySpark एकीकरण के लिए समर्पित करने का .....

हाँ, आपके द्वारा सामना की गई किसी भी समस्या में डीबग करना भी कठिन है (कम से कम जब मैं इसे पिछले साल कोशिश कर रहा था) ...

रोडमैप (#873) में, इसने कहा कि डिस्ट्रिब्यूटेड पाइथॉन को लागू किया गया है। क्या इसका मतलब यह है कि xgboost अजगर के साथ एक हडूप क्लस्टर पर चल सकता है? (मेरा मतलब पाइस्पार्क नहीं है)

हाँ, लिंक में पोस्ट किया गया उदाहरण देखें

स्कैला एपीआई के साथ हडूप क्लस्टर पर चल रहे xgboost बनाम अजगर के साथ हडूप क्लस्टर पर xgboost चलाने का क्या अंतर है? क्या प्रमुख प्रदर्शन अंतर हैं?
मुझे लगता है कि अभी भी बहुत से लोग उत्पादन मॉडल के लिए pyspark का उपयोग कर रहे हैं।

@yiming-chen xgboost4j-spark का लक्ष्य एक ही पाइपलाइन में ETL और मॉडल प्रशिक्षण को एकीकृत करना है

प्रश्न नीचे आता है कि ईटीएल करते समय उपयोगकर्ता किस भाषा का उपयोग करते हैं? मेरे अवलोकन और अनुभव के आधार पर, 95% उपयोगकर्ता स्केल के साथ अपना ईटीएल सिस्टम बना रहे हैं

@CodingCat मुझे नहीं पता कि आपको अपना 95% स्टेट कहाँ से मिला है, लेकिन मेरे अनुभव में निश्चित रूप से PySpark का व्यापक रूप से उपयोग किया जाता है। उदाहरण के लिए, हम अपनी पाइपलाइन के लिए कार्य शेड्यूल करने के लिए एयरफ्लो को एकीकृत करने का प्रयास कर रहे हैं और उस स्थिति में पायथन उपयुक्त होगा।

@berch PySpark आपके द्वारा व्यापक रूप से उपयोग किया जाता है और आप एयरफ्लो के साथ एकीकृत होने जा रहे हैं ... क्या यह मेरे द्वारा कही गई बातों से प्रासंगिक है?

@CodingCat @tqchen डेटा साइंस समुदाय निश्चित रूप से PySpark में XGboost को लागू करने से लाभान्वित होगा, क्योंकि:

• सामान्य तौर पर, मार्च 2017 तक पायथन #3 भाषा है, जिसकी लोकप्रियता 10.2% है (स्कैला के लिए 1.8% बनाम)
  http://redmonk.com/sogrady/2017/03/17/language-rankings-1-17/
  https://jobsquery.it/stats/language/group;
• प्रदर्शन के मामले में पाइस्पार्क बनाम स्कैला, मुझे लगता है, इससे कोई फर्क नहीं पड़ता क्योंकि स्पार्क के लिए हुड के नीचे यह लगभग सभी स्कैला है, है ना?
• मुझे पता है, कम से कम, 3 एआई स्टार्टअप जो उत्पादन के लिए पायस्पार्क का उपयोग करते हैं और, आमतौर पर, पायथन डेटा वैज्ञानिकों के लिए और नौकरी बाजार में मांग में अधिक लोकप्रिय है (
  http://r4stats.com/articles/popularity/)
  मेरा निष्कर्ष: PySpark में लागू XGboost का अन्य सभी कार्यान्वयनों के बीच DataScience के लिए सबसे बड़ा प्रभाव होगा।
  (PS एक बार स्थिर होने पर, सुनिश्चित करें, Cloudera इसे लागू करता है)

पीआर भेजने के लिए स्वतंत्र महसूस करें, आपको लागत मिल जाएगी

बार-बार थ्रेड पर वापस आने से बचने के लिए, मैं इस निष्कर्ष के साथ चर्चा को समाप्त करूंगा कि

• मैं व्यक्तिगत रूप से PySpark को एकीकृत करने के इस प्रयास को जारी रखने के लिए वोट नहीं दूंगा (अभी के लिए)

• इस पर योगदान करने के लिए किसी और का स्वागत है, हालांकि, हमें कम से कम निम्नलिखित बातों पर विचार करने की आवश्यकता है:

  • एक और पायथन पैकेज पेश न करें

  • एकीकरण लागू करते समय वर्तमान पायथन एपीआई के लिए पिछड़ा संगतता

  • pyspark के ML . की सुविधाओं के पीछे पिछड़ने को संभालें

तो हम XGBoost-spark मॉडल को लोड करने के लिए pyspark का उपयोग नहीं कर सकते हैं? @ कोडिंग कैट

इसलिए, वास्तव में स्कैला XGBoost को PySpark JavaEstimator API में कम दर्द से लपेटा जा सकता है। मैंने थोड़ा खेला और ऐसा प्रोटोटाइप है:

from pyspark.ml.wrapper import JavaEstimator, JavaModel
from pyspark.ml.param.shared import *
from pyspark.ml.util import *
from pyspark.context import SparkContext

class XGBoost(JavaEstimator, JavaMLWritable, JavaMLReadable, HasRegParam, HasElasticNetParam):

    def __init__(self, paramMap = {}):
        super(XGBoost, self).__init__()
        scalaMap = SparkContext._active_spark_context._jvm.PythonUtils.toScalaMap(paramMap)
        self._java_obj = self._new_java_obj(
            "ml.dmlc.xgboost4j.scala.spark.XGBoostEstimator", self.uid, scalaMap)
        self._defaultParamMap = paramMap
        self._paramMap = paramMap

    def setParams(self, paramMap = {}):
        return self._set(paramMap)

    def _create_model(self, javaTrainingData):
        return JavaModel(javaTrainingData)

मुझे लगता है कि इसे अभी भी कुछ काम की जरूरत है लेकिन मैं इसके साथ PySpark में Xgboost चलाने में सक्षम था।

Wieslaw XGBoost PySpark रैपर पर कोड स्निपेट साझा करने के लिए धन्यवाद। क्या आप उचित मापदंडों के साथ XGBoost वर्ग को लागू करने पर कोड साझा कर सकते हैं?

धन्यवाद

@wpopielarski यह एक शानदार काम है जो आपने किया। क्या आप कृपया आवश्यक मापदंडों के साथ XGBoost को लागू करने पर कोड साझा कर सकते हैं? यह एक बड़ी मदद होगी!

यह कुछ इस प्रकार है:

        from app.xgboost import XGBoost
        xgboost_params = {
            "eta"  : 0.023,
            "max_depth" : 10,
            "min_child_weight" : 0.3,
            "subsample" : 0.7,
            "colsample_bytree" : 0.82,
            "colsample_bylevel" : 0.9,
            "base_score" : base_score,
            "eval_metric" : "auc",
            "seed" : 49,
            "silent" : 1,
            "objective" : "binary:logistic",
            "round" : 10,
            "nWorkers" : 2,
            "useExternalMemory" : True
        }
        xgboost_estimator = XGBoost.XGBoost(xgboost_params)
...
        model = xgboost_estimator.fit(data)

मैं उचित पायस्पार्क समर्थन के साथ पीआर करने के करीब पहुंच रहा हूं।

@thesuperzapper , यह बहुत अच्छा है!

आपको क्या लगता है कि इसे पूरा करने में कितना समय लगेगा? प्रगति करते समय अंतर्दृष्टि साझा करें।

धन्यवाद!

नमस्ते, मैं ParamGridBuilder साथ एक सरल संस्करण लिखता हूं, यदि कोई दिलचस्पी लेता है, तो इसे अनुकूलित करना वास्तव में आसान है।

• 1 किसी भी मान्य PYTHONPATH dir में एक पैकेज dir mkdir -p ml/dmlc/xgboost4j/scala बनाएं।
• 2 नीचे दिए गए कोड को ml/dmlc/xgboost4j/scala/spark.py कॉपी करें

from pyspark.ml.classification import JavaClassificationModel, JavaMLWritable, JavaMLReadable, TypeConverters, Param, \
    Params, HasFeaturesCol, HasLabelCol, HasPredictionCol, HasRawPredictionCol, SparkContext
from pyspark.ml.wrapper import JavaModel, JavaWrapper, JavaEstimator


class XGBParams(Params):
    '''

    '''
    eta = Param(Params._dummy(), "eta",
                "step size shrinkage used in update to prevents overfitting. After each boosting step, we can directly get the weights of new features. and eta actually shrinks the feature weights to make the boosting process more conservative",
                typeConverter=TypeConverters.toFloat)
    max_depth = Param(Params._dummy(), "max_depth",
                      "maximum depth of a tree, increase this value will make the model more complex / likely to be overfitting. 0 indicates no limit, limit is required for depth-wise grow policy.range: [0,∞]",
                      typeConverter=TypeConverters.toInt)
    min_child_weight = Param(Params._dummy(), "min_child_weight",
                             "minimum sum of instance weight (hessian) needed in a child. If the tree partition step results in a leaf node with the sum of instance weight less than min_child_weight, then the building process will give up further partitioning. In linear regression mode, this simply corresponds to minimum number of instances needed to be in each node. The larger, the more conservative the algorithm will berange: [0,∞]",
                             typeConverter=TypeConverters.toFloat)
    max_delta_step = Param(Params._dummy(), "max_delta_step",
                           "Maximum delta step we allow each tree’s weight estimation to be. If the value is set to 0, it means there is no constraint. If it is set to a positive value, it can help making the update step more conservative. Usually this parameter is not needed, but it might help in logistic regression when class is extremely imbalanced. Set it to value of 1-10 might help control the update.",
                           typeConverter=TypeConverters.toInt)
    subsample = Param(Params._dummy(), "subsample",
                      "subsample ratio of the training instance. Setting it to 0.5 means that XGBoost randomly collected half of the data instances to grow trees and this will prevent overfitting.",
                      typeConverter=TypeConverters.toFloat)
    colsample_bytree = Param(Params._dummy(), "colsample_bytree",
                             "subsample ratio of columns when constructing each tree",
                             typeConverter=TypeConverters.toFloat)
    colsample_bylevel = Param(Params._dummy(), "colsample_bylevel",
                              "subsample ratio of columns for each split, in each level.",
                              typeConverter=TypeConverters.toFloat)
    max_leaves = Param(Params._dummy(), "max_leaves",
                       "Maximum number of nodes to be added. Only relevant for the ‘lossguide’ grow policy.",
                       typeConverter=TypeConverters.toInt)

    def __init__(self):
        super(XGBParams, self).__init__()

class XGBoostClassifier(JavaEstimator, JavaMLWritable, JavaMLReadable, XGBParams,
                        HasFeaturesCol, HasLabelCol, HasPredictionCol, HasRawPredictionCol):
    def __init__(self, paramMap={}):
        super(XGBoostClassifier, self).__init__()
        scalaMap = SparkContext._active_spark_context._jvm.PythonUtils.toScalaMap(paramMap)
        self._java_obj = self._new_java_obj("ml.dmlc.xgboost4j.scala.spark.XGBoostEstimator", self.uid, scalaMap)
        self._defaultParamMap = paramMap
        self._paramMap = paramMap

    def setParams(self, paramMap={}):
        return self._set(paramMap)

    def _create_model(self, java_model):
        return XGBoostClassificationModel(java_model)


class XGBoostClassificationModel(JavaModel, JavaClassificationModel, JavaMLWritable, JavaMLReadable):

    def getBooster(self):
        return self._call_java("booster")

    def saveBooster(self, save_path):
        jxgb = JavaWrapper(self.getBooster())
        jxgb._call_java("saveModel", save_path)

• 3 इसे एक सामान्य pyspark मॉडल के रूप में खेलें!

@AakashBasuRZT @haiy , अब हम अंक #3370 में इस पर ठीक से काम कर रहे हैं, जिसमें पीआर #3376 प्रारंभिक सहायता प्रदान कर रहा है।

@haiy क्या आप मुझे कोड का एक स्निपेट दिखा सकते हैं जो कुछ आर्बिटरी डेटासेट पर क्लासिफायरियर फिट बैठता है? मैंने बिंदु 1 और 2 का अनुसरण किया है जिसे आपने रेखांकित किया है, लेकिन मैं आपका तीसरा बिंदु नहीं समझ पा रहा हूं।

@sagnik-rzt इस नमूने की जाँच

@haiy मैं इसे चलाने की कोशिश कर रहा हूँ:

import pyspark
import pandas as pd
from dmlc.xgboost4j.scala.spark import XGBoostClassifier
from sklearn.utils import shuffle

sc = pyspark.SparkContext('local[2]')
spark = pyspark.sql.SparkSession(sc)
df = pd.DataFrame({'x1': range(10), 'x2': [10] * 10, 'y': shuffle([0 for i in range(5)] + [1 for i in range(5)])})
sdf = spark.createDataFrame(df)
X = sdf.select(['x1', 'x2'])
Y = sdf.select(['y'])
print(X.show(5))

params = {'objective' :'binary:logistic', 'n_estimators' : 10, 'max_depth' : 3, 'learning_rate' : 0.033}
xgb_model = XGBoostClassifier(params)

और यह यह अपवाद दे रहा है:

Traceback (most recent call last):
  File "/home/sagnikb/PycharmProjects/auto_ML/pyspark_xgboost.py", line 20, in <module>
    xgb_model = XGBoostClassifier(params)
  File "/usr/lib/ml/dmlc/xgboost4j/scala/spark.py", line 47, in __init__
    self._java_obj = self._new_java_obj("ml.dmlc.xgboost4j.scala.spark.XGBoostEstimator", self.uid, scalaMap)
  File "/usr/local/lib/python3.6/dist-packages/pyspark/ml/wrapper.py", line 63, in _new_java_obj
    return java_obj(*java_args)
TypeError: 'JavaPackage' object is not callable

Error in sys.excepthook:
Traceback (most recent call last):
  File "/home/sagnikb/PycharmProjects/auto_ML/pyspark_xgboost.py", line 20, in <module>
    xgb_model = XGBoostClassifier(params)
  File "/usr/lib/ml/dmlc/xgboost4j/scala/spark.py", line 47, in __init__
    self._java_obj = self._new_java_obj("ml.dmlc.xgboost4j.scala.spark.XGBoostEstimator", self.uid, scalaMap)
  File "/usr/local/lib/python3.6/dist-packages/pyspark/ml/wrapper.py", line 63, in _new_java_obj
    return java_obj(*java_args)
TypeError: 'JavaPackage' object is not callable
Exception ignored in: <bound method JavaParams.__del__ of XGBoostClassifier_4f9eb5d1388e9e1424a4>
Traceback (most recent call last):
  File "/usr/local/lib/python3.6/dist-packages/pyspark/ml/wrapper.py", line 105, in __del__
    SparkContext._active_spark_context._gateway.detach(self._java_obj)
  File "/usr/local/lib/python3.6/dist-packages/py4j/java_gateway.py", line 1897, in detach
    java_object._detach()
AttributeError: 'NoneType' object has no attribute '_detach'

पर्यावरण:
पायथन 3.6
स्पार्क 2.3
स्काला 2.11

@sagnik-rzt
सुनिश्चित नहीं है लेकिन क्या आप स्पार्क क्लासपाथ पर डीपीएस के साथ xgboost-spark.jar जोड़ते हैं?

@wpopielarski अरे नहीं मैंने ऐसा नहीं किया है। कोई विचार जहां मुझे वह जार फ़ाइल मिल सकती है?

@ sagnik-rzt हाय, कृपया यहाँ जार डाउनलोड . क्षमा करें, मैंने अभी पाया है कि मेरा जार मैक के आधार पर बनाया गया था, बस इसे @wpopielarski सुझाव के रूप में बनाने का प्रयास करें। और इसे स्पार्क डिप्स डीआईआर में डाल दें, जैसे $SPARK_HOME/jars ।

इसे अपना खुद का बनाने की जरूरत है :), मेवेन और प्रोफाइल assembly जो jvm-packages/xgboost-spark/target या तो में वसा जार बनाता है।

@ sagnik-rzt सुनिश्चित नहीं है कि आप क्या करने जा रहे हैं, लेकिन अपने OS के लिए फैट जार बनाने के लिए बस dmlc xgboost github प्रोजेक्ट को क्लोन करें, cd से jvm-packages और assemby प्रोफ़ाइल के साथ mvn चलाएं। मुझे नहीं पता कि ग्रेडेल बिल्ड फ़ाइल कैसे लिखनी है।

ठीक है तो मैंने निर्भरता के साथ एक मोटा जार बनाया है और फिर इसे $SPARK_HOME/jars पर कॉपी-पेस्ट किया है।
हालाँकि, वही अपवाद अभी भी संबंधित है:

Traceback (most recent call last):
  File "/home/sagnikb/PycharmProjects/xgboost/test_import.py", line 21, in <module>
    clf = xgb(params)
  File "/usr/lib/ml/dmlc/xgboost4j/scala/spark.py", line 48, in __init__
    self._java_obj = self._new_java_obj("dmlc.xgboost4j.scala.spark.XGBoostEstimator", self.uid, scalaMap)
  File "/usr/local/lib/python3.6/dist-packages/pyspark/ml/wrapper.py", line 63, in _new_java_obj
    return java_obj(*java_args)
TypeError: 'JavaPackage' object is not callable

क्षमा करें, लेकिन आप इसे कुछ आईडीई प्रोजेक्ट से स्थानीय रूप से क्लस्टर पर चलाते हैं? यदि आप हैं
स्पार्क-सबमिट का उपयोग करके - जार स्विच में डिप्स जोड़ना बेहतर होता है

2018/06/29 14:30 GMT + 02: 00 sagnik-rzt [email protected] :

ठीक है तो मैंने निर्भरता के साथ एक मोटा जार बनाया है और फिर इसे कॉपी-पेस्ट किया है
$SPARK_HOME/जार तक।
हालाँकि, वही अपवाद अभी भी संबंधित है:

ट्रेसबैक (सबसे हालिया कॉल अंतिम):
फ़ाइल "/home/sagnikb/PycharmProjects/xgboost/test_import.py", पंक्ति 21, में
सीएलएफ = एक्सजीबी (पैराम्स)
फ़ाइल "/usr/lib/ml/dmlc/xgboost4j/scala/spark.py", लाइन 48, __init__ में
self._java_obj = self._new_java_obj("dmlc.xgboost4j.scala.spark.XGBoostEstimator", self.uid, scalaMap)
फ़ाइल "/usr/local/lib/python3.6/dist-packages/pyspark/ml/wrapper.py", लाइन 63, _new_java_obj में
वापसी java_obj(*java_args)
लेखन त्रुटि: 'JavaPackage' वस्तु प्रतिदेय नहीं है

-
आप इसे प्राप्त कर रहे हैं क्योंकि आपका उल्लेख किया गया था।
इस ईमेल का सीधे उत्तर दें, इसे GitHub पर देखें
https://github.com/dmlc/xgboost/issues/1698#issuecomment-401339910 , या म्यूट करें
सूत्र
https://github.com/notifications/unsubscribe-auth/ALEzS3JmKjO0AZ6JMzcixwCce0_3zRM0ks5uBh3ogaJpZM4KgAY_
.

मैं वर्तमान में #3376 को नई स्पार्क शाखा में रीबेस करने पर काम कर रहा हूं, इस बीच, कुछ लोगों ने XGBoost-0.72 पर वर्तमान कोड का उपयोग करने के लिए कहा है।

यहाँ XGBoost-0.72 के लिए pyspark कोड के साथ एक ज़िप फ़ाइल है।
डाउनलोड करें: Sparkxgb.zip

आपको बस इतना करना है:

1. अपने काम में सामान्य स्काला XGBoost जार और निर्भरताएँ जोड़ें। (उदाहरण के लिए --jars या spark.jars कॉन्फ़िगरेशन का उपयोग करना)।
2. एक बार काम शुरू हो जाने के बाद, इसे अजगर में चलाएं: (या कोई भी स्थानीय स्थान जिसे हर निष्पादक देख सकता है)

sc.addPyFile("hdfs:///XXXX/XXXX/XXXX/sparkxgb.zip")

1. निम्नलिखित कोड के साथ परीक्षण करें। (यह मानते हुए कि आप sample_binary_classification_data.txt को एक पहुंच योग्य स्थान पर ले गए हैं, यह आमतौर पर $SPARK_HOME/data/mllib/sample_binary_classification_data.txt )

from sparkxgb import XGBoostEstimator

# Load Data
dataPath = "sample_binary_classification_data.txt"
dataDF = spark.read.format("libsvm").load(dataPath)

# Split into Train/Test
trainDF, testDF = dataDF.randomSplit([0.8, 0.2], seed=1000)

# Define and train model
xgboost = XGBoostEstimator(
    # General Params
    nworkers=1, nthread=1, checkpointInterval=-1, checkpoint_path="",
    use_external_memory=False, silent=0, missing=float("nan"),

    # Column Params
    featuresCol="features", labelCol="label", predictionCol="prediction", 
    weightCol="weight", baseMarginCol="baseMargin", 

    # Booster Params
    booster="gbtree", base_score=0.5, objective="binary:logistic", eval_metric="error", 
    num_class=2, num_round=2, seed=None,

    # Tree Booster Params
    eta=0.3, gamma=0.0, max_depth=6, min_child_weight=1.0, max_delta_step=0.0, subsample=1.0,
    colsample_bytree=1.0, colsample_bylevel=1.0, reg_lambda=0.0, alpha=0.0, tree_method="auto",
    sketch_eps=0.03, scale_pos_weight=1.0, grow_policy='depthwise', max_bin=256,

    # Dart Booster Params
    sample_type="uniform", normalize_type="tree", rate_drop=0.0, skip_drop=0.0,

    # Linear Booster Params
    lambda_bias=0.0
)
xgboost_model = xgboost.fit(trainDF)

# Transform test set
xgboost_model.transform(testDF).show()

# Write model/classifier
xgboost.write().overwrite().save("xgboost_class_test")
xgboost_model.write().overwrite().save("xgboost_class_test.model")

ध्यान दें:

• यह केवल स्पार्क 2.2+ . के लिए काम करेगा
• पाइपलाइन और ParamGridBuilder समर्थित हैं, संशोधित पाइपलाइन ऑब्जेक्ट का उपयोग from sparkxgb.pipeline import XGBoostPipeline,XGBoostPipelineModel साथ करें जैसा कि आप सामान्य ऑब्जेक्ट करेंगे।
• XGboost-0.72 में त्रुटि के कारण अशक्त मानों का सही ढंग से इलाज करने के लिए आपको फ्लोट ("नैन") के बजाय लापता मानों के लिए फ्लोट ("+ inf") का उपयोग करना होगा।
• आप अप्रशिक्षित मॉडल ऑब्जेक्ट को वापस लोड नहीं कर सकते, (#3035 देखें)
• यह एपीआई pyspark समर्थन के पूर्ण रिलीज के साथ बदल जाएगा।

@thesuperzapper मैं ज्यूपिटर नोटबुक पर pyspark के साथ इसका परीक्षण करने का प्रयास कर रहा हूं।

मेरा सिस्टम:
अजगर 3.6.1
xgboost 0.72
चिंगारी 2.2.0
जावा 1.8
स्कैला 2.12

जब मैं XGBoostEstimator लोड करने का प्रयास कर रहा हूं तो मुझे मिलता है:

Exception in thread "Thread-19" java.lang.NoClassDefFoundError: ml/dmlc/xgboost4j/scala/EvalTrait
    at java.lang.Class.getDeclaredMethods0(Native Method)
    at java.lang.Class.privateGetDeclaredMethods(Class.java:2701)
    at java.lang.Class.privateGetPublicMethods(Class.java:2902)
    at java.lang.Class.getMethods(Class.java:1615)
    at py4j.reflection.ReflectionEngine.getMethodsByNameAndLength(ReflectionEngine.java:345)
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:305)
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:326)
    at py4j.Gateway.invoke(Gateway.java:272)
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
    at py4j.commands.CallCommand.execute(CallCommand.java:79)
    at py4j.GatewayConnection.run(GatewayConnection.java:214)
    at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.ClassNotFoundException: ml.dmlc.xgboost4j.scala.EvalTrait
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    ... 12 more

क्या यह एक बग है या क्या मुझे कुछ आवश्यकताएं याद आ रही हैं?

@BogdanCojocar ऐसा लगता है कि आपकी xgboost लाइब्रेरी गुम है।

xgboost के ठीक से काम करने के लिए आपको इन दोनों जारों की आवश्यकता है:

• xgboost4j
• xgboost4j-स्पार्क

आप उन मेवेन लिंक से आवश्यक जार डाउनलोड कर सकते हैं।

धन्यवाद @thesuperzapper। ठीक काम करता है। pyspark के साथ इस एकीकरण के साथ बढ़िया काम!

पायथन मॉड्यूल में लोड करने के लिए प्रशिक्षित मॉडल को बूस्टर में कैसे सहेजना है, इस पर कोई सुझाव?

@ ericwang915 आमतौर पर एक मॉडल प्राप्त करने के लिए जो अन्य XGBoost पुस्तकालयों के साथ इंटर-ऑपरेट करता है, आप मॉडल ऑब्जेक्ट पर .booster.saveModel("XXX/XXX") विधि का उपयोग करेंगे, जहां XXX स्पार्क ड्राइवर पर एक स्थानीय (गैर एचडीएफएस) पथ है। यदि आप अन्य बचत विधि का उपयोग करते हैं तो आपको एक त्रुटि मिलती है (देखें: #2480)

हालांकि, मैं रैपर के उस संस्करण में सेव फ़ंक्शन को कॉल करने के लिए एक विधि जोड़ना भूल गया, अगर मुझे समय मिलता है तो मैं इसे कल करूँगा। (मैं न्यूजीलैंड में रहता हूं ... इसलिए समय क्षेत्र)

शुक्रिया। वैसे, प्रशिक्षण प्रक्रिया के दौरान, मूल्यांकन मेट्रिक्स और बूस्टिंग राउंड दिखाने वाला कोई लॉग नहीं है, भले ही साइलेंट 1 के रूप में सेट हो।

@thesuperzapper निर्देश के लिए धन्यवाद। मैं pyspark में xgboost मॉडल को प्रशिक्षित/सहेजने के आपके निर्देश का पालन करने में सक्षम था। अन्य xgboost मॉडल फ़ंक्शन जैसे (स्कैला) getFeatureScore () तक पहुंचने के बारे में कोई विचार?

@ccdtzccdtz वर्तमान में मैं pyspark रैपर को फिर से

मैंने अपने शुरुआती पाइस्पार्क रैपर में देशी बूस्टर विधि का खुलासा नहीं किया, लेकिन यदि आप स्पार्क स्काला एपीआई का उपयोग करते हैं, तो आप xgboost_model_object.nativeBooster.getFeatureScore( कॉल कर सकते हैं और इसे सामान्य की तरह उपयोग कर सकते हैं।

मैंने XGBoost को pyspark पर लगातार विफल होते देखा है यदि इसे 2 या अधिक बार चलाया जाता है। मैं इसे उसी कोड के साथ उसी डेटासेट पर चला रहा हूं। पहली बार यह सफल होता है लेकिन दूसरी बार और बाद में विफल हो जाता है। मैं स्पार्क 2.3.3 पर XGBoost 0.72 का उपयोग कर रहा हूं। मुझे फिर से सफलतापूर्वक कार्य चलाने के लिए pyspark शेल को पुनरारंभ करना होगा।

मैं प्रशिक्षण उद्देश्यों के लिए xgboost.trainWithDataFrame का उपयोग करता हूं।

क्या किसी ने इस मुद्दे को देखा है?

हाय @thesuperzapper
आपने जो निर्धारित किया है वह मेरे लिए एकल कार्यकर्ता नोड पर काम करता है।
हालांकि, जब मैं एक से अधिक कार्यकर्ता (इस मामले में 3) का उपयोग करके pyspark xgboost चलाने का प्रयास करता हूं, तो निष्पादक निष्क्रिय हो जाते हैं और थोड़ी देर बाद बंद हो जाते हैं।
यह वह कोड है जिसे मैं टाइटैनिक डेटासेट (जो एक छोटा डेटासेट है) पर चलाने का प्रयास कर रहा हूं:

from pyspark.sql.session import SparkSession
from pyspark.sql.types import *
from pyspark.ml.feature import StringIndexer, VectorAssembler
from pyspark.ml import Pipeline
from pyspark.sql.functions import col

spark = SparkSession\
        .builder\
        .appName("PySpark XGBOOST Titanic")\
        .getOrCreate()

#spark.sparkContext.addPyFile("../sparkxgb.zip")

from automl.sparkxgb import XGBoostEstimator

schema = StructType(
  [StructField("PassengerId", DoubleType()),
    StructField("Survival", DoubleType()),
    StructField("Pclass", DoubleType()),
    StructField("Name", StringType()),
    StructField("Sex", StringType()),
    StructField("Age", DoubleType()),
    StructField("SibSp", DoubleType()),
    StructField("Parch", DoubleType()),
    StructField("Ticket", StringType()),
    StructField("Fare", DoubleType()),
    StructField("Cabin", StringType()),
    StructField("Embarked", StringType())
  ])

df_raw = spark\
  .read\
  .option("header", "true")\
  .schema(schema)\
  .csv("titanic.csv")


df = df_raw.na.fill(0)

sexIndexer = StringIndexer() \
    .setInputCol("Sex") \
    .setOutputCol("SexIndex") \
    .setHandleInvalid("keep")

cabinIndexer = StringIndexer() \
    .setInputCol("Cabin") \
    .setOutputCol("CabinIndex") \
    .setHandleInvalid("keep")

embarkedIndexer = StringIndexer() \
    .setInputCol("Embarked") \
    .setOutputCol("EmbarkedIndex") \
    .setHandleInvalid("keep")

vectorAssembler  = VectorAssembler()\
  .setInputCols(["Pclass", "SexIndex", "Age", "SibSp", "Parch", "Fare", "CabinIndex", "EmbarkedIndex"])\
  .setOutputCol("features")

xgboost = XGBoostEstimator(nworkers=2,
    featuresCol="features",
    labelCol="Survival",
    predictionCol="prediction"
)

pipeline = Pipeline().setStages([sexIndexer, cabinIndexer, embarkedIndexer, vectorAssembler, xgboost])
trainDF, testDF = df.randomSplit([0.8, 0.2], seed=24)

model  =pipeline.fit(trainDF)
print(trainDF.schema)

यह स्टैक ट्रेस है:
Tracker started, with env={DMLC_NUM_SERVER=0, DMLC_TRACKER_URI=172.16.1.5, DMLC_TRACKER_PORT=9093, DMLC_NUM_WORKER=3}2018-09-04 08:52:55 ERROR TaskSchedulerImpl:70 - Lost executor 0 on 192.168.49.43: Remote RPC client disassociated. Likely due to containers exceeding thresholds, or network issues. Check driver logs for WARN messages.2018-09-04 08:52:55 ERROR AsyncEventQueue:91 - Interrupted while posting to TaskFailedListener. Removing that listener.java.lang.InterruptedException: ExecutorLost during XGBoost Training: ExecutorLostFailure (executor 0 exited caused by one of the running tasks) Reason: Remote RPC client disassociated. Likely due to containers exceeding thresholds, or network issues. Check driver logs for WARN messages. at org.apache.spark.TaskFailedListener.onTaskEnd(SparkParallelismTracker.scala:116) at org.apache.spark.scheduler.SparkListenerBus$class.doPostEvent(SparkListenerBus.scala:45) at org.apache.spark.scheduler.AsyncEventQueue.doPostEvent(AsyncEventQueue.scala:37) at org.apache.spark.scheduler.AsyncEventQueue.doPostEvent(AsyncEventQueue.scala:37) at org.apache.spark.util.ListenerBus$class.postToAll(ListenerBus.scala:91)

निष्पादक इस पर अटका हुआ है:
org.apache.spark.RDD.foreachPartition(RDD.scala:927) ml.dmlc.xgboost4j.scala.spark.XGBoost$$anonfun$trainDistributed$4$$anon$1.run(XGBoost.scala:348)

पर्यावरण: पायथन 3.5.4, स्पार्क संस्करण 2.3.1, Xgboost 0.72

क्या आप अपना xgboost और स्पार्क कॉन्फ़िगरेशन साझा कर सकते हैं? कितने
कार्यकर्ता (xgboost कार्यकर्ता), स्पार्क निष्पादक, कोर आदि।

-नितिन

5:03 पूर्वाह्न पर मंगल सितम्बर 4, 2018 पर sagnik-rzt [email protected] लिखा है:

हाय @thesuperzapper https://github.com/thesuperzapper
आपने जो निर्धारित किया है वह मेरे लिए एकल कार्यकर्ता नोड पर काम करता है।
हालाँकि, जब मैं एक से अधिक का उपयोग करके pyspark xgboost चलाने का प्रयास करता हूँ
कार्यकर्ता, निष्पादक निष्क्रिय हो जाते हैं और थोड़ी देर बाद बंद हो जाते हैं।
यह स्टैक ट्रेस है:
'''
ट्रैकर शुरू हुआ, env={DMLC_NUM_SERVER=0, DMLC_TRACKER_URI=172.16.1.5 के साथ,
DMLC_TRACKER_PORT=9093, DMLC_NUM_WORKER=3}2018-09-04 08:52:55 त्रुटि
टास्कशे ड्यूलरइम्प्ल:70 - 192.168.49.43 पर निष्पादक 0 खो गया: रिमोट आरपीसी
ग्राहक जुदा। संभावित रूप से सीमा से अधिक कंटेनरों के कारण, या
नेटवर्क के मुद्दे। चेतावनी संदेशों के लिए ड्राइवर लॉग की जाँच करें।2018-09-04 08:52:55
त्रुटि AsyncE ventQueue:91 - टास्कफेल
उस श्रोता को हटा रहा है। java.lang.InterruptedException: ExecutorLost दौरान
XGBoost ट्रेनिंग: एक्ज़ीक्यूटरलॉस्ट फ़ेल्योर (निष्पादक 0 इनमें से किसी एक के कारण बाहर निकल गया)
चल रहे कार्य) कारण: दूरस्थ RPC क्लाइंट असंबद्ध। संभवतः के कारण
सीमा से अधिक कंटेनर, या नेटवर्क समस्याएँ। के लिए ड्राइवर लॉग की जाँच करें
चेतावनी संदेश। पर
org.apache.spark.TaskFailedListener.onTaskEnd(SparkParallelismTracker.scala:116)
पर
org.apache.spark.scheduler.SparkListenerBus$class.doPostEvent(SparkListenerBus.scala:45)
पर
org.apache.spark.scheduler.AsyncEventQueue.doPostEvent(AsyncEventQueue.scala:37)
पर
org.apache.spark.scheduler.AsyncEventQueue.doPostEvent(AsyncEventQueue.scala:37)
org.apache.spark.util.ListenerBus$class.postToAll(ListenerBus.scala:91) पर
'''

-
आप इसे प्राप्त कर रहे हैं क्योंकि आपने टिप्पणी की थी।
इस ईमेल का सीधे उत्तर दें, इसे GitHub पर देखें
https://github.com/dmlc/xgboost/issues/1698#issuecomment-418341557 , या म्यूट करें
सूत्र
https://github.com/notifications/unsubscribe-auth/AJY-XklxsZB_FE7ZoAarV_fqw8D3JqxWks5uXmwqgaJpZM4KgAY_
.

@ sagnik-rzt मुझे आश्चर्य है कि यह बिल्कुल काम करता है, क्योंकि वह pyspark रैपर केवल XGboost 0.72 का समर्थन करता है, हम अभी भी 0.8 पर काम कर रहे हैं।

@thesuperzapper , आपके द्वारा प्रदान किए गए संस्करण के आधार पर, मैंने xgboost 0.80 का समर्थन करने के लिए कुछ हिस्सों को फिर से तैयार किया।
हालांकि, मैं py4j.protocol.Py4JError: ml.dmlc.xgboost4j.scala.spark.XGBoostClassifier does not exist in the JVM त्रुटि के साथ समाप्त हो रहा हूं। मैंने यहां एक पूर्ण विवरण प्रदान किया है । क्या आप एक नज़र डाल सकते हैं?

सभी कोड यहां रखे गए हैं ।

इसे 0.8 के साथ काम करने के लिए आपके द्वारा किए गए परिवर्तनों की तुलना में काफी अधिक परिवर्तन की आवश्यकता है।

मुख्य कारण मैंने अभी 0.8 संस्करण को धक्का नहीं दिया है, क्योंकि मैं वास्तव में एक xgboost विशिष्ट पाइपलाइन ऑब्जेक्ट नहीं बनाना चाहता जैसे मेरे पास 0.72 में है, मैं उम्मीद के मुताबिक pyspark xgboost ऑब्जेक्ट काम करने के तरीके पर काम कर रहा हूं डिफ़ॉल्ट पाइपलाइन दृढ़ता के साथ।

@thesuperzapper , 0.72 के लिए कोड का उपयोग करते समय, मैंने सीधे XGBoostEstimator ऑब्जेक्ट का उपयोग किया जो कि XGBoostPipeline ऑब्जेक्ट का उपयोग किए बिना है। और ऐसा करते समय, मैंने देखा कि प्रशिक्षण/फिटिंग क्लस्टर के सभी कर्मचारियों में वितरित नहीं होता है। क्या श्रमिकों में वितरण के लिए XGBoostPipeline का उपयोग करना आवश्यक है?

यदि ऐसा नहीं है, तो क्या आप जानते हैं कि प्रशिक्षण श्रमिकों में वितरित क्यों नहीं किया जाता है?

अद्यतन
मैं स्थापना द्वारा प्रशिक्षण की कोशिश की XGBoostEstimator में एक मंच के रूप में XGBoostPipeline लेकिन समस्या बनी रहती है। जब मैं इसे क्लस्टर पर चलाता हूं तो प्रशिक्षण श्रमिकों में वितरित नहीं होता है जबकि यह अन्य pyspark समर्थित मॉडल के लिए करता है।

क्या आपने इस व्यवहार को देखा है? मैं इससे कैसे निपटूं?

मैंने ज्यादातर XGBoost 0.8 के लिए रैपर को फिर से कोडित किया है, लेकिन जैसा कि मेरा कार्य क्लस्टर अभी भी 2.2 पर है, मैं इसे आसानी से वितरित मोड में परीक्षण नहीं कर सकता, क्योंकि मेरा Dockerized Spark 2.3 क्लस्टर स्कैला XGBoost वितरित मॉडल को बिना फेरबदल स्थान के लापता मुद्दों को प्रशिक्षित नहीं कर सकता है। .

मुझे लगता है कि @ sagnik-rzt और अन्य जिन मुद्दों का सामना कर रहे हैं, वे आपके क्लस्टर कॉन्फ़िगरेशन या स्पार्क-स्काला XGBoost के साथ कुछ गहरी समस्या से संबंधित हैं।

क्या आप किसी मॉडल को Spark-Scala XGBoost में प्रशिक्षित कर सकते हैं?

धन्यवाद @thesuperzapper , मैंने सोचा कि फेरबदल स्थानों को आंतरिक रूप से नियंत्रित किया गया था, अर्थात, इसे क्लस्टर कॉन्फ़िगरेशन से स्वतंत्र रूप से ध्यान रखा जाएगा। लेकिन मुझे यह स्टैक ओवरफ्लो पोस्ट मिला है, इसलिए उन सुझावों को लागू किया जाएगा।

साथ ही, क्या आप अपना 0.8 संस्करण साझा कर सकते हैं, यदि यह तैयार है? मैं अपने क्लस्टर पर वितरण के लिए परीक्षण कर सकता हूं। इसमें स्पार्क 2.3.1 और पायथन 3.5 है।

मॉडल को सहेजने और लोड करने के बाद निम्न त्रुटि हो रही है

IllegalArgumentException: u'requirement विफल: मेटाडेटा लोड करने में त्रुटि: अपेक्षित वर्ग का नाम org.apache.spark.ml.Pipeline लेकिन पाया गया वर्ग का नाम org.apache.spark.ml.PipelineModel'

क्या आप कृपया इसमें मदद कर सकते हैं। धन्यवाद

import pyspark
from pyspark.sql.session import SparkSession
from pyspark.sql.types import *
from pyspark.ml.feature import StringIndexer, VectorAssembler
from pyspark.ml import Pipeline
from pyspark.sql.functions import col

spark.sparkContext.addPyFile("sparkxgb.zip")
from sparkxgb import XGBoostEstimator
schema = StructType(
  [StructField("PassengerId", DoubleType()),
    StructField("Survival", DoubleType()),
    StructField("Pclass", DoubleType()),
    StructField("Name", StringType()),
    StructField("Sex", StringType()),
    StructField("Age", DoubleType()),
    StructField("SibSp", DoubleType()),
    StructField("Parch", DoubleType()),
    StructField("Ticket", StringType()),
    StructField("Fare", DoubleType()),
    StructField("Cabin", StringType()),
    StructField("Embarked", StringType())
  ])

df_raw = spark\
  .read\
  .option("header", "true")\
  .schema(schema)\
  .csv("train.csv")

 df = df_raw.na.fill(0)

 sexIndexer = StringIndexer()\
  .setInputCol("Sex")\
  .setOutputCol("SexIndex")\
  .setHandleInvalid("keep")

cabinIndexer = StringIndexer()\
  .setInputCol("Cabin")\
  .setOutputCol("CabinIndex")\
  .setHandleInvalid("keep")

embarkedIndexer = StringIndexer()\
  .setInputCol("Embarked")\
  .setOutputCol("EmbarkedIndex")\
  .setHandleInvalid("keep")

vectorAssembler = VectorAssembler()\
  .setInputCols(["Pclass", "SexIndex", "Age", "SibSp", "Parch", "Fare", "CabinIndex", "EmbarkedIndex"])\
  .setOutputCol("features")
xgboost = XGBoostEstimator(
    featuresCol="features", 
    labelCol="Survival", 
    predictionCol="prediction"
)

pipeline = Pipeline().setStages([sexIndexer, cabinIndexer, embarkedIndexer, vectorAssembler, xgboost])
model = pipeline.fit(df)
model.transform(df).select(col("PassengerId"), col("prediction")).show()

model.save("model_xgboost")
loadedModel = Pipeline.load("model_xgboost")


IllegalArgumentException: u'requirement failed: Error loading metadata: Expected class name org.apache.spark.ml.Pipeline but found class name org.apache.spark.ml.PipelineModel'


#predict2 = loadedModel.transform(df)

निम्नलिखित विकल्प का प्रयास किया

from pyspark.ml import PipelineModel
#model.save("model_xgboost")
loadedModel = PipelineModel.load("model_xgboost")

निम्नलिखित त्रुटि प्राप्त करना

ml.dmlc.xgboost4j.scala.spark नाम का कोई मॉड्यूल नहीं

देव डाउनलोड लिंक: Sparkxgb.zip

यह संस्करण XGBoost-0.8 के साथ काम करेगा, लेकिन कृपया इसे परीक्षण के अलावा किसी अन्य चीज़ के लिए उपयोग न करें, या इस थ्रेड में योगदान न करें, क्योंकि सामान बदल जाएगा।
(यह भी ध्यान दें: मैंने स्पार्क 2.2 के लिए सभी बैकपोर्ट हटा दिए हैं, इसलिए यह केवल स्पार्क 2.3 का समर्थन करता है)

मुख्य मुद्दा जो मुझे उस संस्करण के बारे में पता है, वह यह है कि वर्गीकरण मॉडल सहेजे जाने के बाद वापस लोड नहीं होंगे, त्रुटि दे रहे हैं: TypeError: 'JavaPackage' object is not callable । हालांकि, अजीब तरह से XGBoostPipelineModel XGBoost वर्गीकरण चरण के साथ ठीक काम करता है। इससे मुझे लगता है कि यह मेरे अंत में एक मुद्दा है, क्या कोई यह सत्यापित कर सकता है कि वर्गीकरण मॉडल पढ़ना उनके लिए काम करता है या नहीं?

भले ही, मैं DefaultParamsWritable को ठीक से कार्यान्वित करने का प्रयास कर रहा हूं, जो समर्पित XGBoostPipeline की आवश्यकता को हटा देगा, जो लंबे समय तक बनाए रखने के लिए आसान होगा, इसलिए पढ़ने/लिखने का मुद्दा वैसे भी अप्रासंगिक हो जाना चाहिए। (यह भी काम करने के लिए CrossValidator पर दृढ़ता की अनुमति दे सकता है)