Xgboost: [jvm-packages] java.lang.NullPointerException: ml.dmlc.xgboost4j.java.Booster.predict पर शून्य

क्योंकि मॉडल को पायथन स्केलेर के माध्यम से प्रशिक्षित किया जाता है, बाद में असंगतताएं होती हैं। समय बचाने के लिए, एल्गोरिथ्म टीम ने स्केलेर प्रशिक्षित XGB मॉडल को पायथन XgBoost पैकेज पर एक परत में स्थानांतरित कर दिया। मुझे आश्चर्य है कि क्या इसका कारण है

आप XGBoost के किस संस्करण का उपयोग कर रहे हैं? पहले हमने एक बग तय किया था कि भविष्यवाणी विफल होने पर jvm पैकेज सही ढंग से अपवाद नहीं फेंकता है और एक खाली भविष्यवाणी बफर के साथ जारी रहता है।

आप XGBoost के किस संस्करण का उपयोग कर रहे हैं? पहले हमने एक बग तय किया था कि भविष्यवाणी विफल होने पर jvm पैकेज सही ढंग से अपवाद नहीं फेंकता है और एक खाली भविष्यवाणी बफर के साथ जारी रहता है।

कंपनी के एल्गोरिथम प्लेटफॉर्म के संस्करण 1.0 का उपयोग किया जाता है, और संस्करण संगतता मुद्दों के कारण एल्गोरिथम प्रोजेक्ट के संस्करण 0.9.0 का उपयोग किया जाता है। एल्गोरिथम सहयोगियों ने 1.0 मॉडल फ़ाइल को 0.9.0 में बदलने के लिए पायथन का उपयोग किया। मुझे आश्चर्य है कि क्या यह इस परिवर्तन के कारण होता है

मेरा सुझाव है कि 1.2 (https://github.com/dmlc/xgboost/issues/5734) तक प्रतीक्षा करें और पुनः प्रयास करें, इस रिलीज़ में हमारे पास कुछ महत्वपूर्ण बग सुधार हैं। इसके अलावा, मैं भविष्यवाणी के लिए उसी या बाद के xgboost संस्करण का उपयोग करने का सुझाव दूंगा। XGBoost का बाइनरी मॉडल पिछड़ा संगत है, आगे बढ़ते हुए, JSON आधारित मॉडल की सिफारिश की जाती है।

मैंने 1.2.0 के साथ एक ही समस्या को मारा। तो समस्या अभी भी यहाँ है।

मुझे भी यही समस्या मिली।
मैंने मॉडल बनाने के लिए xgboost4j का उपयोग किया।

क्या आसपास कोई काम है?

यह मेरे लिए एक बड़ी समस्या है, इसने उत्पादन में नौकरियों को विफल कर दिया।

@ranInc क्या आप XGBoost के नवीनतम संस्करण का उपयोग कर रहे हैं? अभी तक हम इस मुद्दे के सही कारण से अवगत नहीं हैं। हम इसे सर्वोत्तम प्रयास के आधार पर संबोधित करेंगे, और चूंकि इस बात की कोई गारंटी नहीं है कि इस मुद्दे को कब संबोधित किया जा सकता है, मेरा सुझाव है कि आप इस बीच एक विकल्प की जांच करें।

@ranInc आप एक छोटा सा उदाहरण प्रोग्राम प्रदान करके हमारी मदद कर सकते हैं जिसे हम (डेवलपर्स) अपनी मशीन पर चला सकते हैं।

मैं 1.2.0 चला रहा हूं, मेवेन रिपोजिटरी पर नवीनतम जार।
मेरे लिए विकल्प यह है कि मैं sapr 2.4.5 पर वापस जाऊं और xgboost 0.9 का उपयोग करूं - और यही मैं अभी कर रहा हूं।

उदाहरण के लिए: मैं उस विशिष्ट मॉडल/डेटा की कोशिश करूँगा और उसे इंगित करूँगा जिसके कारण बाद में काम विफल हो गया।

नमस्ते,
मुझे विशिष्ट मॉडल/डेटा मिला।
मैं इसे इस टिप्पणी में संलग्न कर रहा हूं।
xgb1.2_bug.zip

इस प्रकार आप बग को फिर से बनाते हैं (ध्यान रखें कि यदि आप यहां पुनर्विभाजन नहीं करते हैं, तो यह काम करता है - इसलिए इसका प्रत्येक विभाजन में डेटा की मात्रा या डेटा के प्रकार से कुछ लेना-देना है):

from pyspark.ml.pipeline import PipelineModel
from pyspark.sql import SparkSession
from pyspark.sql.dataframe import DataFrame

df = spark.read.parquet("/tmp/6620294785024229130_features").repartition(200).persist()
df.count()

model = PipelineModel.read().load("/tmp/6620294785024229130_model_xg_only")

predictions = model.transform(df)

predictions.persist()
predictions.count()
predictions.show()

क्या आपके पास कोई विचार है कि इसे कब संबोधित किया जा सकता है?
यह मुझे स्पार्क 3.0 का उपयोग करने से रोकता है ...

@ranInc अभी नहीं। जब हम बग को ठीक कर लेंगे तो हम आपको बताएंगे। साथ ही, क्या आप स्कैला में कोड पोस्ट कर सकते हैं? मुझे नहीं लगता कि हमने कभी आधिकारिक तौर पर XGBoost के साथ PySpark के उपयोग का समर्थन किया है।

      import org.apache.spark.ml.{Pipeline, PipelineModel}
      val df = spark.read.parquet("/tmp/6620294785024229130_features").repartition(200).persist()
      df.count()

      val model = PipelineModel.read.load("/tmp/6620294785024229130_model_xg_only")

      val predictions = model.transform(df)

      predictions.persist()
      predictions.count()
      predictions.show()

एक और सूचक,
ऐसा लगता है कि समस्या यह है कि भविष्यवाणी के लिए भेजी जा रही सभी सुविधाओं के कारण शून्य/अनुपलब्ध हैं।

मुझे लगता है कि कोई इस पर काम नहीं कर रहा है?
इसका मूल रूप से मतलब है कि xgboost स्पार्क 3 पर बिल्कुल भी काम नहीं करता है।

हाँ क्षमा करें हमारे हाथ अभी काफी भरे हुए हैं। हम किसी बिंदु पर इस मुद्दे पर पहुंचेंगे। मैं सम्मानपूर्वक आपके धैर्य की कामना करता हूं। धन्यवाद।

@ranInc मेरे पास आज कुछ समय था इसलिए मैंने आपके द्वारा यहां प्रदान की गई स्क्रिप्ट को चलाने का प्रयास किया। मैंने java.lang.NullPointerException त्रुटि को पुन: प्रस्तुत किया है।

आश्चर्यजनक रूप से, नवीनतम विकास संस्करण ( master शाखा) उसी तरह दुर्घटनाग्रस्त नहीं होता है। इसके बजाय, यह त्रुटि उत्पन्न करता है

थ्रेड में अपवाद "मुख्य" org.apache.spark.SparkException: चरण विफलता के कारण नौकरी निरस्त: चरण 7.0 में कार्य 0 1 बार विफल हुआ, सबसे हाल की विफलता: चरण 7.0 में खोया कार्य 0.0 (TID 11, d04389c5babb, निष्पादक ड्राइवर): ml.dmlc.xgboost4j.java.XGBoostError: [00:36:10] /workspace/src/learner.cc:1179: चेक फेल: Learning_model_param_.num_feature >= p_fmat->Info().num_col_ (1 बनाम 2) : स्तंभों की संख्या बूस्टर में सुविधाओं की संख्या से मेल नहीं खाती।

मैं आगे की जांच करूंगा।

मुझे लगता है कि त्रुटि संदेश अब समझ में आता है, आपके इनपुट में भविष्यवाणी के लिए मॉडल की तुलना में अधिक विशेषताएं हैं।

xgboost विफलता के बाद jvm पैकेज जारी रहेगा, जिसके परिणामस्वरूप एक खाली भविष्यवाणी बफर होगा। मैंने हाल ही में एक चेक गार्ड जोड़ा है।

बस सुनिश्चित करें कि आपके प्रशिक्षण डेटासेट में कॉलम की संख्या आपके पूर्वानुमान डेटासेट से अधिक या उसके बराबर है।

नमस्ते,
मॉडल समान सुविधाओं का उपयोग करके बनाया गया था।
स्पार्क में यह एक वेक्टर कॉलम का उपयोग करता है न कि कई कॉलम का।
किसी भी मामले में फिटिंग और भविष्यवाणी के लिए वेक्टर का आकार हमेशा समान होता है - इसके बारे में 100% सुनिश्चित।

इसका सभी शून्य/अनुपलब्ध सुविधाओं वाली पंक्तियों से कुछ लेना-देना है।
आप देख सकते हैं कि यदि आप डेटाफ़्रेम से सभी शून्य सुविधाओं वाली पंक्तियों को फ़िल्टर करते हैं - तो यह ठीक काम करता है।

@ranInc क्या आप मॉडल उत्पन्न करने वाले पूर्ण स्कैला प्रोग्राम को पोस्ट कर सकते हैं? ऐसा लगता है कि त्रुटि संदेश यह सुझाव देता है कि आपके मॉडल को एक ही सुविधा के साथ प्रशिक्षित किया गया था।

मुझे नहीं लगता कि यह बहुत मदद करेगा क्योंकि कोड बहुत सामान्य है और इसमें कुछ प्रोपाइटरी ट्रांसफॉर्मर हैं,
कोड ही ज्यादातर पाइस्पार्क है और स्कैला नहीं।

यह देखने का सबसे अच्छा तरीका है कि सुविधाओं की संख्या कोई समस्या नहीं है, केवल सभी शून्य सुविधाओं के साथ पंक्तियों को फ़िल्टर करना और मॉडल का उपयोग करना है - यह बिना किसी समस्या के काम करता है।
आप सभी पंक्तियों को भी रख सकते हैं और एक विभाजन का उपयोग करने के लिए डेटाफ़्रेम को पुन: विभाजित कर सकते हैं, और यह भी काम करता है।

@ranInc मैंने पंक्तियों को शून्य से फ़िल्टर किया और अभी भी उसी त्रुटि का सामना करना पड़ रहा है ( java.lang.NullPointerException ):

...
df.na.drop(minNonNulls = 1)
...

क्या यह करने का यह सही तरीका नहीं है?

मुझे नहीं लगता कि यह बहुत मदद करेगा क्योंकि कोड बहुत सामान्य है और इसमें कुछ प्रोपाइटरी ट्रांसफॉर्मर हैं

मैं देखना चाहता हूं कि प्रशिक्षण और भविष्यवाणी के समय कितनी सुविधाओं का उपयोग किया जा रहा है। त्रुटि संदेश

ml.dmlc.xgboost4j.java.XGBoostError: [00:36:10] /workspace/src/learner.cc:1179: चेक फेल: Learning_model_param_.num_feature >= p_fmat->Info().num_col_ (1 बनाम 2) : स्तंभों की संख्या बूस्टर में सुविधाओं की संख्या से मेल नहीं खाती।

पता चलता है कि मॉडल को एक ही विशेषता के साथ प्रशिक्षित किया गया था और भविष्यवाणी दो विशेषताओं के साथ की जा रही है।

अभी, मेरे पास केवल डेटा फ़्रेम और आपके द्वारा अपलोड किए गए क्रमबद्ध मॉडल तक पहुंच है। मॉडल प्रशिक्षण में क्या हुआ और क्या गलत हुआ, इस बारे में मुझे अंतर्दृष्टि की कमी है, जिससे मुझे समस्या का निवारण करने में बाधा आ रही है। यदि आपके कार्यक्रम में कुछ मालिकाना जानकारी है, तो क्या एक स्पष्ट उदाहरण प्रस्तुत करना संभव है?

1. नहीं, आप यह कर सकते हैं:

import org.apache.spark.ml.linalg.{SparseVector, Vector}
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions.{callUDF, col}
.......
 val isVectorAllZeros = (col: Vector) => {
        col match {
          case sparse: SparseVector =>
            if(sparse.indices.isEmpty){
              true
            }else{
              false
            }
          case _ => false
        }
      }

      spark.udf.register("isVectorAllZeros", isVectorAllZeros)
      df = df.withColumn("isEmpty",callUDF("isVectorAllZeros",
        col("features_6620294785024229130"))).where("isEmpty == false")

आप इस तरह डेटाफ्रेम को फिर से विभाजित कर सकते हैं:

....
df = df.repartition(1)
....

1. मैं समझता हूं, लेकिन कोड आपको ज्यादा नहीं देगा, क्योंकि यह वेक्टर असेंबलर का उपयोग करता है, और आप यह नहीं जान पाएंगे कि वास्तव में कितनी सुविधाओं का उपयोग किया गया था,
   लेकिन मुझे 100% यकीन है कि इसने समान सुविधाओं का उपयोग किया है।

लेकिन मुझे 100% यकीन है कि इसने समान सुविधाओं का उपयोग किया है।

आपने यह कैसे सुनिश्चित किया, यदि वेक्टर असेंबलर में परिवर्तनीय संख्या में विशेषताएं हैं?

वेक्टर असेंबलर हमेशा समान मात्रा में सुविधाएँ बनाता है, इसे हथियाने के लिए केवल स्तंभों के नामों की आवश्यकता होती है।
कोड का उपयोग हजारों मॉडल बनाने के लिए किया जाता है, इसलिए यह बहुत सामान्य है और मूल रूप से उपयोग करने के लिए नामों की एक सूची प्राप्त करता है।

मैं मॉडल निर्माण को फिर से चलाने में सक्षम हो सकता हूं और आपको मॉडल के लिए उपयोग किया गया डेटाफ्रेम भेज सकता हूं - या कोई अन्य डेटा जो आपको चाहिए।
हालांकि इसमें मेरे लिए समय लगेगा और यदि आप जो मैंने पहले दिखाया है उसका उपयोग करते हैं, तो आप देखेंगे कि मॉडल 2 सुविधाओं के साथ ठीक काम करता है।

@ranInc मुझे एक और प्रश्न पूछने दें: क्या यह कहना सही है कि उदाहरण डेटा में एक विरल स्तंभ (वेक्टर असेंबलर) है जिसमें अधिकतम दो विशेषताएं हैं ?

नहीं।
वेक्टर असेंबलर एक ट्रैसफॉर्मर है जो कई कॉलम पकड़ता है और उन्हें एक वेक्टर कॉलम में रखता है।
वेक्टर हमेशा स्पार्क में फिटिंग और भविष्यवाणी करने वाले मॉडल के लिए उपयोग किए जाते हैं।

यहां उदाहरण डेटाफ्रेम में एक वेक्टर कॉलम है।
कुछ पंक्तियों में विरल हैं, अन्य घनी हैं - सभी में दो विशेषताएं हैं।

@ranInc तो सभी पंक्तियों में दो विशेषताएं हैं, कुछ मान गायब हैं और अन्य नहीं हैं। समझ लिया। मैं खाली पंक्तियों को फ़िल्टर करने के बारे में आपके सुझाव का प्रयास करूंगा।

जैसा कि आपने अनुमान लगाया होगा, मैं स्पार्क पारिस्थितिकी तंत्र के लिए काफी नया हूं, इसलिए डिबगिंग प्रयास काफी कठिन साबित हो सकता है। हमें वर्तमान में अधिक डेवलपर्स की आवश्यकता है जो सामान्य रूप से स्पार्क और स्काला प्रोग्रामिंग के बारे में अधिक जानते हैं। यदि आप व्यक्तिगत रूप से किसी ऐसे व्यक्ति को जानते हैं जो XGBoost के JVM पैकेज को बेहतर बनाने में हमारी मदद करना चाहता है, तो कृपया हमें बताएं।

@ranInc मैंने आपके सुझाव के अनुसार खाली पंक्तियों को फ़िल्टर करने का प्रयास किया:

import org.apache.spark.sql.SparkSession
import org.apache.spark.ml.{Pipeline, PipelineModel}
import org.apache.spark.ml.linalg.{SparseVector, Vector}
import org.apache.spark.sql.functions.{callUDF, col}

object Main extends App {
  val spark = SparkSession
      .builder()
      .appName("XGBoost4J-Spark Pipeline Example")
      .getOrCreate()

  val df = spark.read.parquet("/home/ubuntu/data/6620294785024229130_features").repartition(200).persist()
  df.show()

  val model = PipelineModel.read.load("/home/ubuntu/data/6620294785024229130_model_xg_only")

  val predictions = model.transform(df)

  predictions.persist()
  predictions.count()
  predictions.show()
}

import org.apache.spark.sql.SparkSession
import org.apache.spark.ml.{Pipeline, PipelineModel}
import org.apache.spark.ml.linalg.{SparseVector, Vector}
import org.apache.spark.sql.functions.{callUDF, col}

object Main extends App {
  val spark = SparkSession
      .builder()
      .appName("XGBoost4J-Spark Pipeline Example")
      .getOrCreate()

  val isVectorAllZeros = (col: Vector) => {
    col match {
      case sparse: SparseVector => (sparse.indices.isEmpty)
      case _ => false
    }
  }
  spark.udf.register("isVectorAllZeros", isVectorAllZeros)

  val df = spark.read.parquet("/home/ubuntu/data/6620294785024229130_features").repartition(200).persist()
                .withColumn("isEmpty", callUDF("isVectorAllZeros", col("features_6620294785024229130")))
                .where("isEmpty == false")
  df.show()

  val model = PipelineModel.read.load("/home/ubuntu/data/6620294785024229130_model_xg_only")

  val predictions = model.transform(df)

  predictions.persist()
  predictions.count()
  predictions.show()
}

कुछ अवलोकन

• स्थिर 1.2.0 रिलीज के साथ, प्रोग्राम ए त्रुटियाँ java.lang.NullPointerException के साथ। एनपीई से ठीक पहले, स्पार्क निष्पादन लॉग में निम्न चेतावनी प्रदर्शित होती है:

WARNING: /xgboost/src/learner.cc:979: Number of columns does not match number of features in booster. Columns: 0 Features: 1

• स्थिर 1.2.0 रिलीज के साथ, प्रोग्राम बी बिना किसी त्रुटि के सफलतापूर्वक पूरा होता है।
• विकास संस्करण के साथ (नवीनतम master शाखा, प्रतिबद्ध 42d31d9dcb6f7c1cb7d0545e9ab3a305ecad0816), प्रोग्राम A और प्रोग्राम B दोनों निम्न त्रुटि के साथ विफल हो जाते हैं:

[12:44:57] /home/ubuntu/xgblatest/src/learner.cc:1179: Check failed: learner_model_param_.num_feature >= p_fmat->Info().num_col_ (1 vs. 2) : Number of columns does not match number of features in booster.                                                                                                        
Stack trace:                                                                                                                                   
  [bt] (0) /tmp/libxgboost4j14081654332866852928.so(dmlc::LogMessageFatal::~LogMessageFatal()+0x79) [0x7f7ef62c4e19]                             [bt] (1) /tmp/libxgboost4j14081654332866852928.so(xgboost::LearnerImpl::ValidateDMatrix(xgboost::DMatrix*, bool) const+0x20b) [0x7f7ef63f5f0b]                                                                                                                                              
  [bt] (2) /tmp/libxgboost4j14081654332866852928.so(xgboost::LearnerImpl::Predict(std::shared_ptr<xgboost::DMatrix>, bool, xgboost::HostDeviceVector<float>*, unsigned int, bool, bool, bool, bool, bool)+0x3c3) [0x7f7ef6400233]                                                             
  [bt] (3) /tmp/libxgboost4j14081654332866852928.so(XGBoosterPredict+0xec) [0x7f7ef62caa3c]                                                      [bt] (4) /tmp/libxgboost4j14081654332866852928.so(Java_ml_dmlc_xgboost4j_java_XGBoostJNI_XGBoosterPredict+0x47) [0x7f7ef62befd7]             
  [bt] (5) [0x7f80908a8270]

जो अजीब है, क्योंकि @ranInc के अनुसार, मॉडल को दो विशेषताओं वाले डेटा के साथ प्रशिक्षित किया गया था।

• मैंने स्रोत से संस्करण 1.2.0-SNAPSHOT बनाया (प्रतिबद्ध 71197d1dfa27c80add9954b10284848c1f165c40)। इस बार, प्रोग्राम ए और प्रोग्राम बी दोनों ही फीचर बेमेल त्रुटि ( learner_model_param_.num_feature >= p_fmat->Info().num_col_ (1 vs. 2) : Number of columns does not match number of features in booster ) के साथ विफल हो जाते हैं।
• स्थिर 1.2.0 संस्करण और 1.2.0-SNAPSHOT के बीच व्यवहार का अंतर अप्रत्याशित था और मुझे काफी परेशान करता था। विशेष रूप से, 1.2.0 . से चेतावनी संदेश

WARNING: /xgboost/src/learner.cc:979: Number of columns does not match number of features in booster. Columns: 0 Features: 1

सी ++ कोडबेस के 1.2.0 संस्करण में नहीं मिला है। इसके बजाय, चेतावनी release_1.0.0 शाखा में मिलती है:
https://github.com/dmlc/xgboost/blob/ea6b117a5737f5beb2533fc89b3f3fcd72ecc04e/src/learner.cc#L972 -L982
तो क्या इसका मतलब यह है कि मावेन सेंट्रल पर 1.2.0 JAR फ़ाइल में 1.0.0 से libxgboost4j.so है ?? मैं

• दरअसल, मावेन सेंट्रल की 1.2.0 JAR फ़ाइल में libxgboost4j.so है जो वास्तव में 1.0.0 (!!!) है। पता लगाने के लिए, मावेन सेंट्रल से xgboost4j_2.12-1.2.0.jar डाउनलोड करें और libxgboost4j.so फ़ाइल निकालें। फिर लाइब्रेरी फ़ाइल के संस्करण को सत्यापित करने के लिए निम्न पायथन स्क्रिप्ट चलाएँ:

import ctypes

lib = ctypes.cdll.LoadLibrary('./libxgboost4j.so')

major = ctypes.c_int()
minor = ctypes.c_int()
patch = ctypes.c_int()

lib.XGBoostVersion(ctypes.byref(major), ctypes.byref(minor), ctypes.byref(patch))
print((major.value, minor.value, patch.value))  # prints (1, 0, 2), indicating version 1.0.2

• 1.0.0 मुद्दा एक तरफ, हम स्पष्ट रूप से देखते हैं कि प्रशिक्षित XGBoost मॉडल ने केवल एक विशेषता ( learner_model_param_.num_feature == 1 ) को मान्यता दी है। हो सकता है कि प्रशिक्षण डेटा में एक ऐसी सुविधा हो जो 100% खाली थी ?? @ranInc

क्या आप चाहते हैं कि मैं मॉडल बनाने के लिए इस्तेमाल किए गए डेटाफ्रेम को पकड़ लूं?
अगर मैं इसे पकड़ने में सक्षम हूं, तो मुझे लगता है कि मैं एक साधारण स्कैला कोड बना सकता हूं जो मॉडल बनाता है।

@ranInc मेरा संदेह यह है कि प्रशिक्षण डेटा में दो विशेषताओं में से एक में पूरी तरह से लापता मान शामिल हैं, learner_model_param_.num_feature को 1 पर सेट करना। तो हाँ, प्रशिक्षण डेटा देखना बहुत मददगार होगा।

ठीक है, मुझे लगता है कि मैं इसे कल तक तैयार कर लूँगा।

बेमेल libxgboost4j.so के मुद्दे पर नज़र रखने के लिए #6426 बनाया गया। यहां (#5957) आइए चर्चा करते हैं कि learner_model_param_.num_feature को 1 पर क्यों सेट किया जा रहा है।

ऐसा लगता है कि आप गलत हैं, प्रशिक्षण डेटा में कोई गुम मान नहीं है।
यहां उदाहरण कोड पर, विफलता को पुन: उत्पन्न करने के लिए पुन: विभाजन पर रिले करने के बजाय, मैंने भविष्यवाणी के लिए केवल एक पंक्ति (जिसमें केवल शून्य विशेषताएं हैं) का उपयोग किया।

features_creation.zip

import ml.dmlc.xgboost4j.scala.spark.XGBoostRegressor
import org.apache.spark.ml.Pipeline
import org.apache.spark.sql.SparkSession
import org.apache.spark.ml.PipelineModel
import org.apache.spark.sql.DataFrame

val df = spark.read.parquet("/tmp/6620294785024229130_only_features_creation").persist()
df.count()

val regressor = new XGBoostRegressor()
    .setFeaturesCol("features_6620294785024229130")
    .setLabelCol("label_6620294785024229130")
    .setPredictionCol("prediction")
    .setMissing(0.0F)
    .setMaxDepth(3)
    .setNumRound(100)
    .setNumWorkers(1)

val pipeline = new Pipeline().setStages(Array(regressor))
val model = pipeline.fit(df)

val pred = spark.read.parquet("/tmp/6620294785024229130_features").persist()
pred.count()
pred.where("account_code == 4011593987").show()
model.transform(pred.where("account_code == 4011593987")).show()