Xgboost: [jvm-packages] java.lang.NullPointerException: ml.dmlc.xgboost4j.java.Booster.predict에서 null

모델은 Python Sklearn을 통해 훈련되기 때문에 나중에 비호환성이 발생합니다. 시간을 절약하기 위해 알고리즘 팀은 Sklearn에서 훈련된 XGB 모델을 Python XgBoost 패키지 위로 한 계층 이동했습니다. 그게 원인이 되었는지 궁금합니다.

어떤 버전의 XGBoost를 사용하고 있습니까? 이전에 예측이 실패하고 빈 예측 버퍼를 계속 사용할 때 jvm 패키지가 예외를 올바르게 throw하지 않는 버그를 수정했습니다.

어떤 버전의 XGBoost를 사용하고 있습니까? 이전에 예측이 실패하고 빈 예측 버퍼를 계속 사용할 때 jvm 패키지가 예외를 올바르게 throw하지 않는 버그를 수정했습니다.

회사 알고리즘 플랫폼 버전 1.0을 사용하고 있으며, 버전 호환성 문제로 알고리즘 프로젝트 버전 0.9.0을 사용하고 있습니다. 알고리즘 동료들은 Python을 사용하여 1.0 모델 파일을 0.9.0으로 변환했습니다. 이 변형에 의한 것인지 궁금합니다.

1.2(https://github.com/dmlc/xgboost/issues/5734)를 기다렸다가 다시 시도하는 것이 좋습니다. 이 릴리스에는 몇 가지 중요한 버그 수정 사항이 있습니다. 또한 예측을 위해 동일하거나 이후의 xgboost 버전을 사용하는 것이 좋습니다. XGBoost의 바이너리 모델은 이전 버전과 호환되므로 앞으로 JSON 기반 모델을 권장합니다.

1.2.0에서도 같은 문제가 발생했습니다. 그래서 문제는 여전히 여기에 있습니다.

나는 또한 같은 문제가 발생했습니다.
xgboost4j를 사용하여 모델을 생성했습니다.

해결 방법이 있습니까?

이것은 저에게 큰 문제입니다. 생산 작업에 실패했습니다.

@ranInc 최신 버전의 XGBoost를 사용하고 있습니까? 지금까지 우리는 이 문제의 정확한 원인을 알지 못합니다. 최선을 다해 해결해 드리겠습니다. 언제 문제가 해결될지 보장할 수 없으므로 그 동안 대안을 조사해 보시기 바랍니다.

@ranInc 당신은 우리(개발자)가 우리 자신의 기계에서 실행할 수 있는 작은 예제 프로그램을 제공함으로써 우리를 도울 수 있습니다.

maven 저장소의 최신 jar인 1.2.0을 실행 중입니다.
나를 위한 대안은 saprk 2.4.5로 돌아가서 xgboost 0.9를 사용하는 것보다 - 그리고 이것이 내가 지금 하고 있는 일입니다.

예를 들어: 나중에 작업 실패의 원인이 되는 특정 모델/데이터를 찾아내겠습니다.

안녕,
특정 모델/데이터를 찾았습니다.
이 댓글에 첨부합니다.
xgb1.2_bug.zip

이것이 버그를 재생성하는 방법입니다(여기서 다시 분할 하지 않으면 작동합니다. 따라서 각 분할 영역의 데이터 양 또는 데이터 유형과 관련이 있음을 명심하십시오):

from pyspark.ml.pipeline import PipelineModel
from pyspark.sql import SparkSession
from pyspark.sql.dataframe import DataFrame

df = spark.read.parquet("/tmp/6620294785024229130_features").repartition(200).persist()
df.count()

model = PipelineModel.read().load("/tmp/6620294785024229130_model_xg_only")

predictions = model.transform(df)

predictions.persist()
predictions.count()
predictions.show()

이 문제를 언제 해결할 수 있는지 알고 있습니까?
이것은 내가 spark 3.0을 사용하는 것을 방지합니다 ...

@ranInc 아직 아닙니다. 버그 수정이 완료되면 알려드리겠습니다. 또한 Scala에 코드를 게시할 수 있습니까? 저는 우리가 XGBoost와 함께 PySpark의 사용을 공식적으로 지원한 적이 없다고 생각합니다.

      import org.apache.spark.ml.{Pipeline, PipelineModel}
      val df = spark.read.parquet("/tmp/6620294785024229130_features").repartition(200).persist()
      df.count()

      val model = PipelineModel.read.load("/tmp/6620294785024229130_model_xg_only")

      val predictions = model.transform(df)

      predictions.persist()
      predictions.count()
      predictions.show()

또 다른 포인터,
문제는 예측하기 위해 전송되는 모든 기능이 0/누락이기 때문인 것 같습니다.

아무도 이것에 대해 작업하지 않는 것 같아요?
이것은 기본적으로 xgboost가 spark 3에서 전혀 작동하지 않는다는 것을 의미합니다.

네, 죄송합니다. 지금 손이 꽉 찼습니다. 우리는 어느 시점에서 이 문제를 다룰 것입니다. 귀하의 양해를 정중히 부탁드립니다. 감사 해요.

@ranInc 오늘 시간이 좀 나서 여기에서 제공한 스크립트를 실행해 보았습니다. java.lang.NullPointerException 오류를 재현했습니다.

이상하게도 최신 개발 버전( master 분기)은 같은 방식으로 충돌하지 않습니다. 대신 오류가 발생합니다.

스레드 "main" org.apache.spark.SparkException의 예외: 단계 오류로 인해 작업 중단: 단계 7.0의 작업 0이 1회 실패, 가장 최근의 실패: 단계 7.0의 작업 0.0 손실(TID 11, d04389c5babb, 실행기 드라이버): ml.dmlc.xgboost4j.java.XGBoostError: [00:36:10] /workspace/src/learner.cc:1179: 확인 실패: Learner_model_param_.num_feature >= p_fmat->Info().num_col_(1 대 2) : 열 수가 부스터의 기능 수와 일치하지 않습니다.

더 조사하겠습니다.

오류 메시지가 이제 의미가 있다고 생각합니다. 입력에 예측 모델보다 더 많은 기능이 있습니다.

xgboost 실패 후 jvm 패키지가 계속되기 전에 빈 예측 버퍼가 생성됩니다. 최근에 체크 가드를 추가했습니다.

훈련 데이터 세트의 열 수가 예측 데이터 세트보다 크거나 같은지 확인하십시오.

안녕,
모델은 동일한 양의 기능을 사용하여 생성되었습니다.
스파크에서는 여러 열이 아닌 하나의 벡터 열을 사용합니다.
어쨌든 벡터의 크기는 적합과 예측을 위해 항상 동일합니다. 100% 확신합니다.

이것은 모든 0/누락된 기능이 있는 행과 관련이 있습니다.
모든 기능이 0인 행을 데이터 프레임에서 필터링하면 제대로 작동함을 알 수 있습니다.

@ranInc 모델을 생성한 전체 Scala 프로그램을 게시할 수 있습니까? 오류 메시지는 모델이 단일 기능으로 훈련되었음을 시사하는 것 같습니다.

코드가 매우 일반적이고 선의적인 변환기가 있기 때문에 많은 도움이 될 것이라고 생각하지 않습니다.
코드 자체는 대부분 스칼라가 아닌 pyspark입니다.

기능의 수가 문제가 아님을 확인하는 가장 좋은 방법은 모든 기능이 0인 행을 필터링하고 모델을 사용하는 것입니다. 이는 문제 없이 작동합니다.
또한 모든 행을 유지하고 데이터 프레임을 다시 분할하여 하나의 파티션을 사용할 수 있으며 그것도 작동합니다.

@ranInc 0으로 행을 필터링했지만 여전히 동일한 오류( java.lang.NullPointerException )에 직면했습니다.

...
df.na.drop(minNonNulls = 1)
...

이것이 올바른 방법이 아닌가?

코드가 매우 일반적이고 일부 선제적인 변환기가 있기 때문에 많은 도움이 될 것이라고 생각하지 않습니다.

학습 및 예측 시간에 얼마나 많은 기능이 사용되고 있는지 확인하고 싶습니다. 오류 메시지

ml.dmlc.xgboost4j.java.XGBoostError: [00:36:10] /workspace/src/learner.cc:1179: 확인 실패: Learner_model_param_.num_feature >= p_fmat->Info().num_col_(1 대 2) : 열 수가 부스터의 기능 수와 일치하지 않습니다.

모델이 단일 기능으로 학습되었고 예측이 두 가지 기능으로 수행되고 있음을 나타냅니다.

지금은 업로드한 데이터 프레임과 직렬화된 모델에만 액세스할 수 있습니다. 모델 교육에 무엇이 들어갔고 무엇이 잘못되었는지에 대한 통찰력이 부족하여 더 이상 문제를 해결하는 데 방해가 됩니다. 프로그램에 독점 정보가 있는 경우 깨끗한 예제를 생성할 수 있습니까?

1. 아니오, 당신은 이것을 할 수 있습니다:

import org.apache.spark.ml.linalg.{SparseVector, Vector}
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions.{callUDF, col}
.......
 val isVectorAllZeros = (col: Vector) => {
        col match {
          case sparse: SparseVector =>
            if(sparse.indices.isEmpty){
              true
            }else{
              false
            }
          case _ => false
        }
      }

      spark.udf.register("isVectorAllZeros", isVectorAllZeros)
      df = df.withColumn("isEmpty",callUDF("isVectorAllZeros",
        col("features_6620294785024229130"))).where("isEmpty == false")

다음과 같이 데이터 프레임을 다시 분할할 수도 있습니다.

....
df = df.repartition(1)
....

1. 이해합니다. 하지만 이 코드는 VectorAssembler를 사용하기 때문에 많은 정보를 제공하지 않으며 실제로 얼마나 많은 기능이 사용되었는지 알 수 없습니다.
   하지만 같은 양의 기능을 사용했다고 100% 확신합니다.

하지만 같은 양의 기능을 사용했다고 100% 확신합니다.

VectorAssembler가 다양한 수의 기능을 갖도록 하는 경우 이를 어떻게 보장했습니까?

VectorAssembler는 항상 동일한 양의 기능을 생성하며 가져올 열 이름만 있으면 됩니다.
코드 자체는 수천 개의 모델을 만드는 데 사용되므로 매우 일반적이며 기본적으로 사용할 이름 목록을 가져옵니다.

모델 생성을 다시 실행하고 모델에 사용된 데이터 프레임 또는 필요한 기타 데이터를 보낼 수 있습니다.
하지만 시간이 걸리고 이전에 보여드린 것을 사용하면 모델이 2가지 기능으로 잘 작동하는 것을 볼 수 있습니다.

@ranInc 한 가지 더 질문하겠습니다. 예제 데이터 에 최대 두 가지 기능 이 있는 희소 열(VectorAssembler)이 있다고 말하는 것이 맞습니까?

아니요.
VectorAssembler는 여러 열을 가져와 하나의 Vector 열에 넣는 Trasformer입니다.
벡터는 항상 스파크에 적합하고 예측하는 모델에 사용됩니다.

여기 예제 데이터 프레임에는 벡터 열이 있습니다.
일부 행에는 희소성이 있고 다른 행에는 밀집되어 있습니다. 모두 두 가지 기능을 가집니다.

@ranInc 따라서 모든 행에는 두 가지 기능이 있으며 일부 값은 누락되고 다른 값은 누락됩니다. 알았다. 빈 행 필터링에 대한 제안을 시도해 보겠습니다.

짐작하셨겠지만 저는 Spark 에코시스템에 익숙하지 않기 때문에 디버깅 노력이 상당히 어려울 수 있습니다. 우리는 현재 일반적으로 Spark 및 Scala 프로그래밍에 대해 더 많이 알고 있는 더 많은 개발자가 필요합니다. XGBoost의 JVM 패키지를 개선하는 데 도움을 주고 싶은 사람을 개인적으로 알고 계시다면 알려주십시오.

@ranInc 귀하의 제안에 따라 빈 행을 필터링하려고 시도했습니다.

import org.apache.spark.sql.SparkSession
import org.apache.spark.ml.{Pipeline, PipelineModel}
import org.apache.spark.ml.linalg.{SparseVector, Vector}
import org.apache.spark.sql.functions.{callUDF, col}

object Main extends App {
  val spark = SparkSession
      .builder()
      .appName("XGBoost4J-Spark Pipeline Example")
      .getOrCreate()

  val df = spark.read.parquet("/home/ubuntu/data/6620294785024229130_features").repartition(200).persist()
  df.show()

  val model = PipelineModel.read.load("/home/ubuntu/data/6620294785024229130_model_xg_only")

  val predictions = model.transform(df)

  predictions.persist()
  predictions.count()
  predictions.show()
}

import org.apache.spark.sql.SparkSession
import org.apache.spark.ml.{Pipeline, PipelineModel}
import org.apache.spark.ml.linalg.{SparseVector, Vector}
import org.apache.spark.sql.functions.{callUDF, col}

object Main extends App {
  val spark = SparkSession
      .builder()
      .appName("XGBoost4J-Spark Pipeline Example")
      .getOrCreate()

  val isVectorAllZeros = (col: Vector) => {
    col match {
      case sparse: SparseVector => (sparse.indices.isEmpty)
      case _ => false
    }
  }
  spark.udf.register("isVectorAllZeros", isVectorAllZeros)

  val df = spark.read.parquet("/home/ubuntu/data/6620294785024229130_features").repartition(200).persist()
                .withColumn("isEmpty", callUDF("isVectorAllZeros", col("features_6620294785024229130")))
                .where("isEmpty == false")
  df.show()

  val model = PipelineModel.read.load("/home/ubuntu/data/6620294785024229130_model_xg_only")

  val predictions = model.transform(df)

  predictions.persist()
  predictions.count()
  predictions.show()
}

몇 가지 관찰

• 안정적인 1.2.0 릴리스에서는 프로그램 A 에서 java.lang.NullPointerException 오류가 발생합니다. NPE 직전에 Spark 실행 로그에 다음 경고가 표시됩니다.

WARNING: /xgboost/src/learner.cc:979: Number of columns does not match number of features in booster. Columns: 0 Features: 1

• 안정적인 1.2.0 릴리스에서는 프로그램 B 가 오류 없이 성공적으로 완료됩니다.
• 개발 버전(최신 master 분기, 커밋 42d31d9dcb6f7c1cb7d0545e9ab3a305ecad0816)을 사용하면 프로그램 A 와 프로그램 B 가 모두 다음 오류와 함께 실패합니다.

[12:44:57] /home/ubuntu/xgblatest/src/learner.cc:1179: Check failed: learner_model_param_.num_feature >= p_fmat->Info().num_col_ (1 vs. 2) : Number of columns does not match number of features in booster.                                                                                                        
Stack trace:                                                                                                                                   
  [bt] (0) /tmp/libxgboost4j14081654332866852928.so(dmlc::LogMessageFatal::~LogMessageFatal()+0x79) [0x7f7ef62c4e19]                             [bt] (1) /tmp/libxgboost4j14081654332866852928.so(xgboost::LearnerImpl::ValidateDMatrix(xgboost::DMatrix*, bool) const+0x20b) [0x7f7ef63f5f0b]                                                                                                                                              
  [bt] (2) /tmp/libxgboost4j14081654332866852928.so(xgboost::LearnerImpl::Predict(std::shared_ptr<xgboost::DMatrix>, bool, xgboost::HostDeviceVector<float>*, unsigned int, bool, bool, bool, bool, bool)+0x3c3) [0x7f7ef6400233]                                                             
  [bt] (3) /tmp/libxgboost4j14081654332866852928.so(XGBoosterPredict+0xec) [0x7f7ef62caa3c]                                                      [bt] (4) /tmp/libxgboost4j14081654332866852928.so(Java_ml_dmlc_xgboost4j_java_XGBoostJNI_XGBoosterPredict+0x47) [0x7f7ef62befd7]             
  [bt] (5) [0x7f80908a8270]

@ranInc 에 따르면 모델은 두 가지 기능이 있는 데이터로 훈련되었기 때문에 이상합니다.

• 소스에서 1.2.0-SNAPSHOT 버전을 빌드했습니다(커밋 71197d1dfa27c80add9954b10284848c1f165c40). 이번에는 프로그램 A 와 프로그램 B 모두 기능 불일치 오류( learner_model_param_.num_feature >= p_fmat->Info().num_col_ (1 vs. 2) : Number of columns does not match number of features in booster )로 실패합니다.
• 안정적인 1.2.0 버전과 1.2.0-SNAPSHOT 의 동작 차이는 예상하지 못했던 일이었고 저를 상당히 긴장하게 만들었습니다. 특히 1.2.0의 경고 메시지

WARNING: /xgboost/src/learner.cc:979: Number of columns does not match number of features in booster. Columns: 0 Features: 1

1.2.0 버전의 C++ 코드베이스에는 없습니다. 대신 release_1.0.0 분기에서 경고를 찾을 수 있습니다.
https://github.com/dmlc/xgboost/blob/ea6b117a5737f5beb2533fc89b3f3fcd72ecc04e/src/learner.cc#L972 -L982
그렇다면 Maven Central의 1.2.0 JAR 파일에 1.0.0의 libxgboost4j.so 가 있다는 뜻인가요? 🤯 😱

• 실제로 Maven Central의 1.2.0 JAR 파일에는 실제로 1.0.0(!!!)인 libxgboost4j.so 가 포함되어 있습니다. 확인하려면 Maven Central 에서 xgboost4j_2.12-1.2.0.jar 를 다운로드하고 libxgboost4j.so 파일을 추출하십시오. 그런 다음 다음 Python 스크립트를 실행하여 라이브러리 파일의 버전을 확인합니다.

import ctypes

lib = ctypes.cdll.LoadLibrary('./libxgboost4j.so')

major = ctypes.c_int()
minor = ctypes.c_int()
patch = ctypes.c_int()

lib.XGBoostVersion(ctypes.byref(major), ctypes.byref(minor), ctypes.byref(patch))
print((major.value, minor.value, patch.value))  # prints (1, 0, 2), indicating version 1.0.2

• 1.0.0 문제는 제쳐두고 훈련된 XGBoost 모델이 단일 기능( learner_model_param_.num_feature == 1 )만 ​​인식했음을 분명히 알 수 있습니다. 훈련 데이터에 100% 비어 있는 기능이 있었을까요? @ranInc

모델을 만드는 데 사용된 데이터 프레임을 가져오시겠습니까?
잡을 수만 있다면 모델을 생성하는 간단한 스칼라 코드를 만들 수 있을 것 같아요.

@ranInc 내 의심은 훈련 데이터의 두 기능 중 하나가 완전히 결측값으로 구성되어 learner_model_param_.num_feature 를 1로 설정했다는 것입니다. 예, 훈련 데이터를 보는 것이 매우 도움이 될 것입니다.

알겠습니다. 내일까지 준비할 수 있을 것 같습니다.

libxgboost4j.so 불일치 문제를 추적하기 위해 #6426을 만들었습니다. 여기(#5957) learner_model_param_.num_feature 가 1로 설정되는 이유에 대한 논의를 계속하겠습니다.

잘못된 것 같습니다. 훈련 데이터에는 결측값이 없습니다.
여기 예제 코드에서 실패를 재현하기 위해 재분할을 중계하는 대신 예측에 하나의 행(기능이 0개만 있는)만 사용했습니다.

features_creation.zip

import ml.dmlc.xgboost4j.scala.spark.XGBoostRegressor
import org.apache.spark.ml.Pipeline
import org.apache.spark.sql.SparkSession
import org.apache.spark.ml.PipelineModel
import org.apache.spark.sql.DataFrame

val df = spark.read.parquet("/tmp/6620294785024229130_only_features_creation").persist()
df.count()

val regressor = new XGBoostRegressor()
    .setFeaturesCol("features_6620294785024229130")
    .setLabelCol("label_6620294785024229130")
    .setPredictionCol("prediction")
    .setMissing(0.0F)
    .setMaxDepth(3)
    .setNumRound(100)
    .setNumWorkers(1)

val pipeline = new Pipeline().setStages(Array(regressor))
val model = pipeline.fit(df)

val pred = spark.read.parquet("/tmp/6620294785024229130_features").persist()
pred.count()
pred.where("account_code == 4011593987").show()
model.transform(pred.where("account_code == 4011593987")).show()