Xgboost: v1.2.1 और मास्टर शाखा में अलग भविष्यवाणी

को निर्मित 6 नव॰ 2020 · 35टिप्पणियाँ · स्रोत: dmlc/xgboost

मैं अजगर में इसकी आसान स्थापना के कारण विकास के लिए जारी संस्करण 1.2.1 का उपयोग कर रहा हूं और मैं c_api का उपयोग करके भविष्यवाणी के लिए एक सरल सी कोड भी लिखता हूं। यदि v1.2.1 libxgboost.so से लिंक किया गया है, तो अजगर और c के बीच भविष्यवाणियों का अंतर बिल्कुल शून्य है। हालांकि, अगर मास्टर शाखा से libxgboost.so से जुड़ा हुआ है (5 नवंबर, 2020 को f3a425398 प्रतिबद्ध), तो एक अंतर है।

मैं मास्टर शाखा का उपयोग करके वास्तविक सिस्टम में सी कोड को तैनात करना चाहता हूं क्योंकि मैं एक स्थिर lib बनाना चाहता हूं, और अब v1.2.1 और मास्टर शाखा के बीच भविष्यवाणियों का अंतर मुझे रोकता है।

धन्यवाद।

wontfix

स्रोत

7starsea

सबसे उपयोगी टिप्पणी

@ShvetsKS

क्या हम भविष्य में इस तरह के अंतर को महत्वपूर्ण मानते हैं? ऐसा लगता है कि यह एक महत्वपूर्ण प्रतिबंध है जो अनुमान के लिए फ़्लोटिंग पॉइंट ऑपरेशंस के अनुक्रम को बदलने की अनुमति नहीं देता है

वास्तव में, हम ( @RAMitchell , @ तुच्छफ़ीस , और मैं ) यहां आपसे सहमत हैं। भविष्यवाणी की सटीक प्रतिलिपि प्रस्तुत करने योग्यता को अनिवार्य रूप से परिवर्तन करने की हमारी क्षमता में गंभीर रूप से बाधा उत्पन्न होगी। फ़्लोटिंग-पॉइंट अंकगणित प्रसिद्ध रूप से गैर-सहयोगी है, इसलिए संख्या की सूची का योग जोड़ के क्रम के आधार पर थोड़ा अलग होगा।

XGBoost 1.2.0 और नवीनतम master शाखा के बीच भविष्यवाणी में कितना परिवर्तन होता है, इसे मापने के लिए मैंने एक प्रयोग चलाया है:
Distribution of change in prediction

मैंने 1000 अलग-अलग यादृच्छिक बीजों के साथ डेटा उत्पन्न किया और फिर 1.2.0 और मास्टर दोनों संस्करणों का उपयोग करते हुए 1000 मैट्रिक्स के साथ भविष्यवाणी की। भविष्यवाणी में परिवर्तन बीजों के बीच थोड़ा बदल जाता है, लेकिन अंतर कभी भी 9.2e-7 से अधिक नहीं होता है, इसलिए सबसे अधिक संभावना है कि भविष्यवाणी परिवर्तन फ्लोटिंग-पॉइंट अंकगणित के कारण हुआ था न कि तर्क त्रुटि के कारण ।

प्रयोग के लिए स्क्रिप्ट

**test.py**: अलग-अलग रैंडम बीजों के साथ 1000 मैट्रिसेस जेनरेट करें और उनके लिए प्रेडिक्शन चलाएं।

import numpy as np
import xgboost as xgb
import argparse

def main(args):
    m2 = xgb.Booster({'nthread': '4'})  # init model
    m2.load_model('xgb.model.bin')  # load data
    out = {}
    for seed in range(1000):
        rng = np.random.default_rng(seed=seed)
        rx = rng.standard_normal(size=(100, 127 + 7 + 1))
        rx = rx.astype(np.float32, order='C')
        dtest = xgb.DMatrix(rx, missing=0.0)
        out[str(seed)] = m2.predict(dtest)
    np.savez(args.out_pred, **out)

if __name__ == '__main__':
    parser = argparse.ArgumentParser()
    parser.add_argument('--out-pred', type=str, required=True)
    args = parser.parse_args()
    main(args)

कमांड: `पायथन test.py --out-pred [out.npz]`। सुनिश्चित करें कि आपके Python env में XGBoost का सही संस्करण है। आइए मान लें कि `xgb120.npz` XGBoost 1.2.0 के लिए परिणाम संग्रहीत करता है और `xgblatest.npz` नवीनतम मास्टर के लिए परिणाम संग्रहीत करता है। **तुलना करें.py**: भविष्यवाणी के अंतर के लिए हिस्टोग्राम प्लॉट बनाएं

import numpy as np
import matplotlib.pyplot as plt

xgb120 = np.load('xgb120.npz')
xgblatest = np.load('xgblatest.npz')

percentile_pts = [50, 90, 99]

colors = ['tab:cyan', 'tab:olive', 'tab:green', 'tab:pink']

percentile = {}
for x in percentile_pts:
    percentile[x] = []
percentile['max'] = []

for seed in range(1000):
    diff = np.abs(xgb120[str(seed)] - xgblatest[str(seed)])
    t = np.percentile(diff, percentile_pts)
    for x, y in zip(percentile_pts, t):
        percentile[x].append(y)
    percentile['max'].append(np.max(diff))

bins = np.linspace(0, np.max(percentile['max']), 100)
idx = 0
for x in percentile_pts:
    plt.hist(percentile[x], label=f'Percentile {x}%', bins=bins, alpha=0.8, color=colors[idx])
    idx += 1
plt.hist(percentile['max'], label='Max', bins=bins, alpha=0.8, color=colors[idx])
plt.legend(loc='best')
plt.title('Distribution in prediction difference between XGBoost 1.2.0\nand master branch, tried over seed=[0..1000]')
plt.xlabel('Absolute difference')
plt.ylabel('Frequency')
plt.savefig('foobar.png', dpi=100)

hcho3 13 नव॰ 2020

👍2

सभी 35 टिप्पणियाँ

क्या आप एक उदाहरण प्रोग्राम पोस्ट कर सकते हैं ताकि हम बग को पुन: उत्पन्न कर सकें?

hcho3 6 नव॰ 2020

साथ ही, क्या आपको Python पैकेज के मास्टर संस्करण और C API से भिन्न भविष्यवाणियां दिखाई देती हैं?

hcho3 6 नव॰ 2020

सीपीयू प्रेडिक्टर पर कुछ ऑप्टिमाइज़ेशन किए गए हैं, जो अलग-अलग फ्लोटिंग पॉइंट एरर से अलग परिणाम उत्पन्न कर सकते हैं। लेकिन हाँ, क्या आपके पास एक प्रतिलिपि प्रस्तुत करने योग्य उदाहरण है?

trivialfis 6 नव॰ 2020

साथ ही, क्या आपको Python पैकेज के मास्टर संस्करण और C API से भिन्न भविष्यवाणियां दिखाई देती हैं?

मैं अजगर पैकेज के v1.2.1 और सी एपीआई की मास्टर शाखा की तुलना कर रहा हूं।

7starsea 6 नव॰ 2020

@7starsea क्या आप मास्टर शाखा से पायथन और सी एपीआई दोनों के आउटपुट की तुलना भी कर सकते हैं? समस्या आपके एप्लिकेशन में C API फ़ंक्शंस का उपयोग करने का तरीका हो सकती है।

hcho3 6 नव॰ 2020

@7starsea क्या आप मास्टर शाखा से पायथन और सी एपीआई दोनों के आउटपुट की तुलना भी कर सकते हैं? समस्या आपके एप्लिकेशन में C API फ़ंक्शंस का उपयोग करने का तरीका हो सकती है।

मैंने अजगर और सी एपीआई की तुलना की, दोनों v1.2.1 से और भविष्यवाणियां बिल्कुल समान हैं।

7starsea 6 नव॰ 2020

@7starsea समझ गया। यदि आप Python और C दोनों प्रोग्राम पोस्ट करते हैं जो एक ही मॉडल से भविष्यवाणी करते हैं, तो हम समस्या का और निवारण करने में सक्षम होंगे।

hcho3 6 नव॰ 2020

@ hcho3 यहाँ परीक्षण कोड है

https://github.com/7starsea/xgboost-testing

7starsea 6 नव॰ 2020

👍2

@ 7starsea मैंने अभी आपके उदाहरण की कोशिश की और निम्न आउटपुट प्राप्त किया:

difference: [0. 0. 0. 0.] 0.0 0.0

मैंने XGBoost (debeae2509d90ec1d3402a3a185fba7a25113ff1) की नवीनतम प्रतिबद्धता का उपयोग किया।

hcho3 12 नव॰ 2020

@ 7starsea मैंने अभी आपके उदाहरण की कोशिश की और निम्न आउटपुट प्राप्त किया:
difference: [0. 0. 0. 0.] 0.0 0.0
मैंने XGBoost ( debeae2 ) की नवीनतम प्रतिबद्धता का उपयोग किया।

दिलचस्प है, क्या आपका अजगर संस्करण v1.2.1 है?

मुझे अभी भी XGBoost ( debeae2 ) से जुड़े अजगर-संस्करण 1.2.1 और c एपीआई के बीच कुछ अंतर है।

7starsea 12 नव॰ 2020

@7starsea नहीं, मैंने नवीनतम स्रोत से XGBoost संकलित किया है (प्रतिबद्ध debeae2509d90ec1d3402a3a185fba7a25113ff1), इसलिए यह v1.2.1 से अधिक हाल का है। मेरा XGBoost Python पैकेज 1.3.0-SNAPSHOT xgboost.__version__ फ़ील्ड के लिए

hcho3 12 नव॰ 2020

@ hcho3 मैं सोच रहा हूं कि क्या XGBoost को विभिन्न संस्करणों (कम से कम लगातार संस्करणों) के बीच लगातार भविष्यवाणी करनी चाहिए?
साथ ही v1.3.0 के रिलीज होने की उम्मीद है।
(ऐसा लगता है कि मुझे अब मास्टर शाखा का उपयोग करके मॉडल को प्रशिक्षित करने की आवश्यकता है)
आपके समय के लिए धन्यवाद।

7starsea 12 नव॰ 2020

@7starsea यदि आप किसी सहेजे गए मॉडल को पिछले संस्करण से लोड करते हैं, तो आपको लगातार पूर्वानुमान प्राप्त करने में सक्षम होना चाहिए।

मैं आपकी स्क्रिप्ट का उपयोग करके समस्या को पुन: उत्पन्न करने में सक्षम नहीं था। क्या आप डॉकर छवि या वीएम छवि बनाने की कोशिश कर सकते हैं और इसे मेरे साथ साझा कर सकते हैं?

hcho3 12 नव॰ 2020

@7starsea FYI करें, मैंने स्रोत से XGBoost 1.2.1 बनाने की भी कोशिश की, जो इस प्रकार है:

git clone --recursive https://github.com/dmlc/xgboost -b release_1.2.0 xgb_source
cd xgb_source
mkdir build
cd build
cmake ..
make
cd ../python-package
python setup.py install

परिणाम फिर से difference: [0. 0. 0. 0.] 0.0 0.0 दिखाते हैं

hcho3 12 नव॰ 2020

अंतर देखने के लिए, आपको XGBoost के दो संस्करण चाहिए, अजगर के लिए v1.2.1 और

dtest = xgb.DMatrix(rx, missing=0.0)
y1 = m2.predict(dtest)   # # internally using libxgboost.so  v1.2.1

और cpp . के लिए एक

m1 = XgbShannonPredictor(fname)
y2 = m1.predict(rx2)   # # internally using libxgboost.so from the master branch (debeae2)

मैं एक डॉकर छवि बनाने की कोशिश करूंगा (जो मेरे लिए नया है)।

7starsea 12 नव॰ 2020

मुझे देखने दो।

trivialfis 12 नव॰ 2020

मैं एक डॉकर छवि बनाने की कोशिश करूंगा (जो मेरे लिए नया है)।

आवश्यक नहीं।

trivialfis 12 नव॰ 2020

असल में, मैं समस्या को पुन: उत्पन्न करने में कामयाब रहा। यह पता चला है कि XGBoost का देव संस्करण XGBoost 1.2.0 की तुलना में एक अलग भविष्यवाणी करता है। और समस्या को पुन: पेश करना आसान है; सी एपीआई का उपयोग करने की आवश्यकता नहीं है।

प्रतिलिपि प्रस्तुत करने योग्य उदाहरण (संपादित करें: यादृच्छिक बीज की स्थापना):

import numpy as np
import xgboost as xgb

rng = np.random.default_rng(seed=2020)
rx = rng.standard_normal(size=(100, 127 + 7 + 1))
rx = rx.astype(np.float32, order='C')

m2 = xgb.Booster({'nthread': '4'})  # init model
m2.load_model('xgb.model.bin')  # load data

dtest = xgb.DMatrix(rx, missing=0.0)
y1 = m2.predict(dtest)
print(xgb.__version__)
print(y1)

1.2.0 से आउटपुट:

1.2.0
[ 0.00698659 -0.00211251  0.00180039 -0.00016004  0.00526169  0.00801963
  0.00016755  0.00226218  0.00276762  0.00408182  0.00303206  0.00291929
  0.01101092  0.0068329   0.00145864  0.00326979  0.00572816  0.01019934
  0.00074345  0.00784767  0.00173795 -0.00219297  0.0060181   0.00606489
  0.00447372  0.00103396  0.00932363  0.00230178  0.00389203  0.00151157
  0.0034163   0.00821933  0.006686    0.00630778  0.00331488  0.00775066
  0.00443819  0.01030204  0.00924486  0.00645933  0.00777653  0.00231206
  0.00457835  0.00390425  0.00947028  0.00410065  0.00220913  0.00292507
  0.00637993  0.00796807  0.00140873  0.00887537  0.00496858  0.01049942
  0.00908098  0.00332722  0.00799242  0.00228494  0.00463879  0.00213429
  0.00729388  0.01049232  0.00790522  0.01269361 -0.00425893  0.00256333
  0.00859573  0.00472835  0.00077197  0.00191873  0.01546788  0.0014475
  0.00888193  0.00648022  0.00115797  0.00351191  0.00580138  0.00614035
  0.00632426  0.00408354  0.00346044 -0.00034332  0.00599384  0.00302595
  0.00657633  0.01086903  0.00625807  0.00096565  0.00061804  0.00038511
  0.00523874  0.00633043  0.00379965  0.00302553 -0.00123322  0.00153473
  0.00725579  0.00836438  0.01295918  0.00737873]

ध्यान दें। XGBoost 1.0.0 और 1.1.0 के साथ स्क्रिप्ट चलाने से 1.2.0 के समान आउटपुट मिलता है।

देव संस्करण से आउटपुट (c5645180a6afb9d3d771165e681985fe3522adf6)

1.3.0-SNAPSHOT
[ 0.00698666 -0.00211278  0.00180034 -0.00016027  0.00526194  0.00801962
  0.00016758  0.00226211  0.00276773  0.00408198  0.00303223  0.00291933
  0.01101091  0.00683288  0.00145871  0.00326988  0.00572827  0.01019943
  0.00074329  0.00784767  0.00173803 -0.00219286  0.00601804  0.00606472
  0.00447388  0.00103391  0.00932358  0.00230171  0.003892    0.00151177
  0.00341637  0.00821943  0.00668607  0.00630774  0.00331502  0.00775074
  0.0044381   0.01030211  0.00924495  0.00645958  0.00777672  0.00231205
  0.00457842  0.00390424  0.00947046  0.00410091  0.0022092   0.00292498
  0.00638005  0.00796804  0.00140869  0.00887531  0.00496863  0.01049942
  0.00908096  0.00332738  0.00799218  0.00228496  0.004639    0.00213413
  0.00729368  0.01049243  0.00790528  0.01269368 -0.00425872  0.00256319
  0.00859569  0.00472848  0.0007721   0.00191874  0.01546813  0.00144742
  0.00888212  0.00648021  0.00115819  0.00351191  0.00580168  0.00614044
  0.00632418  0.0040833   0.00346038 -0.00034315  0.00599405  0.00302578
  0.0065765   0.01086897  0.00625799  0.00096572  0.00061766  0.00038494
  0.00523901  0.00633054  0.00379964  0.00302567 -0.00123339  0.00153471
  0.00725584  0.00836433  0.01295913  0.00737863]

hcho3 12 नव॰ 2020

@ hcho3 क्या आप इस पर गौर करना चाहते हैं? जरूरत पड़ने पर मैं द्विभाजित करने में मदद कर सकता हूं।

trivialfis 12 नव॰ 2020

एक सेकंड रुको, मैं अपने रेप्रो में यादृच्छिक बीज सेट करना भूल गया। मुझे मूर्ख।

hcho3 12 नव॰ 2020

मैंने अपने रेप्रो को निश्चित यादृच्छिक बीज के साथ अद्यतन किया। बग अभी भी कायम है। मैंने XGBoost 1.0.0 और 1.1.0 के साथ अपडेटेड रेप्रो चलाने की कोशिश की, और भविष्यवाणियां XGBoost 1.2.0 की भविष्यवाणी से सहमत हैं।

संक्षेप में:

Prediction from 1.0.0
==  Prediction from 1.1.0
==  Prediction from 1.2.0
!=  Prediction from latest master

@ट्रिवियलफिस हां, आपकी मदद की सराहना की जाएगी।

hcho3 12 नव॰ 2020

इसे अवरोधित करने के रूप में चिह्नित किया जा रहा है.

hcho3 12 नव॰ 2020

समझ लिया।

trivialfis 12 नव॰ 2020

a4ce0eae43f7e0e2f91566ef2360830b86b9fdcf का पता लगाया। @ShvetsKS क्या आप एक नज़र

trivialfis 12 नव॰ 2020

👍1

a4ce0ea का पता लगाया। @ShvetsKS क्या आप एक नज़र

ज़रूर। क्या आप अजगर पुनरुत्पादक से मॉडल को प्रशिक्षित करने में मदद कर सकते हैं:
m2.load_model('xgb.model.bin') # load data
प्रशिक्षण के लिए किस XGBoost संस्करण का उपयोग किया जाता है और वास्तव में कौन से पैरामीटर प्रदान किए जाने चाहिए?

ShvetsKS 12 नव॰ 2020

@ShvetsKS आप https://github.com/7starsea/xgboost-testing से मॉडल फ़ाइल xgb.model.bin प्राप्त कर सकते हैं । मॉडल को 1.0.0 के साथ प्रशिक्षित किया गया था।

hcho3 12 नव॰ 2020

@ShvetsKS आप https://github.com/7starsea/xgboost-testing से मॉडल फ़ाइल xgb.model.bin प्राप्त कर सकते हैं । मॉडल को 1.0.0 के साथ प्रशिक्षित किया गया था।

मॉडल को वास्तव में 1.2.1 और मापदंडों के साथ प्रशिक्षित किया गया था

 param = {'max_depth': 8, 'eta': 0.1, 'min_child_weight': 2, 'gamma': 1e-8, 'subsample': 0.6, 'nthread': 4}

धन्यवाद।

7starsea 12 नव॰ 2020

लगता है कि छोटा अंतर फ्लोटिंग पॉइंट ऑपरेशन के बदले हुए क्रम के कारण है।
_सटीक कारण:_
a4ce0ea से पहले हम सभी ट्री प्रतिक्रियाओं को स्थानीय चर psum (शुरुआत में शून्य के बराबर) में बढ़ाते हैं और out_preds से उचित मान में वृद्धि करते हैं।
A4ce0ea में हम प्रत्येक ट्री प्रतिक्रिया द्वारा सीधे out_preds मान बढ़ाते हैं।

फिक्स तैयार है: https://github.com/dmlc/xgboost/pull/6384

@ 7starsea अंतर खोजने के लिए धन्यवाद, क्या आप ऊपर दिए गए सुधार की जांच कर सकते हैं?

@ hcho3, @trivialfis हम भविष्य में महत्वपूर्ण के रूप में इस तरह के अंतर पर विचार करें? ऐसा लगता है कि यह एक महत्वपूर्ण प्रतिबंध है जो अनुमान के लिए फ़्लोटिंग पॉइंट ऑपरेशंस के अनुक्रम को बदलने की अनुमति नहीं देता है। लेकिन प्रशिक्षण चरण के लिए ऐसी कोई आवश्यकता नहीं है जो मुझे याद हो।

ShvetsKS 12 नव॰ 2020

👍1

क्या हम भविष्य में इस तरह के अंतर को महत्वपूर्ण मानते हैं?

आमतौर पर नहीं। मुझे आपके परिवर्तनों पर एक नज़र डालने दें। ;-)

trivialfis 12 नव॰ 2020

👍2

@ShvetsKS मैंने अभी जाँच की है और अंतर अब बिल्कुल शून्य है। भविष्यवाणी अंतर को ठीक करने के लिए धन्यवाद।

7starsea 12 नव॰ 2020

❤1

@ShvetsKS

क्या हम भविष्य में इस तरह के अंतर को महत्वपूर्ण मानते हैं? ऐसा लगता है कि यह एक महत्वपूर्ण प्रतिबंध है जो अनुमान के लिए फ़्लोटिंग पॉइंट ऑपरेशंस के अनुक्रम को बदलने की अनुमति नहीं देता है

प्रयोग के लिए स्क्रिप्ट

import numpy as np
import xgboost as xgb
import argparse

def main(args):
    m2 = xgb.Booster({'nthread': '4'})  # init model
    m2.load_model('xgb.model.bin')  # load data
    out = {}
    for seed in range(1000):
        rng = np.random.default_rng(seed=seed)
        rx = rng.standard_normal(size=(100, 127 + 7 + 1))
        rx = rx.astype(np.float32, order='C')
        dtest = xgb.DMatrix(rx, missing=0.0)
        out[str(seed)] = m2.predict(dtest)
    np.savez(args.out_pred, **out)

if __name__ == '__main__':
    parser = argparse.ArgumentParser()
    parser.add_argument('--out-pred', type=str, required=True)
    args = parser.parse_args()
    main(args)

import numpy as np
import matplotlib.pyplot as plt

xgb120 = np.load('xgb120.npz')
xgblatest = np.load('xgblatest.npz')

percentile_pts = [50, 90, 99]

colors = ['tab:cyan', 'tab:olive', 'tab:green', 'tab:pink']

percentile = {}
for x in percentile_pts:
    percentile[x] = []
percentile['max'] = []

for seed in range(1000):
    diff = np.abs(xgb120[str(seed)] - xgblatest[str(seed)])
    t = np.percentile(diff, percentile_pts)
    for x, y in zip(percentile_pts, t):
        percentile[x].append(y)
    percentile['max'].append(np.max(diff))

bins = np.linspace(0, np.max(percentile['max']), 100)
idx = 0
for x in percentile_pts:
    plt.hist(percentile[x], label=f'Percentile {x}%', bins=bins, alpha=0.8, color=colors[idx])
    idx += 1
plt.hist(percentile['max'], label='Max', bins=bins, alpha=0.8, color=colors[idx])
plt.legend(loc='best')
plt.title('Distribution in prediction difference between XGBoost 1.2.0\nand master branch, tried over seed=[0..1000]')
plt.xlabel('Absolute difference')
plt.ylabel('Frequency')
plt.savefig('foobar.png', dpi=100)

hcho3 13 नव॰ 2020

👍2

चूंकि यहां समस्या + जिसमें फ्लोट एक समूह नहीं बनाता है, हम हटाए गए योग के साथ परीक्षण कर सकते हैं: एक पेड़ पर भविष्यवाणी करें। परिणाम बिल्कुल वैसा ही होना चाहिए।

trivialfis 13 नव॰ 2020

@ ट्रिवियलफिस वास्तव में, जब मैंने ntree_limit=1 तर्क को m2.predict() जोड़ा, तो अंतर 0 हो जाता है।

hcho3 13 नव॰ 2020

महान! तो अगली बात यह है कि हम इसे कैसे दस्तावेज करते हैं या हमें इसे दस्तावेज करना चाहिए या नहीं।

trivialfis 13 नव॰ 2020

मुझे उस पर सोने दो। अभी के लिए, यह कहना पर्याप्त है कि यह समस्या वास्तव में कोई बग नहीं है।

hcho3 13 नव॰ 2020

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स

Xgboost: v1.2.1 और मास्टर शाखा में अलग भविष्यवाणी

सबसे उपयोगी टिप्पणी

सभी 35 टिप्पणियाँ

संबंधित मुद्दों