Xgboost: feature_names tidak cocok saat menggunakan matriks sparse dengan Python

Tampaknya ini hanya berfungsi jika matriks sparse adalah CSC. Ini tidak berfungsi untuk matriks CSR atau COO seperti versi sebelumnya.

Bukankah masalah acak terjadi ketika kolom paling kanan semuanya 0 atau 1? Mungkin sama dengan #1091 dan #1221.

@sinhrks : Bagi saya, itu bukan "acak". Saya sering melatih XGBoost pada data yang sangat jarang (dan itu luar biasa! Biasanya mengalahkan semua model lain, dan dengan margin yang cukup lebar).

Kemudian, setelah model terlatih berjalan dalam produksi, tentu saja saya ingin membuat prediksi pada data baru yang masuk. Data itu, tentu saja, sangat mungkin jarang dan tidak memiliki nilai untuk kolom apa pun yang kebetulan menjadi kolom terakhir. Jadi XGBoost sekarang sering rusak untuk saya, dan saya mendapati diri saya beralih ke model lain (kurang akurat), hanya karena mereka mendapat dukungan yang lebih baik untuk data yang jarang.

Adakah yang tahu persis mengapa kesalahan ini sekarang muncul dan bagaimana cara mengatasinya? Ini adalah titik sakit bagi saya karena skrip saya yang ada gagal.

Saya mencoba xgboost sebagai bagian dari pipa sklearn dan mengalami masalah yang sama. Apakah ada solusi sampai diperbaiki?

Ya, saat Anda memanggil predict, gunakan fungsi toarray() dari sparse array. Ini sangat tidak efisien dengan memori, tetapi bisa diterapkan dengan irisan kecil.

dikirim dari iPhone saya

Pada 26 Agustus 2016, pukul 22:44, Pedro Rodriguez [email protected] menulis:

Saya mencoba xgboost sebagai bagian dari pipa sklearn dan mengalami masalah yang sama. Apakah ada solusi sampai diperbaiki?

—
Anda menerima ini karena Anda berkomentar.
Balas email ini secara langsung, lihat di GitHub, atau matikan utasnya.

Untuk beberapa alasan kesalahan tidak terjadi jika saya menyimpan dan memuat model terlatih:

    bst = xgb.train(param, dtrain, num_round)

    # predict is not working without this code
    bst.save_model(model_file_name)
    bst = xgb.Booster(param)
    bst.load_model(model_file_name)

    preds = bst.predict(dtest)

@bryan-woods Saya dapat menemukan pekerjaan yang lebih baik dengan tocsc . Mungkin ada beberapa penalti kinerja tetapi tidak seburuk membuatnya menjadi matriks yang padat.

Termasuk ini dalam pipa sklearn saya tepat sebelum xgboost berfungsi

class CSCTransformer(TransformerMixin):
    def transform(self, X, y=None, **fit_params):
        return X.tocsc()

    def fit_transform(self, X, y=None, **fit_params):
        self.fit(X, y, **fit_params)
        return self.transform(X)

    def fit(self, X, y=None, **fit_params):
        return self

    def get_params(self, deep=True):
        return {}

Baik format CSC maupun penambahan entri bukan nol ke dalam kolom terakhir tidak memperbaiki masalah di versi terbaru xgboost. Mengembalikan kembali ke versi 0.4a30 adalah satu-satunya hal yang bisa saya lakukan untuk membuatnya bekerja, pertimbangkan tweak berikut (dengan seed yang dapat direproduksi) pada contoh aslinya:

>>> import xgboost as xgb
>>> import numpy as np
>>> from scipy import sparse
>>> 
>>> np.random.seed(10)
>>> X = sparse.rand(100,10).tocsr()
>>> test = sparse.rand(10, 500).tocsr()
>>> y = np.random.randint(2,size=100)
>>> 
>>> clf = xgb.XGBClassifier()
>>> clf.fit(X,y)
XGBClassifier(base_score=0.5, colsample_bylevel=1, colsample_bytree=1,
       gamma=0, learning_rate=0.1, max_delta_step=0, max_depth=3,
       min_child_weight=1, missing=None, n_estimators=100, nthread=-1,
       objective='binary:logistic', reg_alpha=0, reg_lambda=1,
       scale_pos_weight=1, seed=0, silent=True, subsample=1)
>>> 
>>> try:
...     pred = clf.predict_proba(test)
...     print "Works when csr with version %s" %xgb.__version__
... except ValueError:
...     "Broken when csr with version %s" %xgb.__version__
... 
'Broken when csr with version 0.6'
>>> try:
...     pred = clf.predict_proba(test.tocsc())
...     print "Works when csc with version %s" %xgb.__version__
... except ValueError:
...     "Still broken when csc with version %s" %xgb.__version__
... 
'Still broken when csc with version 0.6'
>>> try:
...     test[0,(test.shape[1]-1)] = 1.0
...     pred = clf.predict_proba(test)
...     print "Works when adding non-zero entries to last column with version %s" %xgb.__version__
... except ValueError:
...     "Still broken when adding non-zero entries to last column with version %s" %xgb.__version__
... 
/home/david.mcgarry/.conda/envs/ml/lib/python2.7/site-packages/scipy/sparse/compressed.py:730: SparseEfficiencyWarning: Changing the sparsity structure of a csr_matrix is expensive. lil_matrix is more efficient.
  SparseEfficiencyWarning)
'Still broken when adding non-zero entries to last column with version 0.6'

>>> import xgboost as xgb
>>> import numpy as np
>>> from scipy import sparse
>>> 
>>> np.random.seed(10)
>>> X = sparse.rand(100,10).tocsr()
>>> test = sparse.rand(10, 500).tocsr()
>>> y = np.random.randint(2,size=100)
>>> 
>>> clf = xgb.XGBClassifier()
>>> clf.fit(X,y)
XGBClassifier(base_score=0.5, colsample_bylevel=1, colsample_bytree=1,
       gamma=0, learning_rate=0.1, max_delta_step=0, max_depth=3,
       min_child_weight=1, missing=None, n_estimators=100, nthread=-1,
       objective='binary:logistic', reg_alpha=0, reg_lambda=1,
       scale_pos_weight=1, seed=0, silent=True, subsample=1)
>>> 
>>> try:
...     pred = clf.predict_proba(test)
...     print "Works when csr with version %s" %xgb.__version__
... except ValueError:
...     "Broken when csr with version %s" %xgb.__version__
... 
Works when csr with version 0.4
>>> try:
...     pred = clf.predict_proba(test.tocsc())
...     print "Works when csc with version %s" %xgb.__version__
... except ValueError:
...     "Still broken when csc with version %s" %xgb.__version__
... 
Works when csc with version 0.4
>>> try:
...     test[0,(test.shape[1]-1)] = 1.0
...     pred = clf.predict_proba(test)
...     print "Works when adding non-zero entries to last column with version %s" %xgb.__version__
... except ValueError:
...     "Still broken when adding non-zero entries to last column with version %s" %xgb.__version__
... 
/Users/david.mcgarry/anaconda/envs/ml/lib/python2.7/site-packages/scipy/sparse/compressed.py:739: SparseEfficiencyWarning: Changing the sparsity structure of a csr_matrix is expensive. lil_matrix is more efficient.
  SparseEfficiencyWarning)
Works when adding non-zero entries to last column with version 0.4

Masalah yang sama di sini, pasti ada yang rusak di rilis terakhir. Tidak memiliki masalah ini sebelumnya dengan dataset dan pemrosesan yang sama. Saya mungkin salah, tetapi sepertinya saat ini tidak ada unit test dengan sparse csr arrays di Python menggunakan sklearn API. Apakah mungkin untuk menambahkan contoh @dmcgarry di atas ke tests/python/tests_with_sklearn.py ?

Saya mencoba mengatasinya menggunakan .toarray() dengan array CSR yang jarang, tetapi ada sesuatu yang rusak parah. Jika saya memuat model yang disimpan dan mencoba menggunakannya untuk membuat prediksi dengan .toarray(), saya tidak mendapatkan pesan kesalahan tetapi hasilnya salah. Saya memutar kembali ke 0.4a30 dan berfungsi dengan baik. Saya tidak punya waktu untuk mengejar akar masalahnya, tetapi itu tidak baik.

Masalah terjadi karena DMatrix..num_col() hanya mengembalikan jumlah kolom bukan nol dalam matriks sparse. Oleh karena itu, jika data latih & uji memiliki jumlah kolom bukan nol yang sama, semuanya berfungsi dengan baik.
Jika tidak, Anda akan mendapatkan daftar nama fitur yang berbeda, karena fungsi validasi memanggil:

    <strong i="7">@property</strong>
    def feature_names(self):
        """Get feature names (column labels).

        Returns
        -------
        feature_names : list or None
        """
        if self._feature_names is None:
            return ['f{0}'.format(i) for i in range(self.num_col())]
        else:
            return self._feature_names

self._feature_names adalah None untuk matriks sparse, dan karena self.num_col() hanya mengembalikan jumlah kolom bukan nol, validasi gagal segera setelah jumlah kolom bukan nol di "to-be- diprediksi" data berbeda dari jumlah kolom bukan nol dalam data pelatihan.

Belum tahu, di mana tempat terbaik untuk memperbaikinya.

Saya juga khawatir, bahwa ada masalah mendasar dengan penanganan matriks yang jarang, karena apa yang dilaporkan @bryan-woods: Katakanlah, kami memiliki x kolom nol baik di kereta maupun dalam pengujian, tetapi dengan indeks yang berbeda => Akan ada tidak ada kesalahan, karena "feature_names(self)" mengembalikan daftar fitur yang sama untuk kedua set, tetapi prediksinya mungkin salah, karena indeks kolom bukan nol yang cocok antara kereta dan pengujian.

Apakah ada yang bekerja pada masalah ini? Adakah yang setidaknya memiliki unit test yang dikembangkan yang dapat kita gunakan untuk mengembangkannya?

Saya belum mengerjakannya tetapi contoh @dmcgarry di atas dapat digunakan sebagai awal dari unit test, saya pikir,

import xgboost as xgb
import numpy as np
import scipy.sparse


def test_xgbclassifier_sklearn_sparse():
    np.random.seed(10)
    X = scipy.sparse.rand(100,10).tocsr()
    test = scipy.sparse.rand(10, 500).tocsr()
    y = np.random.randint(2,size=100)

    clf = xgb.XGBClassifier()
    clf.fit(X,y)
    pred = clf.predict_proba(test)

Saya membuat beberapa tes array jarang baru di garpu repo saya. Bagi yang berminat :
https://github.com/bryan-woods/xgboost/blob/sparse_test/tests/python/test_scipy_sparse.py

Untuk menjalankan tes dari direktori root checkout:
python -m tes hidung/python/test_scipy_sparse.py

Anda akan melihat bahwa kedua tes gagal. Ini setidaknya akan memberikan ujian untuk dikembangkan.

Saya juga mengalami masalah ini, tetapi saya tidak dapat menemukan cara terbaik untuk memperbaikinya sampai akhirnya diselesaikan di lib.

pindah ke https://github.com/dmlc/xgboost/issues/1583

Anda dapat menambahkan fitur ke daftar fitur Anda dengan indeks fitur maksimal, seperti maxid:0

melewati kerangka data memecahkan masalah bagi saya

bagaimana saya bisa kembali ke versi 0.4?

instal pip --upgrade xgboost==0.4a30

Semua jenis matriks jarang tidak berfungsi untuk saya (saya bekerja dengan data tf-idf). Saya harus kembali ke versi sebelumnya. Terima kasih atas tipnya!

Anda semua yang masih mengalami masalah: apakah kode yang Anda gunakan menyertakan perbaikan di #1606 ?

Ya, saya telah menginstal xgboost versi terakhir dan saya masih mengalami masalah ini.

Ini masih ada dan mudah direproduksi. Jika Anda menggunakan kumpulan data yang cukup besar, hal ini kecil kemungkinannya terjadi, tetapi jika Anda membungkusnya dalam objek pencarian kisi, hal ini hampir pasti terjadi dalam pemisahan cv di mana fitur yang tersedia di kumpulan pengujian train/cv berbeda.

Sejujurnya, saya tidak begitu mengerti mengapa DMatrix mengabaikan petunjuk bentuk yang disediakan oleh matriks scipy sparse. Itu harus mengatur ukuran berdasarkan informasi itu alih-alih menghitungnya.

Saya menggunakan API asli Xgboost Python (0.6) dan saya mendapatkan kesalahan yang sama saat memuat DMatrix dari file format LIBSVM [jarang], jika ada baris yang berisi kolom terakhir yang ditentukan. Solusi saya adalah mendefinisikan kolom dummy di baris pertama :(

train_fv_file = 'train_fv_eval.svm'
dtrain = xgb.DMatrix(train_fv_file, feature_names=feature_vector_labels, feature_types=feature_vector_types)

Jika sangat mudah untuk direproduksi, apakah ada yang mau memberikan contoh yang dapat direproduksi? Sebaiknya, tanpa lapisan sklearn (untuk mengisolasi kemungkinan penyebab).

@gabrielspmoreira : Saya mengerti maksud Anda tentang memuat dari file LIBSVM yang memiliki beberapa kolom terakhir yang benar-benar jarang... Metode konstruksi DMatrix itu akan mendapat manfaat dari petunjuk num_col juga.

In [42]: matrix = xgboost.DMatrix(scipy.sparse.csr_matrix([[0, 2, 3, 0], [0, 2, 2, 0], [1, 0, 5, 0], [0, 1, 0, 0]], shape=(4,4)))
In [43]: matrix.num_col()
Out[43]: 3L

Setiap kali DMatrix baru dibuat pada subsampel baris/kolom, ada kemungkinan hal ini terjadi (jumlah kolom berkurang meskipun kami secara eksplisit memberi tahu DMatrix berapa banyak kolom yang ada). Hal ini sering terjadi untuk kumpulan data yang lebih kecil atau kolom yang sangat jarang karena kemungkinan besar subset semuanya nol.

Setelah ini terjadi di antara rangkaian kereta/pengujian, model tidak dapat mengevaluasi rangkaian pengujian karena mengharapkan jumlah fitur yang berbeda dan mengeluarkan ValueError.

Saya mencoba menemukan tes di mana ini berfungsi/tidak berfungsi dalam xgboost core dan sklearn-wrapper karena saya yakin apa yang terjadi, tetapi saya tidak tahu di mana itu terjadi.

@l3link : kode Anda sepertinya sudah ketinggalan zaman. Inilah yang saya dapatkan:

In [2]: import scipy
   ...: import xgboost
   ...: matrix = xgboost.DMatrix(scipy.sparse.csr_matrix([[0, 2, 3, 0], [0, 2, 2, 0], [1, 0, 5, 0], [0, 1, 0, 0]], shape=(4,4)))
   ...: matrix.num_col()
   ...:
Out[2]: 4L

In [3]: matrix._init_from_csr??
Signature: matrix._init_from_csr(csr)
Source:
    def _init_from_csr(self, csr):
        """
        Initialize data from a CSR matrix.
        """
        if len(csr.indices) != len(csr.data):
            raise ValueError('length mismatch: {} vs {}'.format(len(csr.indices), len(csr.data)))
        self.handle = ctypes.c_void_p()
        _check_call(_LIB.XGDMatrixCreateFromCSREx(c_array(ctypes.c_size_t, csr.indptr),
                                                  c_array(ctypes.c_uint, csr.indices),
                                                  c_array(ctypes.c_float, csr.data),
                                                  len(csr.indptr), len(csr.data),
                                                  csr.shape[1],
                                                  ctypes.byref(self.handle)))
File:      c:\anaconda2\lib\site-packages\xgboost-0.6-py2.7.egg\xgboost\core.py
Type:      instancemethod

Hah,

In [64]: xgboost.__version__ Out[64]: '0.6'

Signature: matrix._init_from_csr(csr) Source: def _init_from_csr(self, csr): """ Initialize data from a CSR matrix. """ if len(csr.indices) != len(csr.data): raise ValueError('length mismatch: {} vs {}'.format(len(csr.indices), len(csr.data))) self.handle = ctypes.c_void_p() _check_call(_LIB.XGDMatrixCreateFromCSR(c_array(ctypes.c_ulong, csr.indptr), c_array(ctypes.c_uint, csr.indices), c_array(ctypes.c_float, csr.data), len(csr.indptr), len(csr.data), ctypes.byref(self.handle))) File: ~/anaconda/lib/python2.7/site-packages/xgboost/core.py Type: instancemethod

Tampaknya aneh bahwa versi .6 saya memiliki instruksi XGDMatrixCreateFromCSR alih-alih XGDMatrixCreateFromCSREx, yang tidak berbentuk.
Apakah mungkin distribusi osx berbeda?

Saya juga khawatir, bahwa ada masalah mendasar dengan penanganan matriks yang jarang, karena apa yang dilaporkan @bryan-woods: Katakanlah, kami memiliki x kolom nol baik di kereta maupun dalam pengujian, tetapi dengan indeks yang berbeda => Akan ada tidak ada kesalahan, karena "feature_names(self)" mengembalikan daftar fitur yang sama untuk kedua set, tetapi prediksinya mungkin salah, karena indeks kolom bukan nol yang cocok antara kereta dan pengujian.

Bisakah seseorang tolong jawab pertanyaan ini? Saya kembali ke versi 0,4 dan sekarang tampaknya berfungsi tetapi saya khawatir jika itu berfungsi dengan baik karena saya masih menggunakan matriks yang sangat jarang.

@l3link tidak ada yang aneh tentang itu: nomor versi (atau paket pypi) terkadang tidak diperbarui untuk waktu yang lama. Misalnya, file https://github.com/dmlc/xgboost/blob/master/python-package/xgboost/VERSION pada hari ini terakhir diubah pada 29 Juli, dan paket pypi terakhir https://pypi.python. org/pypi/xgboost/ tertanggal 9 Agustus. Sedangkan perbaikannya diserahkan pada 23 September #1606. Silakan periksa kode terbaru dari github.

Saya mengalami masalah ini ketika saya menggunakan pandas DataFrame (representasi tidak jarang).
Saya mengonversinya menjadi numpy ndarray melalui df.as_matrix() , dan saya menghilangkan kesalahan.

Saya juga menghilangkan kesalahan ini setelah mengonversi kerangka data ke array.

Menata ulang kolom di set-tes dalam urutan yang sama dengan set kereta memperbaikinya untuk saya.
Saya menggunakan kerangka data Pandas. Tanpa ini, menggunakan .as_matrix() menimbulkan masalah yang sama.

Ya:

test = test[train.columns]

Saya mencoba solusi @warpuv dan berhasil. Data saya besar, saya tidak dapat memuatnya ke memori untuk menyusun ulang kolom.

Mengonversi matriks csr kereta/tes ke csc berhasil untuk saya

Xtrain = scipy.sparse.csc_matrix(Xtrain)

Mengonversi ke csc_matrix berfungsi, diuji pada 0.6a2 :

    X_train = scipy.sparse.csc_matrix(X_train)
    X_test = scipy.sparse.csc_matrix(X_test)

    xgb_train = xgb.DMatrix(X_train, label=y_train)
    xgb_test = xgb.DMatrix(X_test, label=y_test)

type(X_train) <class 'scipy.sparse.csr.csr_matrix'>
type(X_test) <class 'scipy.sparse.csr.csr_matrix'>
type(X_train) <class 'scipy.sparse.csc.csc_matrix'>
type(X_test) <class 'scipy.sparse.csc.csc_matrix'>
type(xgb_train) <class 'xgboost.core.DMatrix'>
type(xgb_test) <class 'xgboost.core.DMatrix'>

Matriks sparse asli saya adalah output dari sklearn tf-idf vectorizer dalam format csr_matrix .

Apakah ada perbaikan belum?

Baru saja membuat versi terbaru (0.7.post3) di python3 dan saya dapat mengonfirmasi bahwa masalah ini masih ada. Setelah mengadaptasi @dmcgarry contoh di atas, saya masih melihat masalah dengan csr_matrix dan csc_matrix .

import xgboost as xgb
import numpy as np
from scipy import sparse

np.random.seed(10)

X_csr = sparse.rand(100, 10).tocsr()
test_csr = sparse.rand(10, 500).tocsr()

X_csc = sparse.rand(100, 10).tocsc()
test_csc = sparse.rand(10, 500).tocsc()

y = np.random.randint(2, size=100)

clf_csr = xgb.XGBClassifier()
clf_csr.fit(X_csr, y)

clf_csc = xgb.XGBClassifier()
clf_csc.fit(X_csc, y)

# Try with csr
try:
    pred = clf_csr.predict_proba(test_csr)
    print("Works when csr with version %s" %xgb.__version__)
except ValueError:
    print("Broken when csr with version %s" %xgb.__version__)

try:
    test_csr[0,(test_csr.shape[1]-1)] = 1.0
    pred = clf_csr.predict_proba(test_csr)
    print("Works when adding non-zero entries to last column with version %s" %xgb.__version__)
except:
    print("Still broken when adding non-zero entries to last column with version %s" %xgb.__version__)

# Try with csc
try:
    pred = clf_csc.predict_proba(test_csc)
    print("Works when csc with version %s" %xgb.__version__)
except ValueError:
    print("Broken when csc with version %s" %xgb.__version__)

try:
    test_csc[0,(test_csc.shape[1]-1)] = 1.0
    pred = clf_csc.predict_proba(test_csc)
    print("Works when adding non-zero entries to last column with version %s" %xgb.__version__)
except:
    print("Still broken when adding non-zero entries to last column with version %s" %xgb.__version__)

Kode di atas menghasilkan output berikut:

Broken when csr with version 0.7
Still broken when adding non-zero entries to last column with version 0.7
Broken when csc with version 0.7
Still broken when adding non-zero entries to last column with version 0.7

tolong bantu

Mengapa masalah ini ditutup?

Saya menemukan masalah ini dua kali baru-baru ini. Untuk satu kasus, saya cukup mengubah kerangka data input menjadi array dan berfungsi. Untuk yang kedua, saya harus menyelaraskan kembali nama kolom dari kerangka data pengujian menggunakan test_df = test_df[train_df.columns]. Dalam kedua kasus, train_df dan test_df memiliki nama kolom yang persis sama.

Saya kira saya tidak mengerti komentar Anda @CathyQian , apakah train_df / test_df jarang? Juga, versi xgboost mana yang Anda jalankan ketika Anda mengalami masalah ini?

@CathyQian xgboost bergantung pada _order_ kolom, dan itu tidak terkait dengan masalah ini.

@ewellinger WRT contoh Anda: model yang dilatih pada data dengan 10 fitur tidak boleh menerima data dengan 500 fitur untuk prediksi, oleh karena itu kesalahan terjadi. Juga, membuat DMatrices dari semua matriks Anda dan memeriksa num_col dan num_row mereka menghasilkan hasil yang diharapkan.

Status "masalah sparsity" saat ini adalah:

• Pembuatan DMatrix dari CSR dan penggunaannya dalam model harus bekerja dengan benar. Masalah ini ditutup karena itu adalah subjek dari masalah ini.
• Pembuatan DMatrix dari CSC menghasilkan objek dengan dimensi yang benar, tetapi mungkin memberikan hasil yang salah selama pelatihan atau prediksi ketika baris terakhir benar-benar jarang #2630. Saya belum punya waktu untuk memperbaiki bagian itu dengan benar.
• Parameter untuk menentukan jumlah kolom yang telah ditentukan sebelumnya saat memuat data libsvm ke DMatrix belum diterapkan. Relawan untuk berkontribusi dipersilakan.

@warpuv bekerja untuk saya, terima kasih banyak.

Memiliki kesalahan yang sama, dengan matriks padat. ( xgboost v.0.6 dari anaconda terbaru.)
Kesalahan terjadi ketika saya menjalankan beberapa regresi pada subset fitur yang berbeda dari sampel pelatihan.
Membuat instance model baru setiap kali sebelum memasang regresi berikutnya memperbaiki masalah.

• Parameter untuk menentukan jumlah kolom yang telah ditentukan sebelumnya saat memuat data libsvm ke DMatrix belum diterapkan. Relawan untuk berkontribusi dipersilakan.

Sampai 0.8, ini masih belum ada kan?

Pembuatan DMatrix dari CSC menghasilkan objek dengan dimensi yang benar, tetapi mungkin memberikan hasil yang salah selama pelatihan atau prediksi ketika baris terakhir benar-benar jarang #2630. Saya belum punya waktu untuk memperbaiki bagian itu dengan benar.

@khotilov #3553 memperbaiki masalah ini.

Parameter untuk menentukan jumlah kolom yang telah ditentukan sebelumnya saat memuat data libsvm ke DMatrix belum diterapkan. Relawan untuk berkontribusi dipersilakan.

@MonsieurWave Untuk fitur ini, permintaan tarik kecil ke dmlc-core harus berhasil. Biarkan aku melihatnya.

@hcho3 Terima kasih banyak.

Untuk saat ini, saya menghindari masalah ini dengan membuat baris pertama libsvm saya tidak terlalu jarang, yaitu .: menyimpan bahkan kolom dengan nilai 0.