Tensorflow: Kerasモデルはピクルス可能ですがtf.kerasモデルはピクルス可能ではありません

@ Edwin-Koh1

ナイトリーバージョン（ !pip install tf-nightly==2.1.0dev20191201 ）でチェックして、エラーが引き続き発生するかどうかを確認してください。 最新の夜間バージョンでは、パフォーマンスが大幅に向上しています。 ありがとう！

最近のアクティビティがないため、自動的に閉じます。 新しい情報が利用可能になり次第、問題を更新してください。問題を再開します。 ありがとう！

@ravikyram tensorflow == 2.1.0でこの問題がまだ発生しています：

import pickle

import tensorflow as tf


def main():
    model_1 = tf.keras.Sequential((
        tf.keras.layers.Dense(16, activation='relu'),
        tf.keras.layers.Dense(1, activation='linear'),
    ))

    _ = model_1(tf.random.uniform((15, 3)))

    model_2 = pickle.loads(pickle.dumps(model_1))

    for w1, w2 in zip(model_1.get_weights(), model_2.get_weights()):
        tf.debugging.assert_equal(w1, w2)


if __name__ == '__main__':
    main()

結果は

Traceback (most recent call last):
  File "/Users/hartikainen/conda/envs/softlearning-3/lib/python3.7/runpy.py", line 193, in _run_module_as_main
    "__main__", mod_spec)
  File "/Users/hartikainen/conda/envs/softlearning-3/lib/python3.7/runpy.py", line 85, in _run_code
    exec(code, run_globals)
  File "/Users/hartikainen/github/rail-berkeley/softlearning-3/tests/test_pickle_keras_model.py", line 25, in <module>
    main()
  File "/Users/hartikainen/github/rail-berkeley/softlearning-3/tests/test_pickle_keras_model.py", line 18, in main
    model_2 = pickle.loads(pickle.dumps(model_1))
TypeError: can't pickle weakref objects

$ pip freeze | grep "tf\|tensor"
tensorboard==2.1.0
tensorflow==2.1.0
tensorflow-estimator==2.1.0
tensorflow-probability==0.9.0
$ python --version
Python 3.7.5

TFバージョン2.1.0-rc2、2.2.0-dev20200113でcolabを試してみましたが、問題を再現できました。要点は

@ ravikyram 、keras機能モデルも選択可能である必要がありますか？ シーケンシャルモデルが機能モデルである場合、私はそうすべきだと思いますか？ それとも、機能モデルには、酸洗いを困難にするいくつかの特性がありますか？

$ python -m tests.test_pickle_keras_functional_model
2020-01-17 16:47:08.567598: I tensorflow/core/platform/cpu_feature_guard.cc:142] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 FMA
2020-01-17 16:47:08.581327: I tensorflow/compiler/xla/service/service.cc:168] XLA service 0x7fa0a55aa6c0 initialized for platform Host (this does not guarantee that XLA will be used). Devices:
2020-01-17 16:47:08.581362: I tensorflow/compiler/xla/service/service.cc:176]   StreamExecutor device (0): Host, Default Version
Traceback (most recent call last):
  File "/Users/hartikainen/conda/envs/softlearning-3/lib/python3.7/runpy.py", line 193, in _run_module_as_main
    "__main__", mod_spec)
  File "/Users/hartikainen/conda/envs/softlearning-3/lib/python3.7/runpy.py", line 85, in _run_code
    exec(code, run_globals)
  File "/Users/hartikainen/github/rail-berkeley/softlearning-3/tests/test_pickle_keras_functional_model.py", line 20, in <module>
    main()
  File "/Users/hartikainen/github/rail-berkeley/softlearning-3/tests/test_pickle_keras_functional_model.py", line 13, in main
    model_2 = pickle.loads(pickle.dumps(model_1))
TypeError: can't pickle _thread.RLock objects

皆さんこんにちは、
https://keras.io/の推奨に従って、スタンドアロンのkerasからtensorflow.kerasに切り替えようとしています。
私は、同じ例外打ってるhttps://github.com/tensorflow/tensorflow/issues/34697#issuecommentと-575705599 joblib （使用していますpickleボンネットの下に）。

システムインフォメーション：

• Debian 10（バスター）
• Python 3.7.6
• joblib 0.14.1
• tensorflow 2.1.0

再現するスクリプト：

import joblib
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense

model = Sequential()
model.add(Dense(1, input_dim=42, activation='sigmoid'))
model.compile(optimizer='Nadam', loss='binary_crossentropy', metrics=['accuracy'])
joblib.dump(model, 'model.pkl')

出力：

TypeError: can't pickle _thread.RLock objects

これは、Kerasモデルがピクルス化できなかったときに同じ問題を解決することを目的としたhttp://zachmoshe.com/2017/04/03/pickling-keras-models.htmlからの修正です。

import pickle
import tempfile
from tensorflow.keras.models import Sequential, load_model, save_model, Model
from tensorflow.keras.layers import Dense

# Hotfix function
def make_keras_picklable():
    def __getstate__(self):
        model_str = ""
        with tempfile.NamedTemporaryFile(suffix='.hdf5', delete=True) as fd:
            save_model(self, fd.name, overwrite=True)
            model_str = fd.read()
        d = {'model_str': model_str}
        return d

    def __setstate__(self, state):
        with tempfile.NamedTemporaryFile(suffix='.hdf5', delete=True) as fd:
            fd.write(state['model_str'])
            fd.flush()
            model = load_model(fd.name)
        self.__dict__ = model.__dict__


    cls = Model
    cls.__getstate__ = __getstate__
    cls.__setstate__ = __setstate__

# Run the function
make_keras_picklable()

# Create the model
model = Sequential()
model.add(Dense(1, input_dim=42, activation='sigmoid'))
model.compile(optimizer='Nadam', loss='binary_crossentropy', metrics=['accuracy'])

# Save
with open('model.pkl', 'wb') as f:
    pickle.dump(model, f)

@epetrovskiモデルをピクルスするときはいつでもこのコードを呼び出す必要がありますか、それともアプリケーションの開始時（モデルを作成する前）に呼び出すことができますか？

@epetrovskiモデルをピクルスするときはいつでもこのコードを呼び出す必要がありますか、それともアプリケーションの開始時（モデルを作成する前）に呼び出すことができますか？

tensorflow.keras.models.Modelインポートした後、アプリの最初に一度だけ呼び出すことができます。 関数を実行すると、2つの新しいメソッド__getstate__()と__setstate__()がtensorflow.keras.models.Modelクラスに追加されるため、更新されたtf.kerasモデルクラスのメンバーをpickle化するたびに機能するはずです-すなわち。 あなた自身のモデル。

これは、ファイルに保存する必要のない@epetrovskiの回答の代替手段です。

import pickle

from tensorflow.keras.models import Sequential, Model
from tensorflow.keras.layers import Dense
from tensorflow.python.keras.layers import deserialize, serialize
from tensorflow.python.keras.saving import saving_utils


def unpack(model, training_config, weights):
    restored_model = deserialize(model)
    if training_config is not None:
        restored_model.compile(
            **saving_utils.compile_args_from_training_config(
                training_config
            )
        )
    restored_model.set_weights(weights)
    return restored_model

# Hotfix function
def make_keras_picklable():

    def __reduce__(self):
        model_metadata = saving_utils.model_metadata(self)
        training_config = model_metadata.get("training_config", None)
        model = serialize(self)
        weights = self.get_weights()
        return (unpack, (model, training_config, weights))

    cls = Model
    cls.__reduce__ = __reduce__

# Run the function
make_keras_picklable()

# Create the model
model = Sequential()
model.add(Dense(1, input_dim=42, activation='sigmoid'))
model.compile(optimizer='Nadam', loss='binary_crossentropy', metrics=['accuracy'])

# Save
with open('model.pkl', 'wb') as f:
    pickle.dump(model, f)

ソース： https ：

多分これをモデルに追加できると思いますか？ これがうまくいかない場合はありますか？

Sequentialクラスで選択できない属性が2つあるようです。 この修正は私にも役立ちました：

from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense

class PickableSequential(Sequential):
    def __getstate__(self):
        state = super().__getstate__()
        state.pop("_trackable_saver")
        state.pop("_compiled_trainable_state")
        return state

model = PickableSequential(Dense(10))

import pickle

pickle.dumps(model)
~                     

TFバージョン2.2、ナイトバージョンとのコラボで試してみましたが、問題を再現することができました。ここで要点を見つけて

TFバージョン2.2、ナイトバージョンとのコラボで試してみましたが、問題を再現することができました。ここで要点を見つけて

kerasモデルは選択可能ですが、tf.kerasは選択可能ではないため、これに対する代替ソリューションは以下のコードを参照すること
私はあなたのコラボノートブックを見て、必要な変更を加えました。以下と同じコードをコピーするだけで、エラーの解決は完了です。

tensorflowをtfとしてインポートします

def main（）：
model_1 = tf.keras.Sequential（（
tf.keras.layers.Dense（16、activation = 'relu'）、
tf.keras.layers.Dense（1、activation = 'linear'）、
））

_ = model_1(tf.random.uniform((15, 3)))
model_1.save('model_2.h5')
model_2 = tf.keras.models.load_model('model_2.h5')

for w1, w2 in zip(model_1.get_weights(), model_2.get_weights()):
    tf.debugging.assert_equal(w1, w2)

if __name__ == '__ main __'：
メイン（）

@ Edwin-Koh1

@lahsrahtidnapからの提案によると、私はcolabで試しましたが、問題は発生していません。ここで要点を見つけて

皆さんこんにちは、
https://keras.io/の推奨に従って、スタンドアロンのkerasからtensorflow.kerasに切り替えようとしています。
joblib （内部でpickleを使用）で

システムインフォメーション：

• Debian 10（バスター）
• Python 3.7.6
• joblib 0.14.1
• tensorflow 2.1.0

再現するスクリプト：

import joblib
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense

model = Sequential()
model.add(Dense(1, input_dim=42, activation='sigmoid'))
model.compile(optimizer='Nadam', loss='binary_crossentropy', metrics=['accuracy'])
joblib.dump(model, 'model.pkl')

出力：

TypeError: can't pickle _thread.RLock objects

tensorflow.kerasはこれをサポートしていないため、pickleまたはjoblibを使用しても問題は解決しません。
したがって、これに対する代替ソリューションは次のとおりです：-

あなたのコードを考慮して：-
この行を置き換えます：-joblib.dump（model、 'model.pkl'）
と：-
モデルの使用を保存するには：-
-----> model.save（ 'new_model.h5'）
このモデルをロードする場合は、次を使用します：-
-----> new_model = tf.keras.models.load_model（ 'new_model.h5'）

あなたのコードを考慮して：-
この行を置き換えます：-joblib.dump（model、 'model.pkl'）
と：-
モデルの使用を保存するには：-
-----> model.save（ 'new_model.h5'）
このモデルをロードする場合は、次を使用します：-
-----> new_model = tf.keras.models.load_model（ 'new_model.h5'）

これは場合によっては機能しますが、モデルが別の関数の一部としてpickle化されている場合は役に立ちません。私の場合、これはpython multiprocessingライブラリを使用しているときに発生します。

@ Edwin-Koh1

これはまだ問題ですか？
確認してください。ありがとうございます。

KerasシーケンシャルモデルをbyteIOコンテナにダンプすることは可能ですか？

bytes_container = BytesIO()
joblib.dump(Keras_model, bytes_container, protocol=4)
# Error
TypeError: can't pickle _thread.RLock objects

pickle.dump(Keras_model, bytes_container, protocol=4)
# Error
TypeError: can't pickle _thread.RLock objects

dill.dump(Keras_model, bytes_container, protocol=4)
# Error
TypeError: can't pickle tensorflow.python._tf_stack.StackSummary objects

または一時ファイル内

tempfile.TemporaryFile().write(Keras_model)

または

save_model(Keras_model, bytes_container)
# Error
TypeError: expected str, bytes or os.PathLike object, not _io.BytesIO

これは完全に機能しました。base64を使用する必要はないかもしれません。私が行ったデータベースにすべてを保存し、すべてをメモリ内に保存し、ディスクに触れる必要はありません。

from io import BytesIO
import dill,base64,tempfile

#Saving Model as base64
model_json = Keras_model.to_json()

def Base64Converter(ObjectFile):
    bytes_container = BytesIO()
    dill.dump(ObjectFile, bytes_container)
    bytes_container.seek(0)
    bytes_file = bytes_container.read()
    base64File = base64.b64encode(bytes_file)
    return base64File

base64KModelJson = Base64Converter(model_json)  
base64KModelJsonWeights = Base64Converter(Keras_model.get_weights())  

#Loading Back
from joblib import load
from keras.models import model_from_json
def ObjectConverter(base64_File):
    loaded_binary = base64.b64decode(base64_File)
    loaded_object = tempfile.TemporaryFile()
    loaded_object.write(loaded_binary)
    loaded_object.seek(0)
    ObjectFile = load(loaded_object)
    loaded_object.close()
    return ObjectFile

modeljson = ObjectConverter(base64KModelJson)
modelweights = ObjectConverter(base64KModelJsonWeights)
loaded_model = model_from_json(modeljson)
loaded_model.set_weights(modelweights)

@hanzigs
これは素晴らしい解決策です、ありがとう。 この方法ではオプティマイザーの状態が保持されないため、このモデルのトレーニングを継続する場合にのみ注意してください。

@JohannesAck
はい、新しいデータに合わせる前にオプティマイザーでコンパイルする必要がありますが、時間はかかりませんが、

もう1つの方法では、model.saveをメモリに保存するのは非常に困難です。

もう1つの方法は、初期化とコンパイルを使用してget_config（）とfrom_config（）を実行し、新しいデータに対してフィットを実行する必要があることです。

@ Edwin-Koh1

この問題に関する更新をお願いします。ありがとう！

この問題は、最近のアクティビティがないため、自動的に古いものとしてマークされています。 それ以上のアクティビティが発生しない場合は閉じられます。 ありがとうございました。

あなたのコードを考慮して：-
この行を置き換えます：-joblib.dump（model、 'model.pkl'）
と：-
モデルの使用を保存するには：-
-----> model.save（ 'new_model.h5'）
このモデルをロードする場合は、次を使用します：-
-----> new_model = tf.keras.models.load_model（ 'new_model.h5'）

これは場合によっては機能しますが、モデルが別の関数の一部としてpickle化されている場合は役に立ちません。私の場合、これはpython multiprocessingライブラリを使用しているときに発生します。

@JohannesAck 、私は同様の問題があるかもしれないと思います。 GPUでKerasモデルをトレーニングし、KerasAPIを使用してTensorFlowSavedModel形式を使用して保存し、新しいセッションでリロードし、 multiprocessingライブラリとstarmapを使用して複数のCPUで並行して予測を試みます。 TypeError: can't pickle _thread.RLock objects ）が発生します。 毎回予測関数内にモデルをロードし、各関数呼び出しの最後にモデルを削除すると、いくつかの予測の後でハングします。 ここで何が起こっているのか分かりますか？

古くなったとして閉じます。 これについてさらに作業したい場合は、再度開いてください。

問題の解決に満足していますか？
はい
番号

私の知る限り、これは古くはありません。

2020年8月25日火曜日、午前5時26分tensorflow-butler [bot] <
[email protected]>は書いた：

問題の解決に満足していますか？
はい
https://docs.google.com/forms/d/e/1FAIpQLSfaP12TRhd9xSxjXZjcZFNXPGk4kc1-qMdv3gc6bEP90vY1ew/viewform?entry.85265664=Yes&entry.2137816233=https://github.com/tensorflow/tensorflow/issues/346
番号
https://docs.google.com/forms/d/e/1FAIpQLSfaP12TRhd9xSxjXZjcZFNXPGk4kc1-qMdv3gc6bEP90vY1ew/viewform?entry.85265664=No&entry.2137816233=https://github.com/tensorflow/tensorflow/issues/346

—
あなたがコメントしたのであなたはこれを受け取っています。
このメールに直接返信し、GitHubで表示してください
https://github.com/tensorflow/tensorflow/issues/34697#issuecomment-679941192 、
または購読を解除する
https://github.com/notifications/unsubscribe-auth/AANMPP2EF3PRKBYRYHOHY3TSCOGTXANCNFSM4JSZ4QSA
。

問題が解決された後、これはWONTFIXですか？

私の場合、ピクルス化は、コードがscikit-learn互換モデルを提供するだけの外部ツールから実行されるため（私のクラスはget_clfメソッドを提供します）、単純にmodel.save()使用することはできません。 私のコードは（ほぼ）Keras互換（tf.kerasではない）であり、Keras 2.3.1（TF 1.15.0）のピクルスは問題なく機能するため、この問題を回避できました。

@mimxrt scikit-learn環境内でSciKerasを確認してhttps： //github.com/tensorflow/tensorflow/pull/39609、特にhttps://github.com/tensorflow/tensorflow/pull/39609#issuecommentを確認してください。 -683370566

編集：固定リンク

現在、積極的に取り組んでいませんが、まだ問題なので再開します。

古くなったとして閉じます。 これについてさらに作業したい場合は、再度開いてください。

問題の解決に満足していますか？
はい
番号

これは再び失速します。

この問題は、最近のアクティビティがないため、自動的に古いものとしてマークされています。 それ以上のアクティビティが発生しない場合は閉じられます。 ありがとうございました。