Tensorflow: Keras 모델은 피클 가능하지만 tf.keras 모델은 피클 가능하지 않습니다.

에 만든 2019년 11월 29일 · 34코멘트 · 출처: tensorflow/tensorflow

시스템 정보

윈도우 10
Tensorflow 2.0 (CPU)
joblib 0.14.0
파이썬 3.7.5
케 라스 2.3.1

모두들 안녕! 이것은 나의 첫 번째 게시물이므로 내가 뭔가를 놓친 경우 나를 용서하십시오. 그래서 유전 알고리즘을 사용하여 다중 NN 아키텍처를 훈련하고 평가하려고하므로 다중 코어 CPU에서 병렬화해야합니다. 따라서 나는 이것을 병렬화하기 위해 joblib를 사용했습니다. 그러나 피클 할 수 없기 때문에 tf.keras 코드에 갇혀있었습니다. 몇 시간의 디버깅 끝에 마침내 tf.keras 모델은 피클 할 수 없지만 keras 모델은 피클 할 수 없다는 것을 깨달았습니다.

현재 행동 설명
아래 코드는 작동하지만 keras를 tf.keras로 바꾸면 오류가 발생합니다.
작업자에게 보낼 작업을 피클 할 수 없습니다.

예상되는 동작 설명
앞으로 tf.keras는 keras를 대체해야하므로 tf.keras도 피클 가능해야합니다.

문제를 재현하는 코드

#The following is a simple code to illustrate the problem:
from joblib import Parallel, delayed
import keras
import tensorflow as tf

def test():
    model = keras.models.Sequential()
    return

Parallel(n_jobs=8)(delayed(test)(i) for i in range(10)) #this works as intended

def test_tf():
    model = tf.keras.models.Sequential()
    return

Parallel(n_jobs=8)(delayed(test_tf)(i) for i in range(10)) #this will spit out the error above

기타 의견
빠른 수정은 기존의 모든 코드를 tf.keras로 대체하여 keras로만 바꾸는 것이지만 keras 지원이 중단되고 Tensorflow 2.0에 의해 흡수됨에 따라 이것이 수정되어야한다고 생각합니다.

TF 2.2 keras awaiting tensorflower bug

출처

Edwin-Koh1

👍12

가장 유용한 댓글

다음은 파일에 저장할 필요가없는 @epetrovski 의 답변에 대한 대안입니다.

import pickle

from tensorflow.keras.models import Sequential, Model
from tensorflow.keras.layers import Dense
from tensorflow.python.keras.layers import deserialize, serialize
from tensorflow.python.keras.saving import saving_utils


def unpack(model, training_config, weights):
    restored_model = deserialize(model)
    if training_config is not None:
        restored_model.compile(
            **saving_utils.compile_args_from_training_config(
                training_config
            )
        )
    restored_model.set_weights(weights)
    return restored_model

# Hotfix function
def make_keras_picklable():

    def __reduce__(self):
        model_metadata = saving_utils.model_metadata(self)
        training_config = model_metadata.get("training_config", None)
        model = serialize(self)
        weights = self.get_weights()
        return (unpack, (model, training_config, weights))

    cls = Model
    cls.__reduce__ = __reduce__

# Run the function
make_keras_picklable()

# Create the model
model = Sequential()
model.add(Dense(1, input_dim=42, activation='sigmoid'))
model.compile(optimizer='Nadam', loss='binary_crossentropy', metrics=['accuracy'])

# Save
with open('model.pkl', 'wb') as f:
    pickle.dump(model, f)

출처 : https://docs.python.org/3/library/pickle.html#object.__reduce__

이것이 모델에 추가 될 수있을 것 같습니까? 이것이 작동하지 않는 경우가 있습니까?

adriangb 에 2020년 05월 12일

👍8 ❤1

모든 34 댓글

@ Edwin-Koh1

야간 버전 ( !pip install tf-nightly==2.1.0dev20191201 )으로 확인하고 오류가 계속 발생하는지 확인하세요. 최신 야간 버전에는 많은 성능 향상이 있습니다. 감사!

ravikyram 에 2019년 12월 02일

최근 활동이 없어 자동으로 닫힙니다. 새로운 정보를 사용할 수있게되면 문제를 업데이트하십시오. 그러면 문제가 다시 열립니다. 감사!

ravikyram 에 2019년 12월 18일

@ravikyram 나는 여전히 tensorflow == 2.1.0 에서이 문제를보고 있습니다.

import pickle

import tensorflow as tf


def main():
    model_1 = tf.keras.Sequential((
        tf.keras.layers.Dense(16, activation='relu'),
        tf.keras.layers.Dense(1, activation='linear'),
    ))

    _ = model_1(tf.random.uniform((15, 3)))

    model_2 = pickle.loads(pickle.dumps(model_1))

    for w1, w2 in zip(model_1.get_weights(), model_2.get_weights()):
        tf.debugging.assert_equal(w1, w2)


if __name__ == '__main__':
    main()

결과

Traceback (most recent call last):
  File "/Users/hartikainen/conda/envs/softlearning-3/lib/python3.7/runpy.py", line 193, in _run_module_as_main
    "__main__", mod_spec)
  File "/Users/hartikainen/conda/envs/softlearning-3/lib/python3.7/runpy.py", line 85, in _run_code
    exec(code, run_globals)
  File "/Users/hartikainen/github/rail-berkeley/softlearning-3/tests/test_pickle_keras_model.py", line 25, in <module>
    main()
  File "/Users/hartikainen/github/rail-berkeley/softlearning-3/tests/test_pickle_keras_model.py", line 18, in main
    model_2 = pickle.loads(pickle.dumps(model_1))
TypeError: can't pickle weakref objects

$ pip freeze | grep "tf\|tensor"
tensorboard==2.1.0
tensorflow==2.1.0
tensorflow-estimator==2.1.0
tensorflow-probability==0.9.0
$ python --version
Python 3.7.5

hartikainen 에 2020년 01월 13일

👍4

TF 버전 2.1.0-rc2, 2.2.0-dev20200113으로 colab을 시도했으며 문제를 재현 할 수있었습니다. 여기 에서 요점을 찾으

ravikyram 에 2020년 01월 13일

👍1

@ravikyram , keras 기능 모델도 피클 가능해야합니까? 순차 모델이 그렇다면 기능 모델도 그래야한다고 생각합니까? 아니면 함수형 모델에 피클하기 어렵게 만드는 몇 가지 속성이 있습니까?

$ python -m tests.test_pickle_keras_functional_model
2020-01-17 16:47:08.567598: I tensorflow/core/platform/cpu_feature_guard.cc:142] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 FMA
2020-01-17 16:47:08.581327: I tensorflow/compiler/xla/service/service.cc:168] XLA service 0x7fa0a55aa6c0 initialized for platform Host (this does not guarantee that XLA will be used). Devices:
2020-01-17 16:47:08.581362: I tensorflow/compiler/xla/service/service.cc:176]   StreamExecutor device (0): Host, Default Version
Traceback (most recent call last):
  File "/Users/hartikainen/conda/envs/softlearning-3/lib/python3.7/runpy.py", line 193, in _run_module_as_main
    "__main__", mod_spec)
  File "/Users/hartikainen/conda/envs/softlearning-3/lib/python3.7/runpy.py", line 85, in _run_code
    exec(code, run_globals)
  File "/Users/hartikainen/github/rail-berkeley/softlearning-3/tests/test_pickle_keras_functional_model.py", line 20, in <module>
    main()
  File "/Users/hartikainen/github/rail-berkeley/softlearning-3/tests/test_pickle_keras_functional_model.py", line 13, in main
    model_2 = pickle.loads(pickle.dumps(model_1))
TypeError: can't pickle _thread.RLock objects

hartikainen 에 2020년 01월 17일

👍5

안녕하세요 여러분,
https://keras.io/ 의 권장 사항에 따라 독립 실행 형 keras 에서 tensorflow.keras 로 전환하려고합니다 .
https://github.com/tensorflow/tensorflow/issues/34697#issuecomment -575705599와 joblib (내부에서 pickle 사용)와 같은 예외가 발생합니다.

시스템 정보:

Debian 10 (버스터)
파이썬 3.7.6
joblib 0.14.1
텐서 플로우 2.1.0

재현 할 스크립트 :

import joblib
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense

model = Sequential()
model.add(Dense(1, input_dim=42, activation='sigmoid'))
model.compile(optimizer='Nadam', loss='binary_crossentropy', metrics=['accuracy'])
joblib.dump(model, 'model.pkl')

산출:

TypeError: can't pickle _thread.RLock objects

marfox 에 2020년 03월 30일

👍7

다음은 Keras 모델이 피클 할 수 없었던 동일한 문제를 해결하기 위해 http://zachmoshe.com/2017/04/03/pickling-keras-models.html 에서 수정 된 수정 사항입니다.

import pickle
import tempfile
from tensorflow.keras.models import Sequential, load_model, save_model, Model
from tensorflow.keras.layers import Dense

# Hotfix function
def make_keras_picklable():
    def __getstate__(self):
        model_str = ""
        with tempfile.NamedTemporaryFile(suffix='.hdf5', delete=True) as fd:
            save_model(self, fd.name, overwrite=True)
            model_str = fd.read()
        d = {'model_str': model_str}
        return d

    def __setstate__(self, state):
        with tempfile.NamedTemporaryFile(suffix='.hdf5', delete=True) as fd:
            fd.write(state['model_str'])
            fd.flush()
            model = load_model(fd.name)
        self.__dict__ = model.__dict__


    cls = Model
    cls.__getstate__ = __getstate__
    cls.__setstate__ = __setstate__

# Run the function
make_keras_picklable()

# Create the model
model = Sequential()
model.add(Dense(1, input_dim=42, activation='sigmoid'))
model.compile(optimizer='Nadam', loss='binary_crossentropy', metrics=['accuracy'])

# Save
with open('model.pkl', 'wb') as f:
    pickle.dump(model, f)

epetrovski 에 2020년 05월 04일

❤1

@epetrovski 모델을 피클하려고 할 때마다이 코드를 호출해야합니까? 아니면 애플리케이션 시작시 (모델을 생성하기 전에) 호출 할 수 있습니까?

leandrocouto 에 2020년 05월 09일

@epetrovski 모델을 피클하려고 할 때마다이 코드를 호출해야합니까? 아니면 애플리케이션 시작시 (모델을 생성하기 전에) 호출 할 수 있습니까?

tensorflow.keras.models.Model 가져온 후 앱 시작시 한 번만 호출 할 수 있습니다. 함수를 실행하면 __getstate__() 및 __setstate__() 두 가지 새로운 메서드가 tensorflow.keras.models.Model 클래스에 추가되므로 업데이트 된 tf.keras Model 클래스의 멤버를 피클 할 때마다 작동합니다. 즉. 자신의 모델.

epetrovski 에 2020년 05월 09일

👍1

다음은 파일에 저장할 필요가없는 @epetrovski 의 답변에 대한 대안입니다.

import pickle

from tensorflow.keras.models import Sequential, Model
from tensorflow.keras.layers import Dense
from tensorflow.python.keras.layers import deserialize, serialize
from tensorflow.python.keras.saving import saving_utils


def unpack(model, training_config, weights):
    restored_model = deserialize(model)
    if training_config is not None:
        restored_model.compile(
            **saving_utils.compile_args_from_training_config(
                training_config
            )
        )
    restored_model.set_weights(weights)
    return restored_model

# Hotfix function
def make_keras_picklable():

    def __reduce__(self):
        model_metadata = saving_utils.model_metadata(self)
        training_config = model_metadata.get("training_config", None)
        model = serialize(self)
        weights = self.get_weights()
        return (unpack, (model, training_config, weights))

    cls = Model
    cls.__reduce__ = __reduce__

# Run the function
make_keras_picklable()

# Create the model
model = Sequential()
model.add(Dense(1, input_dim=42, activation='sigmoid'))
model.compile(optimizer='Nadam', loss='binary_crossentropy', metrics=['accuracy'])

# Save
with open('model.pkl', 'wb') as f:
    pickle.dump(model, f)

출처 : https://docs.python.org/3/library/pickle.html#object.__reduce__

이것이 모델에 추가 될 수있을 것 같습니까? 이것이 작동하지 않는 경우가 있습니까?

adriangb 에 2020년 05월 12일

👍8 ❤1

Sequential 클래스에서 선택할 수없는 두 가지 속성이있는 것 같습니다. 이 수정 사항은 저에게도 효과적이었습니다.

from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense

class PickableSequential(Sequential):
    def __getstate__(self):
        state = super().__getstate__()
        state.pop("_trackable_saver")
        state.pop("_compiled_trainable_state")
        return state

model = PickableSequential(Dense(10))

import pickle

pickle.dumps(model)
~

btel 에 2020년 06월 11일

TF 버전 2.2, 야간 버전으로 colab에서 시도해 보았고 문제를 재현 할 수있었습니다. 여기 에서 요점을 찾으

ravikyram 에 2020년 06월 16일

TF 버전 2.2, 야간 버전으로 colab에서 시도해 보았고 문제를 재현 할 수있었습니다. 여기 에서 요점을 찾으

keras 모델은 선택할 수 있지만 tf.keras는 선택할 수 없으므로 이에 대한 대체 솔루션은 아래 코드를 참조하는 것입니다
colab 노트북을 보았고 필요한 변경 사항을 아래와 같은 코드를 복사하면 오류 해결이 완료됩니다

tensorflow를 tf로 가져 오기

def main () :
model_1 = tf.keras.Sequential ((
tf.keras.layers.Dense (16, activation = 'relu'),
tf.keras.layers.Dense (1, activation = 'linear'),
))

_ = model_1(tf.random.uniform((15, 3)))
model_1.save('model_2.h5')
model_2 = tf.keras.models.load_model('model_2.h5')

for w1, w2 in zip(model_1.get_weights(), model_2.get_weights()):
    tf.debugging.assert_equal(w1, w2)

__name__ == '__main__'인 경우 :
본관()

harshalpandit09 에 2020년 06월 17일

@ Edwin-Koh1

@lahsrahtidnap 의 제안에 따라 여기 에서 요점을 찾으

ravikyram 에 2020년 06월 18일

안녕하세요 여러분,
https://keras.io/ 의 권장 사항에 따라 독립 실행 형 keras 에서 tensorflow.keras 로 전환하려고합니다 .
joblib (내부에서 pickle 사용 ) 와 함께
시스템 정보:
Debian 10 (버스터)
파이썬 3.7.6
joblib 0.14.1
텐서 플로우 2.1.0
재현 할 스크립트 :
import joblib
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense

model = Sequential()
model.add(Dense(1, input_dim=42, activation='sigmoid'))
model.compile(optimizer='Nadam', loss='binary_crossentropy', metrics=['accuracy'])
joblib.dump(model, 'model.pkl')
산출:
TypeError: can't pickle _thread.RLock objects

pickle 또는 joblib를 사용하면 tensorflow.keras가이를 지원하지 않으므로 문제가 해결되지 않습니다.
따라서 이에 대한 대체 솔루션은 다음과 같습니다.-

코드 고려 :-
다음 줄을 바꿉니다.-joblib.dump (model, 'model.pkl')
와 함께 :-
모델 사용을 저장하려면 :-
-----> model.save ( 'new_model.h5')
이 모델을로드하려면 다음을 사용하십시오.-
-----> new_model = tf.keras.models.load_model ( 'new_model.h5')

harshalpandit09 에 2020년 06월 18일

👍2

코드 고려 :-
다음 줄을 바꿉니다.-joblib.dump (model, 'model.pkl')
와 함께 :-
모델 사용을 저장하려면 :-
-----> model.save ( 'new_model.h5')
이 모델을로드하려면 다음을 사용하십시오.-
-----> new_model = tf.keras.models.load_model ( 'new_model.h5')

이것은 어떤 경우에는 작동하지만 모델이 다른 함수의 일부로 피클되면 도움이되지 않습니다. 제 경우에는 python multiprocessing 라이브러리를 사용할 때 발생합니다.

JohannesAck 에 2020년 07월 21일

👍3

@ Edwin-Koh1

이것이 여전히 문제입니까?
확인해주세요. 감사합니다!

ravikyram 에 2020년 07월 25일

Keras Sequential Model을 byteIO 컨테이너에 덤프 할 수 있습니까?

bytes_container = BytesIO()
joblib.dump(Keras_model, bytes_container, protocol=4)
# Error
TypeError: can't pickle _thread.RLock objects

pickle.dump(Keras_model, bytes_container, protocol=4)
# Error
TypeError: can't pickle _thread.RLock objects

dill.dump(Keras_model, bytes_container, protocol=4)
# Error
TypeError: can't pickle tensorflow.python._tf_stack.StackSummary objects

또는 임시 파일에서

tempfile.TemporaryFile().write(Keras_model)

또는

save_model(Keras_model, bytes_container)
# Error
TypeError: expected str, bytes or os.PathLike object, not _io.BytesIO

hanzigs 에 2020년 07월 29일

이것은 완벽하게 작동했습니다. base64가 필요하지 않을 수도 있습니다. 제가 한 데이터베이스에 모든 것을 메모리에 저장하고 디스크를 만지지 않아도

from io import BytesIO
import dill,base64,tempfile

#Saving Model as base64
model_json = Keras_model.to_json()

def Base64Converter(ObjectFile):
    bytes_container = BytesIO()
    dill.dump(ObjectFile, bytes_container)
    bytes_container.seek(0)
    bytes_file = bytes_container.read()
    base64File = base64.b64encode(bytes_file)
    return base64File

base64KModelJson = Base64Converter(model_json)  
base64KModelJsonWeights = Base64Converter(Keras_model.get_weights())  

#Loading Back
from joblib import load
from keras.models import model_from_json
def ObjectConverter(base64_File):
    loaded_binary = base64.b64decode(base64_File)
    loaded_object = tempfile.TemporaryFile()
    loaded_object.write(loaded_binary)
    loaded_object.seek(0)
    ObjectFile = load(loaded_object)
    loaded_object.close()
    return ObjectFile

modeljson = ObjectConverter(base64KModelJson)
modelweights = ObjectConverter(base64KModelJsonWeights)
loaded_model = model_from_json(modeljson)
loaded_model.set_weights(modelweights)

hanzigs 에 2020년 07월 29일

👍1

헉
이것은 좋은 해결책입니다. 감사합니다. 이 방법은 옵티 마이저 상태를 보존하지 않으므로이 모델을 계속 학습하려는 경우에만주의하십시오.

JohannesAck 에 2020년 08월 07일

헉헉
예, 새로운 데이터에 맞추기 전에 최적화 프로그램으로 컴파일해야합니다. 시간이 많이 걸리지 않아야합니다.

다른 방법으로 model.save는 메모리에 저장하기가 매우 어렵습니다.

또 다른 방법은 초기화를 통해 get_config () 및 from_config ()를 수행하고 컴파일 한 다음 새 데이터에 대해 적합해야하는 것입니다.

hanzigs 에 2020년 08월 11일

@ Edwin-Koh1

이 문제에 대한 모든 업데이트를 부탁드립니다.

ravikyram 에 2020년 08월 11일

이 문제는 최근 활동이 없었기 때문에 자동으로 오래된 것으로 표시되었습니다. 더 이상 활동이 발생하지 않으면 폐쇄됩니다. 감사합니다.

tensorflow-butler[bot] 에 2020년 08월 18일

👎6

코드 고려 :-
다음 줄을 바꿉니다.-joblib.dump (model, 'model.pkl')
와 함께 :-
모델 사용을 저장하려면 :-
-----> model.save ( 'new_model.h5')
이 모델을로드하려면 다음을 사용하십시오.-
-----> new_model = tf.keras.models.load_model ( 'new_model.h5')
이것은 어떤 경우에는 작동하지만 모델이 다른 함수의 일부로 피클되면 도움이되지 않습니다. 제 경우에는 python multiprocessing 라이브러리를 사용할 때 발생합니다.

@JohannesAck , 비슷한 문제가있을 수 있습니다. GPU에서 Keras 모델을 훈련시키고, Keras API를 사용하여 TensorFlow SavedModel 형식을 사용하여 저장하고, 새 세션에서 다시로드하고, multiprocessing 라이브러리와 starmap 사용하여 여러 CPU에서 병렬로 예측을 시도합니다. TypeError: can't pickle _thread.RLock objects )가 발생합니다. 매번 내 예측 함수 내에서 모델을로드하고 각 함수 호출 끝에서 삭제하면 두 번의 예측 후에 중단됩니다. 여기서 무슨 일이 벌어 질지 아십니까?

alexvmt 에 2020년 08월 18일

부실 상태로 종료됩니다. 이 작업을 계속하려면 다시여십시오.

tensorflow-butler[bot] 에 2020년 08월 25일

문제 해결에 만족하십니까?
예
아니

tensorflow-butler[bot] 에 2020년 08월 25일

내가 아는 한 이것은 부실하지 않습니다.

2020 년 8 월 25 일 화요일 오전 5:26 tensorflow-butler [bot] <
[email protected]> 작성 :

문제 해결에 만족하십니까?
예
https://docs.google.com/forms/d/e/1FAIpQLSfaP12TRhd9xSxjXZjcZFNXPGk4kc1-qMdv3gc6bEP90vY1ew/viewform?entry.85265664=Yes&entry.2137816233=https://github.com/tensorflow/tensorflow/issues/34697
아니
https://docs.google.com/forms/d/e/1FAIpQLSfaP12TRhd9xSxjXZjcZFNXPGk4kc1-qMdv3gc6bEP90vY1ew/viewform?entry.85265664=No&entry.2137816233=https://github.com/tensorflow/tensorflow/issues/34697
—
댓글을 달았 기 때문에 수신 한 것입니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/tensorflow/tensorflow/issues/34697#issuecomment-679941192 ,
또는 구독 취소
https://github.com/notifications/unsubscribe-auth/AANMPP2EF3PRKBYRYHOHY3TSCOGTXANCNFSM4JSZ4QSA
.

adriangb 에 2020년 08월 25일

👍6

이슈가 종결 된 후 WONTFIX입니까?

내 경우에는 코드가 scikit-learn 호환 모델을 제공하는 외부 도구에서 피클 링이 수행되기 때문에 단순히 model.save() 를 사용할 수 없습니다 (내 클래스는 get_clf 메서드를 제공함). 내 코드가 (거의) Keras 호환 (tf.keras 아님)이고 Keras 2.3.1 (TF 1.15.0) 피클이 문제없이 작동하므로 문제를 해결할 수 있습니다.

mimxrt 에 2020년 09월 02일

당신이 scikit 배울 ENV 내 Keras 모델을 사용하고자하는 경우 @mimxrt, 확인하시기 바랍니다 SciKeras을 (전체 공개 : 나는 저자). Keras 개체를 선택 가능하게 만드는 방법을 찾고 있다면 https://github.com/tensorflow/tensorflow/pull/39609 , 특히 https://github.com/tensorflow/tensorflow/pull/39609#issuecomment를 확인

편집 : 고정 링크

adriangb 에 2020년 09월 02일

❤1

지금은 적극적으로 작업하고 있지 않지만 여전히 문제이므로 재개합니다.

goldiegadde 에 2020년 10월 12일

부실 상태로 종료됩니다. 이 작업을 계속하려면 다시여십시오.

tensorflow-butler[bot] 에 2020년 10월 19일

문제 해결에 만족하십니까?
예
아니

tensorflow-butler[bot] 에 2020년 10월 19일

이것은 다시 멈출 것입니다.

hbaniecki 에 2020년 10월 26일

이 문제는 최근 활동이 없었기 때문에 자동으로 오래된 것으로 표시되었습니다. 더 이상 활동이 발생하지 않으면 폐쇄됩니다. 감사합니다.

tensorflow-butler[bot] 에 2020년 11월 02일

이 페이지가 도움이 되었나요?

0 / 5 - 0 등급

Tensorflow: Keras 모델은 피클 가능하지만 tf.keras 모델은 피클 가능하지 않습니다.

가장 유용한 댓글

모든 34 댓글

관련 문제