Gunicorn: Docker 컨테이너의 Gunicorn + Flask + Tensorflow가 작동하지 않음

에 만든 2019년 10월 03일 · 23코멘트 · 출처: benoitc/gunicorn

안녕하십니까

저는 앞에 작은 Flask API가 있는 TensorFlow 2.0 프로젝트가 있으므로 API에서 이미 수행된 데이터 사전 처리로 HTTP 호출을 통해 모델에 요청할 수 있습니다. 도커 컨테이너에서 Flask/TensorFlow 애플리케이션을 실행하기 위해 Gunicorn을 선택했습니다. 슬프게도 Gunicorn이 만드는 작업자 프로세스는 Gunicorn에 의해 죽을 때까지 컨테이너에 매달려 있습니다. 서버가 오지 않고 요청을 할 수 없습니다. 또한 동일한 Gunicorn 설정이 내 호스트 컴퓨터의 도커 외부에서 완벽하게 작동합니다.

Docker 로그(그냥 거기에 멈추고 오랜 시간이 지나면 시간 초과 오류가 인쇄됨)

[2019-10-03 18:03:05 +0000] [1] [INFO] Starting gunicorn 19.9.0
[2019-10-03 18:03:05 +0000] [1] [INFO] Listening at: http://127.0.0.1:8000 (1)
[2019-10-03 18:03:05 +0000] [1] [INFO] Using worker: sync
[2019-10-03 18:03:05 +0000] [8] [INFO] Booting worker with pid: 8
2019-10-03 18:03:08.126584: I tensorflow/core/platform/cpu_feature_guard.cc:142] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 FMA
2019-10-03 18:03:08.130017: I tensorflow/core/platform/profile_utils/cpu_utils.cc:94] CPU Frequency: 3392000000 Hz
2019-10-03 18:03:08.130306: I tensorflow/compiler/xla/service/service.cc:168] XLA service 0x55fbb23fb2d0 executing computations on platform Host. Devices:
2019-10-03 18:03:08.130365: I tensorflow/compiler/xla/service/service.cc:175]   StreamExecutor device (0): Host, Default Version

도커 파일:

FROM python

RUN pip install gunicorn

WORKDIR /usr/src/app

COPY requirements.txt ./
RUN pip install --no-cache-dir -r requirements.txt

COPY . .

EXPOSE 8000

CMD [ "gunicorn", "--chdir", "src", "api:app" ]

api.py:

from flask import Flask, request
import inference

app = Flask(__name__)

@app.route('/', methods=['GET', 'POST'])
def predict():
    if request.method == 'GET':
        return 'POST a json payload of {"imageBase64": "base64base64base64"} to this address to predict.'
    try:
        result = inference.run(request.json['imageBase64'])
        return result
    except Exception as e:
        return {'error': str(e)}, 500

if __name__ == "__main__":
    app.run()
else:
    print('\n * Server ready!')

inference.py

# Import packages
from __future__ import absolute_import, division, print_function, unicode_literals

import os
import tensorflow as tf
from tensorflow import keras
import PIL
import numpy as np
from io import BytesIO
import base64
import json

print("TensorFlow version is ", tf.__version__)

# Set variables
##########################################################################################
##########################################################################################

model_name = 'catsdogs'

base_dir = os.path.join(os.path.dirname(__file__), '..')
model_dir = os.path.join(base_dir, 'models')

##########################################################################################
##########################################################################################

# Load model
model = keras.models.load_model(os.path.join(model_dir, model_name + '.h5'))

# Load metadata
with open(os.path.join(model_dir, model_name + '_metadata.json')) as metadataFile:
    metadata = json.load(metadataFile)

# Split metadata
labels = metadata['training_labels']
image_size = metadata['image_size']

# Exported function for inference
def run(imgBase64):
    # Decode the base64 string
    image = PIL.Image.open(BytesIO(base64.b64decode(imgBase64)))

    # Pepare image
    image = image.resize((image_size, image_size), resample=PIL.Image.BILINEAR)
    image = image.convert("RGB")

    # Run prediction
    tensor = tf.cast(np.array(image), tf.float32) / 255.
    tensor = tf.expand_dims(tensor, 0, name=None)
    result = model.predict(tensor, steps=1)

    # Combine result with labels
    labeledResult = {}
    for i, label in enumerate(labels):
        labeledResult[label] = float(result[0][labels[label]])

    return labeledResult

나는 오랫동안 이것에 대한 해결책을 찾았고 아무 것도 생각해 내지 못했습니다. 어떤 도움이라도 대단히 감사하겠습니다.

감사 해요!

Feedback Requested FeaturWorker FeaturIPC PlatforDocker

출처

tlaanemaa

👍2

가장 유용한 댓글

같은 문제가있었습니다. 지금까지 내가 내 자신의 로그에서 추측 할 수, 그것은처럼 보이는 tensorflow 사용 gevent , 당신은 사용할 수 없습니다 gevent 에서 같은 시간에 gunicorn . --workers 및 --threads 플래그는 아무런 차이가 없지만 --worker-class=gevent 에서 --worker-class=gthread 하면 문제가 해결되었습니다. @javabrett 감사

eliasmistler 에 2020년 01월 28일

👍7 ❤6 🚀3 🎉3

모든 23 댓글

Docker 설정이 컨테이너에 사용 가능한 최대 메모리를 제한합니까?

tilgovi 에 2019년 10월 10일

같은 경험. 나는 Gunicorn이 비난받을 것이라고 생각하지 않습니다. 컨테이너의 bash 셸에서 python3 api.py 를 실행할 때도 동일한 오류가 발생합니다.

mackdelany 에 2019년 10월 11일

@tlaanemaa @mackdelany가 말한 것을 확인할 수 있습니까?

tilgovi 에 2019년 10월 12일

이봐. 이렇게 사라져서 죄송합니다.

내 설정은 Docker의 RAM을 약간 제한하고 있지만 제한을 제거해도 동일한 일이 발생했습니다.

gunicorn 없이 api 파일을 실행해보고 다시 보고하겠습니다.

감사 해요!

tlaanemaa 에 2019년 10월 15일

@tlaanemaa 그것에 대한 소식이 있습니까?

benoitc 에 2019년 11월 21일

@benoitc 헤야
죄송합니다. 저는 다른 일에 몰두해 있어서 이것에 대해 더 이야기할 시간이 없었습니다.
나는 오늘 이것을 찌르려고 노력하고 당신에게 돌아올 것입니다

tlaanemaa 에 2019년 12월 02일

그래서 컨테이너에 gunicorn 없이 앱을 실행해 보았는데 효과가 있었습니다.
아래는 내 Dockerfile의 CMD 비트입니다.

공장:

CMD [ "python", "src/api.py" ]

로그:

2019-12-02 11:40:45.649503: I tensorflow/core/platform/cpu_feature_guard.cc:142] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 FMA
2019-12-02 11:40:45.653496: I tensorflow/core/platform/profile_utils/cpu_utils.cc:94] CPU Frequency: 2208000000 Hz
2019-12-02 11:40:45.653999: I tensorflow/compiler/xla/service/service.cc:168] XLA service 0x55f969cf6a40 executing computations on platform Host. Devices:
2019-12-02 11:40:45.654045: I tensorflow/compiler/xla/service/service.cc:175]   StreamExecutor device (0): Host, Default Version
TensorFlow version is  2.0.0
 * Serving Flask app "api" (lazy loading)
 * Environment: production
   WARNING: This is a development server. Do not use it in a production deployment.
   Use a production WSGI server instead.
 * Debug mode: off
 * Running on http://127.0.0.1:5000/ (Press CTRL+C to quit)

작동하지 않음:

CMD [ "gunicorn", "--chdir", "src", "api:app" ]

로그:

[2019-12-02 11:39:22 +0000] [1] [INFO] Starting gunicorn 20.0.4
[2019-12-02 11:39:22 +0000] [1] [INFO] Listening at: http://127.0.0.1:8000 (1)
[2019-12-02 11:39:22 +0000] [1] [INFO] Using worker: sync
[2019-12-02 11:39:22 +0000] [9] [INFO] Booting worker with pid: 9
2019-12-02 11:39:24.041188: I tensorflow/core/platform/cpu_feature_guard.cc:142] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 FMA
2019-12-02 11:39:24.046495: I tensorflow/core/platform/profile_utils/cpu_utils.cc:94] CPU Frequency: 2208000000 Hz
2019-12-02 11:39:24.047129: I tensorflow/compiler/xla/service/service.cc:168] XLA service 0x5623e18b5200 executing computations on platform Host. Devices:
2019-12-02 11:39:24.047183: I tensorflow/compiler/xla/service/service.cc:175]   StreamExecutor device (0): Host, Default Version

tlaanemaa 에 2019년 12월 02일

또한 원하는 경우 둘러볼 수 있도록 저장소를 열었습니다.
도움이 될 수 있습니다

https://gitlab.com/tlaanemaa/image-classifier

tlaanemaa 에 2019년 12월 02일

Listening at: http://127.0.0.1:8000 (1)

문제는 gunicorn이 컨테이너 내부의 localhost를 수신 대기하므로 외부에서 연결할 수 없다는 것입니까?

CaselIT 에 2019년 12월 16일

플라스크 앱이 동일한 작업을 수행하고 작동했기 때문에 그렇게 생각하지 않습니다.
또한 gunicorn 버전은 tensorflow 버전을 기록하지 않습니다. 이는 코드의 해당 로그 행에서 문제가 발생함을 암시합니다. gunicorn 없이 실행할 때 플라스크만 실행하면 기록됩니다.
TensorFlow version is 2.0.0

tlaanemaa 에 2019년 12월 27일

디버그 수준에서 무엇을 말합니까?

benoitc 에 2019년 12월 27일

@tlaanemaa Docker 데몬 네트워킹이 어떻게 구성되어 있습니까? @CaselIT의 의견에 따르면 클라이언트가 Docker 네트워크를 통해 Gunicorn 포트에 연결할 수 없는 것 같습니다.

-b 0.0.0.0:8000 인수로 Gunicorn을 시작해 볼 수 있습니까?

javabrett 에 2020년 01월 02일

나는 문제가 네트워크에 있다고 생각하지 않습니다. 적어도 로그에서 tensorflow 가져오기 후에 오는 로그 라인에 도달하지 않기 때문에 서버가 전혀 시작되지 않는 것처럼 보이기 때문입니다.

그럼에도 불구하고 나는 당신의 제안을 시도했지만 그것은 나에게 오류를 제공합니다

CMD [ "gunicorn", "-b", "0.0.0.0:8000", "--chdir", "src", "api:app" ]

_통나무_

usage: gunicorn [OPTIONS] [APP_MODULE]
gunicorn: error: unrecognized arguments: -d

직접 사용해보고 싶다면 Registry.gitlab.com/tlaanemaa/image-classifier에서 컨테이너 이미지를 사용할 수 있습니다.

tlaanemaa 에 2020년 01월 08일

@tlaanemaa 업데이트된 Dockerfile , 이미지 빌드 명령 및 컨테이너 실행 명령을 다시 게시할 수 있습니까?

javabrett 에 2020년 01월 08일

@javabrett 확실히

도커파일: https://gitlab.com/tlaanemaa/image-classifier/blob/master/Dockerfile
빌드 명령: docker build -t tlaanemaa/image-classifier .
Container는 Porttainer를 통해 실행되며 슬프게도 어떤 명령을 사용하는지 잘 모르겠습니다. 거기에서 아무 미친 일도 일어나지 않습니다. 표준 항목, 포트 8000이 전달됩니다.

_게시 당시의 Dockerfile:_

FROM python:3.7

RUN pip install gunicorn

WORKDIR /usr/src/app

COPY requirements.txt ./
RUN pip install --no-cache-dir -r requirements.txt

COPY . .

EXPOSE 8000

CMD [ "gunicorn", "-b", "0.0.0.0:8000", "--chdir", "src", "api:app" ]

tlaanemaa 에 2020년 01월 09일

docker의 전체 로그는 무엇입니까? 마지막으로 사용 중인 명령줄을 붙여넣을 수 있습니까?

benoitc 에 2020년 01월 09일

이 문제를 디버그하는 동안 피할 수 없는 작업을 수행하지 않는 한 지금은 Porttainer 없이 실행할 수 있습니까?

이것은 Mac용 Docker Desktop 2.1.0.5에서 작동합니다.

docker build -t tlaanemaa/image-classifier .
docker run -it --rm -p 8000:8000 tlaanemaa/image-classifier

POST 요청을 수락합니다.

전체 출력과 결과를 실행하고 게시하십시오.

javabrett 에 2020년 01월 09일

나는 그것을 시도하고 지금 작동합니다.
-b 플래그가 문제를 해결했을 수 있습니까?

정말 감사합니다!

지금 흥미로운 점은 POST 요청을 할 때 thpose는 빠르지만 GET 요청은 매우 느리다는 것입니다. 잠시 동안 GET 요청을 수행하면 이러한 요청은 빨라지지만 POST는 매우 느려지고 작업자 시간이 초과됩니다. 해당 POST에 응답하면 POST는 다시 빠르고 GET은 느립니다. 빠르게 1회를 할 수 있을 것 같고 전환하는 데 시간이 걸립니다 :D

다음은 작업자 시간 초과로 인해 GET이 빠르고 POST가 느린 경우의 로그입니다.

[2020-01-10 09:34:46 +0000] [1] [CRITICAL] WORKER TIMEOUT (pid:72)
[2020-01-10 09:34:46 +0000] [72] [INFO] Worker exiting (pid: 72)
[2020-01-10 09:34:47 +0000] [131] [INFO] Booting worker with pid: 131
TensorFlow version is  2.0.0
2020-01-10 09:34:48.946351: I tensorflow/core/platform/cpu_feature_guard.cc:142] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 FMA
2020-01-10 09:34:48.951124: I tensorflow/core/platform/profile_utils/cpu_utils.cc:94] CPU Frequency: 2208000000 Hz
2020-01-10 09:34:48.951612: I tensorflow/compiler/xla/service/service.cc:168] XLA service 0x56481dbabd80 executing computations on platform Host. Devices:
2020-01-10 09:34:48.951665: I tensorflow/compiler/xla/service/service.cc:175]   StreamExecutor device (0): Host, Default Version

 * Server ready!

tlaanemaa 에 2020년 01월 10일

또한 일부 상황에서는 * Server ready! 로그가 도커 로그에서 나타나지 않는 것 같습니다. 그것도 오해의 소지가 있었을 수 있습니다. 그 원인이 무엇인지 확실하지 않습니다.

tlaanemaa 에 2020년 01월 10일

Docker의 현재 서버는 단일/동기화 스레드로 구성되어 사용 중/차단하기가 쉽지 않으므로 이를 볼 수 있습니다. --workers=2 --threads=4 --worker-class=gthread 와 같은 인수를 추가해 보세요.

javabrett 에 2020년 01월 11일

👍4 🎉3 🚀2 ❤2

@javabrett 감사합니다
해결했습니다!

tlaanemaa 에 2020년 01월 23일

eliasmistler 에 2020년 01월 28일

👍7 ❤6 🚀3 🎉3

안녕하세요! gevent의 관리자이자 이 프로젝트의 기여자로서 저는 gevent와 gunicorn이 함께 잘 작동한다고 단호하게 말할 수 있습니다. 다양한 라이브러리가 간섭할 수 있지만 이는 gunicorn이나 gevent의 잘못이 아닙니다. 그렇지 않은 경우 새 문제를 여십시오. 감사 해요!

jamadden 에 2020년 01월 29일

이 페이지가 도움이 되었나요?

0 / 5 - 0 등급

Gunicorn: Docker 컨테이너의 Gunicorn + Flask + Tensorflow가 작동하지 않음

가장 유용한 댓글

모든 23 댓글

관련 문제