Stoqs: 사용자 워크 스테이션에서 Docker 배포 테스트 및 문서화

MacOS에 배포하는 데 문제가 있습니다. 환경은 다음과 같습니다.

• macOS Mojave 10.14.2가 탑재 된 2013 년 후반 MacBook Pro
• 1TB 솔리드 스테이트 드라이브 및 16GB 1600Mhz DDR3 RAM
• Docker Desktop Community 버전 2.00.2
• GitHub 및 DockerHub에 대한 훌륭한 인터넷 연결

github repo를 복제하고 이미지를 가져와 웹앱을 배포합니다. unix time(1) 명령은 시간이 많이 걸리는 단계의 경과 시간을 기록하는 데 사용됩니다.

mkdir /tmp/GitHub
cd /tmp/GitHub

time git clone https://github.com/stoqs/stoqs.git stoqsgit
Cloning into 'stoqsgit'...
remote: Enumerating objects: 1008, done.
remote: Counting objects: 100% (1008/1008), done.
remote: Compressing objects: 100% (92/92), done.
remote: Total 58864 (delta 938), reused 971 (delta 916), pack-reused 57856
Receiving objects: 100% (58864/58864), 197.44 MiB | 10.31 MiB/s, done.
Resolving deltas: 100% (44798/44798), done.
Checking out files: 100% (26469/26469), done.

real    0m26.203s
user    0m9.229s
sys 0m6.120s

export STOQS_HOME=/tmp/GitHub/stoqsgit
cd $STOQS_HOME/docker
cp template.env .env

# Edited .env to set STOQS_HOME variable and uncomment CAMPAIGNS_MODULE line

time docker-compose pull
Pulling postgis   ... done
Pulling mapserver ... done
Pulling stoqs     ... done
Pulling nginx     ... done

real    2m33.514s
user    0m1.839s
sys 0m0.278s

time docker-compose up -d
Creating network "docker_default" with the default driver
Creating volume "docker_static-files" with default driver
Creating volume "docker_media-files" with default driver
Creating stoqs-mapserver ... done
Creating stoqs-postgis   ... done
Creating stoqs           ... done
Creating stoqs-nginx     ... done

real    0m9.021s
user    0m0.558s
sys 0m0.159s

초기 데이터를 기본 데이터베이스로로드하고 모든 테스트를 실행하는 데 몇 분 더 걸립니다. 로그 출력은 docker-compose logs -f 로 모니터링 할 수 있습니다. 예 :

docker-compose logs -f
...
stoqs        | Wed Jan 30 17:34:01 2019 - [emperor] vassal /etc/uwsgi/django-uwsgi.ini is ready to accept requests
stoqs        | WSGI app 0 (mountpoint='') ready in 3 seconds on interpreter 0x55aab8b92010 pid: 245 (default app)
stoqs        | WSGI app 0 (mountpoint='') ready in 3 seconds on interpreter 0x55aab8b92010 pid: 250 (default app)

이제 로컬 stoqs 웹 앱을 https : // localhost 에서 사용할 수 있습니다

모든 것이 훌륭해 보이며 실제로 MBARI의 공용 STOQS 서버에서 추가 데이터베이스를로드하여 자체 분석에 사용할 수있는 로컬 데이터를 가질 수 있습니다. 예 :

time curl -k https://stoqs.mbari.org/media/pg_dumps/stoqs_canon_september2018.pg_dump | \
>     docker exec -i stoqs pg_restore -Fc -U postgres -d stoqs_canon_september2018
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100  195M  100  195M    0     0  1190k      0  0:02:48  0:02:48 --:--:-- 1993k

real    8m38.634s
user    0m0.688s
sys 0m1.026s

그러나 Docker 컨테이너를 다시 시작하려고하면 문제가 발생합니다. Mac의 문제는 postgres 데이터 볼륨이 컨테이너에 마운트되는 방식과 컨테이너 내부에 필요한 권한과 관련이 있습니다. 자세한 내용은이 문제에 대한 다음 주석에 설명되어 있습니다.

docker-compose logs -f 가 한 터미널 창에서 실행되고 다른 창에서 실행됩니다.

docker-compose restart postgis

docker-compose logs -f 창에 다음이 표시됩니다.

stoqs-postgis | chown: changing ownership of '/var/lib/postgresql/data/pg_wal': No such file or directory
stoqs-postgis exited with code 1

그리고 postgis 데이터베이스 컨테이너가 전체 STOQS 앱을 실행하지 않으면 작동하지 않습니다.

Linux 서버 또는 워크 스테이션에 배포 할 때는이 문제가 발생하지 않습니다.

postgres 이미지에 대해 설명 된 대로 --user 옵션을 사용하여 postgis 컨테이너의 사용자를 설정하는 데 약간의 희망이있는 것 같습니다. 아마도 이것으로 우리는 Mac 호스트의 사용자 ID를 postgis 컨테이너의 사용자 ID와 일치시킬 수 있습니다.

다음은 Mac의 Docker에서 STOQS가 작동하도록 다양한 설정을 테스트하는 단계입니다.

1. docker-compose logs -f 실행하는 하나의 터미널 창을 열어 둡니다.
2. 다른 창에서 docker-compose build 및 docker-compose up -d 명령 실행
3. 또 다른 창 (또는 선호하는 편집기)에서 텍스트 파일 편집

$ STOQS_HOME / docker에서 docker-compose.yml 파일을 편집하십시오. postgis 서비스에 다음 행을 추가하십시오.

user: 399

여기서 399 는 내 Mac에서 로그인 계정의 uid입니다. ( id -u 명령에서 가져옵니다.) 그런 다음 postgis 이미지를 다시 빌드하고 다시 배포합니다.

docker-compose build postgis
docker-compose up -d

로그 창에는 서비스가 다시 시작되고 반복되는 것과 같은 내용이 표시되는 대신 표시됩니다.

stoqs        | *** Waiting for postgres container ...

성공적인 데이터베이스 연결 로그 메시지가 표시되고 결국 https : // localhost 에서 실행중인 웹 서비스가 표시됩니다

STOQS 애플리케이션을 구성하는 파일을 편집하고 구성이 성공할 때까지 로그 출력을 모니터링하는 이러한 단계를 반복 할 수 있습니다.

PR https://github.com/stoqs/stoqs/pull/838을 사용하면 MacOS에서 Docker 컨테이너를 실행하고 다시 시작할 수 있습니다. 다음은 MacOS에서 저장소를 복제 한 후 변경해야하는 파일의 차이점입니다.

git diff
diff --git a/docker/docker-compose.yml b/docker/docker-compose.yml
index 7d23d994..f171564f 100644
--- a/docker/docker-compose.yml
+++ b/docker/docker-compose.yml
@@ -19,7 +19,7 @@ services:
     ports:
       - "${STOQS_PGHOST_PORT}:5432"
     # Set user for deployment on MacOS, assign HOST_ID=<result of `id -u`> in your .env file
-    ##user: ${HOST_UID}
+    user: ${HOST_UID}
     environment:
       - POSTGRES_PASSWORD=${POSTGRES_PASSWORD}
       - STOQSADM_PASSWORD=${STOQSADM_PASSWORD}

diff docker/template.env docker/.env
16c16
< STOQS_HOME=/vagrant/dev/stoqsgit
---
> STOQS_HOME=/Users/mccann/GitHub/stoqsgit
19c19
< ##HOST_UID=
---
> HOST_UID=399
43c43
< ##CAMPAIGNS_MODULE=stoqs/mbari_campaigns.py
---
> CAMPAIGNS_MODULE=stoqs/mbari_campaigns.py

이것은 사용자 정의 데스크탑 워크 스테이션에서이 테스트를 실행 한 결과입니다.

운영체제 : Ubuntu 18.04.1
CPU : AMD Ryzen 5 1600
메모리 : 16GB DDR4 @ 3466Mhz
스토리지 : 512GB NVMe SSD
Docker CE 버전 : 18.09.1
인터넷 : ~ 70Mbps 다운로드

위에서와 다르게 한 유일한 일은 데이터베이스를 만드는 데 걸린 시간을 측정하기 위해 -d 스위치없이 docker-compose를 실행 한 것입니다. 이번에는 NGINX가 실행되는 것을보고 CTRL + C를 사용하여 수동으로 종료해야했습니다. 실제 실행 시간보다 약간 증가 할 수 있습니다.

mkdir /tmp/git
cd /tmp/git

time git clone https://github.com/stoqs/stoqs.git stoqsgit
Cloning into 'stoqsgit'...
remote: Enumerating objects: 1081, done.
remote: Counting objects: 100% (1081/1081), done.
remote: Compressing objects: 100% (144/144), done.
remote: Total 58937 (delta 985), reused 1020 (delta 937), pack-reused 57856
Receiving objects: 100% (58937/58937), 197.46 MiB | 8.42 MiB/s, done.
Resolving deltas: 100% (44845/44845), done.
Checking out files: 100% (26469/26469), done.

real    0m26.103s
user    0m9.998s
sys     0m3.263s

# Created STOQS_HOME variable
export STOQS_HOME=/tmp/git/stoqsgit
cd $STOQS_HOME/docker

# Setup .env set STOQS_HOME directory and uncommented CAMPAIGNS_MODULE
cp template.env .env
vi .env

# Output omitted

time docker-compose pull                                                                                                                                                      

# Output omitted

real    5m6.275s
user    0m1.388s
sys     0m0.160s

time docker-compose up

# Output omitted

real    6m31.452s
user    0m2.609s
sys     0m0.893s