Shinyproxy: Shinyproxy 배포를 위한 롤링 업데이트로 인해 고아 포드가 발생함

안녕하세요 @ramkumarg1

Shinyproxy가 SIGTERM 신호로 수신되면(배포가 축소될 때) 모든 애플리케이션 포드를 먼저 중지하여 정상적으로 종료되어야 합니다. 포드 사양에서 유예 기간 terminationGracePeriodSeconds 을 늘려야 할 수도 있습니다(기본값은 30초). Shinyproxy가 이 기간 내에 종료할 수 없는 경우 SIGKILL을 수신하고 즉시 종료되어 고아 포드를 남깁니다. 추가 정보: https://kubernetes.io/docs/concepts/containers/container-lifecycle-hooks/

@dseynaev 에게 감사합니다. TerminationGracePeriodSeconds를 포함하도록 배포 사양을 변경했지만 차이가 없었습니다. 포드가 즉시 종료됨 - 아마도 이 문제는 스프링 부트가 SIGTERM을 정상적으로 처리해야 하는 https://github.com/kubernetes/kubernetes/issues/47576 에 연결되어 있습니까?

spec:
  terminationGracePeriodSeconds : 180
  containers:
  - name: shinyproxy

우리는 좀비 포드에서 동일한 문제를 관찰했으며 종료 유예 기간 설정으로도 이 문제가 해결되지 않습니다.

나는 같은 문제가 있으며 이것은 종료 시 반짝/컨테이너 프록시에 의해 기록되는 것입니다.

2020-01-30 10:56:56.785  INFO 1 --- [           main] e.o.c.ContainerProxyApplication          : Started ContainerProxyApplication in 39.115 seconds (JVM running for 43.619)
2020-01-30 10:57:01.374  INFO 1 --- [  XNIO-2 task-1] io.undertow.servlet                      : Initializing Spring FrameworkServlet 'dispatcherServlet'
2020-01-30 10:57:01.375  INFO 1 --- [  XNIO-2 task-1] o.s.web.servlet.DispatcherServlet        : FrameworkServlet 'dispatcherServlet': initialization started
2020-01-30 10:57:01.507  INFO 1 --- [  XNIO-2 task-1] o.s.web.servlet.DispatcherServlet        : FrameworkServlet 'dispatcherServlet': initialization completed in 131 ms
2020-01-30 10:57:26.275  INFO 1 --- [ XNIO-2 task-16] e.o.containerproxy.service.UserService   : User logged in [user: **]
2020-01-30 10:57:35.802  INFO 1 --- [  XNIO-2 task-3] e.o.containerproxy.service.ProxyService  : Proxy activated [user: ***] [spec: insight] [id: 9274ad33-665a-4d47-bab5-6c4b39a618b8]
2020-01-30 10:59:02.376  INFO 1 --- [       Thread-2] ConfigServletWebServerApplicationContext : Closing org.springframework.boot.web.servlet.context.AnnotationConfigServletWebServerApplicationContext<strong i="6">@2b2948e2</strong>: startup date [Thu Jan 30 10:56:24 GMT 2020]; root of context hierarchy
2020-01-30 10:59:02.377 ERROR 1 --- [pool-4-thread-1] java.io.InputStreamReader                : Error while pumping stream.
java.io.EOFException: null
    at okio.RealBufferedSource.require(RealBufferedSource.java:61) ~[okio-1.15.0.jar!/:na]
    at okio.RealBufferedSource.readHexadecimalUnsignedLong(RealBufferedSource.java:303) ~[okio-1.15.0.jar!/:na]
    at okhttp3.internal.http1.Http1Codec$ChunkedSource.readChunkSize(Http1Codec.java:469) ~[okhttp-3.12.0.jar!/:na]
    at okhttp3.internal.http1.Http1Codec$ChunkedSource.read(Http1Codec.java:449) ~[okhttp-3.12.0.jar!/:na]
    at okio.RealBufferedSource$1.read(RealBufferedSource.java:439) ~[okio-1.15.0.jar!/:na]
    at java.io.InputStream.read(InputStream.java:101) ~[na:1.8.0_171]
    at io.fabric8.kubernetes.client.utils.BlockingInputStreamPumper.run(BlockingInputStreamPumper.java:49) ~[kubernetes-client-4.2.2.jar!/:na]
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) [na:1.8.0_171]
    at java.util.concurrent.FutureTask.run(FutureTask.java:266) [na:1.8.0_171]
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) [na:1.8.0_171]
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) [na:1.8.0_171]
    at java.lang.Thread.run(Thread.java:748) [na:1.8.0_171]
2020-01-30 10:59:02.394  INFO 1 --- [       Thread-2] o.s.j.e.a.AnnotationMBeanExporter        : Unregistering JMX-exposed beans on shutdown
2020-01-30 10:59:02.403  INFO 1 --- [       Thread-2] o.s.j.e.a.AnnotationMBeanExporter        : Unregistering JMX-exposed beans
2020-01-30 10:59:02.514  WARN 1 --- [       Thread-2] .s.c.a.CommonAnnotationBeanPostProcessor : Invocation of destroy method failed on bean with name 'proxyService': eu.openanalytics.containerproxy.ContainerProxyException: Failed to stop container
2020-01-30 10:59:02.525  INFO 1 --- [       Thread-2] io.undertow.servlet                      : Destroying Spring FrameworkServlet 'dispatcherServlet'

이 문제에 대한 해결책을 찾았습니다. Spring Boot 앱이 올바르고 정상적으로 종료되기 때문에 이것은 실제로 shinyproxy 또는 containerproxy에서 문제가 되지 않습니다.

문제는 kubctl proxy 사이드카 컨테이너입니다. Kubernetes의 경우 containerproxy가 Kubernetes 자체와 통신하기 위해 사이드카 컨테이너에 의존하는지 명확하지 않습니다. 따라서 새 배포에서 Kubernetes는 모든 이전 포드의 프록시와 사이드카 컨테이너 모두에 SIGTERM을 보냅니다. 사이드카 컨테이너가 즉시 종료되고 containerproxy가 Kubernetes와 통신하지 못합니다.

여기에 설명된 대로 Kubernetes가 v1.18에서 이러한 시작 및 종료 종속성을 해결하려고 한다는 것을 읽었습니다.
https://github.com/kubernetes/enhancements/issues/753
https://banzaicloud.com/blog/k8s-sidecars/

그때까지는 사이드카 컨테이너에 다음 수명 주기 주석을 추가하는 간단한 해결 방법이 있습니다.

          lifecycle:
            preStop:
              exec:
                command: ["sh", "-c", "sleep 5"] # wait 5 seconds to let shinyproxy remove the pods on graceful shutdown

@fmannhardt 의 수정이 이 문제를 해결하는지 확인할 수 있습니다. 정말 고맙습니다!

안녕하세요 여러분

ShinyProxy의 최신 버전(정확히 어떤 버전인지 모르겠지만 적어도 ShinyProxy 2.3.1)에서는 kube-proxy 사이드카를 사용할 필요가 없습니다. ShinyProxy는 Kubernetes API의 위치 및 인증을 자동으로 감지합니다.
따라서 이 문제는 자동으로 해결된다고 생각합니다.
그럼에도 불구하고 귀하의 시간과 조사에 감사드립니다!