<p>spec.clusterIP로 helm 업그레이드 실패 : 유효하지 않은 값 : "": 필드는 변경할 수 없습니다.</p>

재생산하기에 충분한 정보가 제공되지 않았습니다. 재현 가능한 차트를 만드는 방법과 사용한 Helm 명령을 알려주세요.

안녕하세요, 재현 단계는 다음과 같습니다.
아래와 같이 두 개의 서비스 yaml 파일이 있습니다.

nginx.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
  labels:
    app: nginx
spec:
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:1.14.2
        ports:
        - containerPort: 80

prometheus.yaml

apiVersion: apps/v1beta1
kind: Deployment
metadata:
  name: prometheus
spec:
  template:
    metadata:
      labels:
        app: prometheus
    spec:
      containers:
      - image: prom/prometheus
        name: prometheus
        ports:
        - containerPort: 9090
        imagePullPolicy: Always
      hostname: prometheus
      restartPolicy: Always
---
apiVersion: v1
kind: Service
metadata:
  name: prometheus
spec:
  selector:
    app: prometheus
  clusterIP: None
  ports:
  - name: headless
    port: 9090
    targetPort: 0

그런 다음 helm1 / templates /에 두 개의 파일을 넣고 설치합니다. prometheus 서비스가 clusterIP를 사용하고 nginx 버전이 1.14.2임을 보여줍니다.

# helm upgrade --install test helm1
Release "test" does not exist. Installing it now.
NAME: test
LAST DEPLOYED: Tue Apr 21 20:42:55 2020
NAMESPACE: default
STATUS: deployed
REVISION: 1
TEST SUITE: None

# kubectl get svc
NAME         TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)    AGE
kubernetes   ClusterIP   10.96.0.1    <none>        443/TCP    35d
prometheus   ClusterIP   None         <none>        9090/TCP   7s

# kubectl describe deployment nginx |grep Image
    Image:        nginx:1.14.2

이제 nginx.yaml 섹션을 새 버전 1.16으로 업데이트하십시오.

        image: nginx:1.16

그리고 prometheus.yaml을 LoadBalancer로 변경합니다.

spec:
  selector:
    app: prometheus
  ports:
  - name: "9090"
    port: 9090
    protocol: TCP
    targetPort: 9090
  type: LoadBalancer

이제 helm2로 설정하고 업그레이드를 수행하십시오. 그런 다음 업그레이드에서 약간의 오류가 발생하지만 nginx 서비스는 새 버전으로 업그레이드하여 진행되지만 prometheus는 여전히 클러스터 IP를 사용하고 있으므로 업그레이드되지 않습니다.

# helm upgrade --install test helm2
Error: UPGRADE FAILED: cannot patch "prometheus" with kind Service: Service "prometheus" is invalid: spec.clusterIP: Invalid value: "": field is immutable

# kubectl get svc
NAME         TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)    AGE
kubernetes   ClusterIP   10.96.0.1    <none>        443/TCP    35d
prometheus   ClusterIP   None         <none>        9090/TCP   5m34s

# kubectl describe deployment nginx |grep Image
    Image:        nginx:1.16

조타 목록 쇼

# helm list
NAME    NAMESPACE   REVISION    UPDATED                                 STATUS  CHART                                       APP VERSION
test    default     2           2020-04-21 20:48:20.133644429 -0700 PDT failed  

키 역사

# helm history test
REVISION    UPDATED                     STATUS      CHART       APP VERSION DESCRIPTION                                                                                                                                               
1           Tue Apr 21 20:42:55 2020    deployed    helm-helm   1.0.0.6     Install complete                                                                                                                                          
2           Tue Apr 21 20:48:20 2020    failed      helm-helm   1.0.0.6     Upgrade "test" failed: cannot patch "prometheus" with kind Service: Service "prometheus" is invalid: spec.clusterIP: Invalid value: "": field is immutable

v3.2.0에서도 동일한 동작이 발생합니다. v3.1.3으로 다운 그레이드하는 것이 임시 수정입니다.

Helm 2-> 3 마이그레이션으로 많은 것을 얻었습니다. 변환 된 릴리스를 처음으로 업그레이드하려고 할 때 많은 것을 얻습니다. 이것은 지금까지 Nginx Ingress, Prometheus Operator, Graylog 및 Jaeger 차트를위한 것입니다. 대부분은 서비스를 삭제하고 Helm이 다시 생성하도록하는 데 만족하지만 Nginx Ingress의 경우 이것은 옵션이 아닙니다 ...

방금 내 경우의 문제를 설명하는 https://github.com/helm/helm/issues/6378#issuecomment -557746499를 찾았습니다.

# 6378의 복제본으로 닫습니다. @cablespaghetti 는이 동작에 대한 더 깊은 설명을 찾았습니다.

그것이 당신에게 효과가 없다면 저희에게 알려주십시오.

@GaramNick 왜 다운 그레이드가이 문제를 해결합니까? 다운 그레이드로 해결 된 "무엇"에 대해 자세히 설명해 주시겠습니까?

@bacongobbler 당신이 여기있는 동안. 릴리스를 삭제하고 다시 배포하지 않고이 상황을 해결할 수있는 방법이 있습니까? Helm은 clusterIP가 항상 생략되어 있으므로 패치가 필요하지 않다고 생각하도록 기존 릴리스 데이터를 해킹하고 싶습니다.

kubectl edit 사용해 보셨습니까?

동일한 문제가 있으며 3.1.3 다운 그레이드하면 문제가 해결되었습니다. 내 생각 엔 그것의 새로운 로직과 관련이 있다는 것입니다 https://github.com/helm/helm/pull/7649/commits/d829343c1514db17bee7a90624d06cdfbffde963 이 고려 Create 아닌 업데이트는 따라서 빈 설정하려고 IP 및 채워진 것을 재사용하지 않음

흥미로운 발견. 조사해 주셔서 감사합니다.

@jlegrone 혹시 이걸 조사 할 시간이 있으신가요?

@bacongobbler CI / CD 파이프 라인은 Helm을 사용하여 ClusterIP 유형의 서비스를 포함하는 애플리케이션을 업데이트합니다. 명령 :

helm upgrade --install --force \
        --wait \
        --set image.repository="$CI_REGISTRY_IMAGE" \
        --set image.tag="$CI_COMMIT_REF_NAME-$CI_COMMIT_SHA" \
        --set image.pullPolicy=IfNotPresent \
        --namespace="$KUBE_NAMESPACE" \
        "$APP_NAME" \
        ./path/to/charts/

v3.2.0에서이 명령은 Service "service-name" is invalid: spec.clusterIP: Invalid value: "": field is immutable 와 함께 실패합니다.

v3.1.3에서는 제대로 작동합니다.

더 많은 정보를 원하시면 알려주세요.

여기도 마찬가지입니다. 우리는 수개월 동안 helm2와 함께 다음 service.yaml이 잘 작동했습니다.
마이그레이션 후 helm 3.2 helm upgrade 명령이 위와 같은 저장 오류와 함께 실패했습니다. 3.1.3으로 다운 그레이드하면 문제가 해결되었습니다.

apiVersion: v1
kind: Service
metadata:
  name: {{ .Values.global.name }}
  namespace: {{ index .Values.global.namespace .Values.global.env }}
  labels:
     microservice: {{ .Values.global.name }}
spec:
   type: ClusterIP
   ports:
   - port: 8080
   selector:
      microservice: {{ .Values.global.name }}

우리는 동일한 문제가 있으며 3.1.3으로 다운 그레이드하면 우리에게도 해결되었습니다. 내 생각 엔 d829343의 새로운 논리와 관련이 있다는 것입니다.이를 업데이트가 아닌 Create로 간주하여 빈 IP를 설정하고 채워진 IP를 재사용하지 않으려 고합니다.

@ n1koo 이것이 문제를 일으키는 코드라고 생각하는 이유를 설명해 주시겠습니까? 이것은 설치이고 업그레이드 코드가 아니기 때문에 3.1 의 create 이고 작동합니다.

@adamreese 문제를 검토 @ n1koo가 식별 한 패치라고

우리는 여전히 이것을 조사하고 있으며 더 많은 것을 배우면 업데이트 할 것입니다.

따라서 https://github.com/helm/helm/issues/6378#issuecomment -557746499가 정확합니다. 이 문제를 계속하기 전에 읽어보십시오. clusterIP: "" 가 설정된 경우 Kubernetes는 IP를 할당합니다. 다음 Helm 업그레이드에서 clusterIP:"" 다시 나타나면 위의 오류가 발생합니다. _Kubernetes에 _ IP를 재설정하려는 것으로 나타나기 때문입니다. (예, Kubernetes는 서비스의 spec: 섹션을 수정합니다!)

Create 메서드가 3-way diff를 우회하면 Kubernetes가 할당 한 IP 주소로 설정하는 대신 clusterIP: "" 를 설정합니다.

재현하려면 :

$ helm create issue7956
$ # edit issue7956/templates/service.yaml and add `clusterIP: ""` under `spec:`
$ helm upgrade --install issue7956 issue7956
...
$ helm upgrade issue7956 issue7956
Error: UPGRADE FAILED: cannot patch "issue-issue7956" with kind Service: Service "issue-issue7956" is invalid: spec.clusterIP: Invalid value: "": field is immutable

두 번째로 업그레이드를 실행하면 실패합니다.

master 에서 @IdanAdar 의 경우를 재현 할 수 없습니다.

@GaramNick 은 귀하의 오류를 재현하기 위해 귀하가 사용하는 서비스에 대한 정보가 충분하지 않습니다.

내 상황 :
version.BuildInfo{Version:"v3.2.0", GitCommit:"e11b7ce3b12db2941e90399e874513fbd24bcb71", GitTreeState:"clean", GoVersion:"go1.13.10"}
또한
version.BuildInfo{Version:"v3.2.1", GitCommit:"fe51cd1e31e6a202cba7dead9552a6d418ded79a", GitTreeState:"clean", GoVersion:"go1.13.10"}

다음 서비스 템플릿이 제공됩니다.

apiVersion: v1
kind: Service
metadata:
  name: {{ include "app.fullname" . }}
  labels:
    {{- include "app.labels" . | nindent 4 }}
  annotations:
    getambassador.io/config: |
      ---
      apiVersion: ambassador/v1
      kind: Mapping
      name: {{ include "app.fullname" . }}_mapping
      prefix: /{{ include "app.fullname" . }}
      host: "^{{ include "app.fullname" . }}.*"
      host_regex: true
      service: {{ include "app.fullname" . }}.{{ .Release.Namespace }}
      rewrite: ""
      timeout_ms: 60000
      bypass_auth: true
      cors:
        origins: "*"
        methods: POST, GET, OPTIONS
        headers:
        - Content-Type
        - Authorization
        - x-client-id
        - x-client-secret
        - x-client-trace-id
        - x-flow-proto
      ---
      apiVersion: ambassador/v1
      kind: Mapping
      name: {{ include "app.fullname" . }}_swagger_mapping
      ambassador_id: corp
      prefix: /swagger
      host: "^{{ include "app.fullname" . }}.corp.*"
      host_regex: true
      service: {{ include "app.fullname" . }}.{{ .Release.Namespace }}
      rewrite: ""
      bypass_auth: true
      cors:
        origins: "*"
        methods: POST, GET, OPTIONS
        headers:
        - Content-Type
        - x-client-id
        - x-client-secret
        - Authorization
        - x-flow-proto
  namespace: {{ .Release.Namespace }}
spec:
  type: {{ .Values.service.type }}
  selector:
    {{- include "app.selectorLabels" . | nindent 4 }}
  ports:
  - port: {{ .Values.service.port }}
    name: http-rest-hub
    targetPort: http-rest
  - port: {{ .Values.service.healthPort }}
    name: http-health
    targetPort : http-health

upgrade --install 뒤에 다음과 같은 결과가 나타납니다.

apiVersion: v1
kind: Service
metadata:
  annotations:
    getambassador.io/config: |
      ---
      apiVersion: ambassador/v1
      kind: Mapping
      name: hub-alt-bor_mapping
      prefix: /hub-alt-bor
      host: "^hub-alt-bor.*"
      host_regex: true
      service: hub-alt-bor.brett
      rewrite: ""
      timeout_ms: 60000
      bypass_auth: true
      cors:
        origins: "*"
        methods: POST, GET, OPTIONS
        headers:
        - Content-Type
        - Authorization
        - x-client-id
        - x-client-secret
        - x-client-trace-id
        - x-flow-proto
      ---
      apiVersion: ambassador/v1
      kind: Mapping
      name: hub-alt-bor_swagger_mapping
      ambassador_id: corp
      prefix: /swagger
      host: "^hub-alt-bor.corp.*"
      host_regex: true
      service: hub-alt-bor.brett
      rewrite: ""
      bypass_auth: true
      cors:
        origins: "*"
        methods: POST, GET, OPTIONS
        headers:
        - Content-Type
        - x-client-id
        - x-client-secret
        - Authorization
        - x-flow-proto
    meta.helm.sh/release-name: alt-bor
    meta.helm.sh/release-namespace: brett
  creationTimestamp: ...
  labels:
    app: hub
    app.kubernetes.io/instance: alt-bor
    app.kubernetes.io/managed-by: Helm
    app.kubernetes.io/name: hub
    app.kubernetes.io/version: v1.6.0-rc.26
    deploy.xevo.com/stackname: bor-v0.1-test
    helm.sh/chart: hub-0.0.4
    owner: gateway
    ownerSlack: TODOunknown
  name: hub-alt-bor
  namespace: brett
  resourceVersion: ...
  selfLink: ...
  uid: ...
spec:
  clusterIP: 172.20.147.13
  ports:
  - name: http-rest-hub
    port: 80
    protocol: TCP
    targetPort: http-rest
  - name: http-health
    port: 90
    protocol: TCP
    targetPort: http-health
  selector:
    app.kubernetes.io/instance: alt-bor
    app.kubernetes.io/name: hub
  sessionAffinity: None
  type: ClusterIP
status:
  loadBalancer: {}

그런 다음 0.0.5 버전 및 upgrade --install 와 똑같은 차트를 다시 업로드하면 다음과 같은 결과가 나타납니다.
Error: UPGRADE FAILED: failed to replace object: Service "hub-alt-bor" is invalid: spec.clusterIP: Invalid value: "": field is immutable

유일한 차이점은 이제 hub-0.0.5 의 값이있는 helm.sh/chart 레이블의 값입니다.

이것은 거대한 차단제입니다.

@GaramNick 은 귀하의 오류를 재현하기 위해 귀하가 사용하는 서비스에 대한 정보가 충분하지 않습니다.

@technosophos 무엇이 필요합니까? 자세한 정보를 제공해 드리겠습니다.

최신 정보! helm upgrade --install w / --force 사용하는 경우에만 업데이트가 실패합니다. 이제 차단제가 적습니다.

오! 그것 참 흥미 롭네. 그러면 오류를 쉽게 추적 할 수 있습니다.

안녕하세요 @technosophos @bacongobbler 우리는 동일한 두 가지 문제가 있습니다.

version.BuildInfo{Version:"v3.2.1", GitCommit:"fe51cd1e31e6a202cba7dead9552a6d418ded79a", GitTreeState:"clean", GoVersion:"go1.13.10"}

1. 발행물
   clusterIP 없이 Service 템플릿이 있지만 kubernetes는 자동으로 clusterIP 할당합니다.

apiVersion: v1
kind: Service
metadata:
  name: {{ .Release.Name }}
  labels:
    app: {{ .Values.image.name }}
    release: {{ .Release.Name }}
spec:
  type: ClusterIP
  ports:
    - port: {{ .Values.service.port }}
      targetPort: {{ .Values.service.port }}
      protocol: TCP
      name: http
  selector:
    app: {{ .Values.image.name }}
    release: {{ .Release.Name }}

helm 2to3 convert 로 helm 3으로 마이그레이션 한 후 동일한 릴리스 helm3 upgrade --install --force 업그레이드를 시도하십시오.

failed to replace object: Service "dummy-stage" is invalid: spec.clusterIP: Invalid value: "": field is immutable

--force -> helm3 upgrade --install 없이 똑같이하면 오류없이 잘 작동합니다.

1. 발행물
   --force 없이 변경 불가능한 필드 인 Deployment에서 spec.selector.matchLabels 를 변경하려면 오류가 발생합니다.

cannot patch "dummy-stage" with kind Deployment: Deployment.apps "dummy-stage" is invalid: spec.selector: Invalid value: v1.LabelSelector{MatchLabels:map[string]string{"app.kubernetes.io/name":"web-nerf-dummy-app"}, MatchExpressions:[]v1.LabelSelectorRequirement(nil)}: field is immutable

--force 똑같이 할 경우 오류가 발생합니다.

failed to replace object: Deployment.apps "dummy-stage" is invalid: spec.selector: Invalid value: v1.LabelSelector{MatchLabels:map[string]string{"app.kubernetes.io/name":"web-nerf-dummy-app"}, MatchExpressions:[]v1.LabelSelectorRequirement(nil)}: field is immutable

그것은을위한 동일한 동작 구현 가능 --force 같이 helm 2 우리가 어떤 오류없이 불변 업그레이드 할 수 있기 때문에 신청을?

apiVersion: v1
kind: Service
metadata:
  name: zipkin-proxy
  namespace: monitoring
spec:
  ports:
  - port: 9411
    targetPort: 9411
  selector:
    app: zipkin-proxy
  type: ClusterIP

---

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: zipkin-proxy
  namespace: monitoring
spec:
  replicas: {{ .Values.zipkinProxy.replicaCount }}
  template:
    metadata:
      labels:
        app: zipkin-proxy
      annotations:
        prometheus.io/scrape: 'true'
    spec:
      containers:
      - image: {{ .Values.image.repository }}/zipkin-proxy
        name: zipkin-proxy
        env:
        - name: STORAGE_TYPE
          value: stackdriver

helm upgrade -i --debug --force --namespace monitoring zipkin-proxy --values ./values.yaml.tmp .

강제 옵션을 제거하려고 시도했습니다. v3.1.3, v3.2.0 및 v3.2.1로 시도했지만 여전히 동일한 문제입니다.

스택 추적

history.go:52: [debug] getting history for release zipkin-proxy
upgrade.go:84: [debug] preparing upgrade for zipkin-proxy
upgrade.go:92: [debug] performing update for zipkin-proxy
upgrade.go:234: [debug] creating upgraded release for zipkin-proxy
client.go:163: [debug] checking 2 resources for changes
client.go:195: [debug] error updating the resource "zipkin-proxy":
         cannot patch "zipkin-proxy" with kind Service: Service "zipkin-proxy" is invalid: spec.clusterIP: Invalid value: "": field is immutable
client.go:403: [debug] Looks like there are no changes for Deployment "zipkin-proxy"
upgrade.go:293: [debug] warning: Upgrade "zipkin-proxy" failed: cannot patch "zipkin-proxy" with kind Service: Service "zipkin-proxy" is invalid: spec.clusterIP: Invalid value: "": field is immutable
Error: UPGRADE FAILED: cannot patch "zipkin-proxy" with kind Service: Service "zipkin-proxy" is invalid: spec.clusterIP: Invalid value: "": field is immutable
helm.go:75: [debug] cannot patch "zipkin-proxy" with kind Service: Service "zipkin-proxy" is invalid: spec.clusterIP: Invalid value: "": field is immutable
helm.sh/helm/v3/pkg/kube.(*Client).Update
        /home/circleci/helm.sh/helm/pkg/kube/client.go:208
helm.sh/helm/v3/pkg/action.(*Upgrade).performUpgrade
        /home/circleci/helm.sh/helm/pkg/action/upgrade.go:248
helm.sh/helm/v3/pkg/action.(*Upgrade).Run
        /home/circleci/helm.sh/helm/pkg/action/upgrade.go:93
main.newUpgradeCmd.func1
        /home/circleci/helm.sh/helm/cmd/helm/upgrade.go:137
github.com/spf13/cobra.(*Command).execute
        /go/pkg/mod/github.com/spf13/[email protected]/command.go:826
github.com/spf13/cobra.(*Command).ExecuteC
        /go/pkg/mod/github.com/spf13/[email protected]/command.go:914
github.com/spf13/cobra.(*Command).Execute
        /go/pkg/mod/github.com/spf13/[email protected]/command.go:864
main.main
        /home/circleci/helm.sh/helm/cmd/helm/helm.go:74
runtime.main
        /usr/local/go/src/runtime/proc.go:203
runtime.goexit
        /usr/local/go/src/runtime/asm_amd64.s:1357
UPGRADE FAILED
main.newUpgradeCmd.func1
        /home/circleci/helm.sh/helm/cmd/helm/upgrade.go:139
github.com/spf13/cobra.(*Command).execute
        /go/pkg/mod/github.com/spf13/[email protected]/command.go:826
github.com/spf13/cobra.(*Command).ExecuteC
        /go/pkg/mod/github.com/spf13/[email protected]/command.go:914
github.com/spf13/cobra.(*Command).Execute
        /go/pkg/mod/github.com/spf13/[email protected]/command.go:864
main.main
        /home/circleci/helm.sh/helm/cmd/helm/helm.go:74
runtime.main
        /usr/local/go/src/runtime/proc.go:203
runtime.goexit
        /usr/local/go/src/runtime/asm_amd64.s:1357

Helm 차트 버전이 변경되고 기존 배포가있는 경우이 문제가 발생합니다.

Helm v3.2.0 사용

3.1.2로 다운 그레이드가 작동 함을 확인할 수 있습니다.

@ gor181 어떻게 재현 할 수 있습니까? 3.2에서 깨졌지만 3.1에서 작동 한 것은 무엇입니까? 차트 (또는 최소한 svc 템플릿)와 명령은 변경된 내용을 파악하는 데 필요한 것입니다.

@azarudeena @ alexandrsemak- 두 사람 모두에게 --force 플래그가 원인입니다. --force 를 제거하면 업그레이드가 작동합니까?

@technosophos 는 힘없이 시도했지만 작동하지 않았습니다. 3.1.2로 시도 할 계획

@azarudeena 문제를 재현하기위한 지침을 제공해 주시겠습니까? 서비스 및 배포 템플릿의 일부 출력을 보여 주었지만 결과를 알지 못하는 values.yaml.tmp 도 참조했거나 Chart.yaml도 참조했습니다.

문제를 재현하는 데 사용할 수있는 샘플 차트를 제공해 주시겠습니까?

@bacongobbler 구조를 공유하고 있습니다.

Chart.yaml

apiVersion: v1
description: Deploys Stackdriver Trace Zipkin Proxy
name: zipkin-proxy
version: 1.0.0

위에 템플릿 yaml을 넣었습니다.

내 가치 yaml.tmp는 다음과 같습니다.

zipkinProxy:
  replicaCount: 1

image:
  repository: openzipkin/zipkin

나는 그것을 helm 패키지 --version으로 패키징합니다.업그레이드와 동일하게 사용합니다. 이것이 작동하는지 알려주시겠습니까? 3.1.2로 시도하면 여기에서 업데이트합니다.

편집하다

3.1.2 및 3.1.1로 다운 그레이드하여 시도했습니다. 여전히이 패치를받을 수 없습니다.

나는 같은 문제에 직면했지만 terraform helm 공급자를 통해 helm 차트를 업그레이드했습니다.
force_update = true 을 force_update = false 로 변경 한 후 오류가 사라졌습니다.

Helm 차트 버전이 변경되고 기존 배포가있는 경우이 문제가 발생합니다.

Helm v3.2.0 사용

--force 플래그를 비활성화하면 작동했습니다.

@technosophos --force helm 2로 마이그레이션 할 때 ClusterIP 문제를 해결합니다 Helm 3이 수행 할 때 ClusterIP를 업그레이드하지 마십시오.
Helm 3에서 matchLabels 로 제출 된 변경 불가능한 문제를 해결할 수 없음

Kubernetes는 서비스의 spec: 섹션을 수정합니다.

이것이 쿠 버네 티스의 근본적인 설계 결함으로 간주되어야합니까? https://kubernetes.io/docs/concepts/services-networking/service/#choosing -your-own-ip-address는이 동작에 대해 언급하지 않습니다. status 섹션에 할당 된 값이 배치 될 것으로 예상했을 것입니다.

(A 비슷한 동작은 존재 .spec.nodeName (A)의 Pod ,하지만 투구 사용자에 영향을 미치지 않을 수 있습니다.)

v3.2.3 : --force로 실패하고 --force없이 통과합니다. 차트 템플릿에 ClusterIP: 없습니다. https://github.com/helm/helm/pull/8000/files 가 수정해야 할 것 같습니다.

upgrade.go:121: [debug] preparing upgrade for eos-eve-srv-d1
upgrade.go:129: [debug] performing update for eos-eve-srv-d1
upgrade.go:308: [debug] creating upgraded release for eos-eve-srv-d1
client.go:173: [debug] checking 6 resources for changes
client.go:432: [debug] Replaced "eos-eve-srv-d1-fsnode" with kind ServiceAccount for kind ServiceAccount
client.go:432: [debug] Replaced "eos-eve-srv-d1-fsnode-imagepullsecret" with kind Secret for kind Secret
client.go:432: [debug] Replaced "eos-eve-srv-d1-fsnode-config" with kind ConfigMap for kind ConfigMap
client.go:205: [debug] error updating the resource "eos-eve-srv-d1-fsnode":
         failed to replace object: Service "eos-eve-srv-d1-fsnode" is invalid: spec.clusterIP: Invalid value: "": field is immutable
client.go:432: [debug] Replaced "eos-eve-srv-d1-fsnode" with kind Deployment for kind Deployment
client.go:432: [debug] Replaced "eos-eve-srv-d1-fsnode" with kind Ingress for kind Ingress
upgrade.go:367: [debug] warning: Upgrade "eos-eve-srv-d1" failed: failed to replace object: Service "eos-eve-srv-d1-fsnode" is invalid: spec.clusterIP: Invalid value: "": field is immutable
Error: UPGRADE FAILED: failed to replace object: Service "eos-eve-srv-d1-fsnode" is invalid: spec.clusterIP: Invalid value: "": field is immutable
helm.go:84: [debug] failed to replace object: Service "eos-eve-srv-d1-fsnode" is invalid: spec.clusterIP: Invalid value: "": field is immutable
helm.sh/helm/v3/pkg/kube.(*Client).Update
        /private/tmp/helm-20200608-50972-gq0j1j/src/helm.sh/helm/pkg/kube/client.go:218
helm.sh/helm/v3/pkg/action.(*Upgrade).performUpgrade
        /private/tmp/helm-20200608-50972-gq0j1j/src/helm.sh/helm/pkg/action/upgrade.go:322
helm.sh/helm/v3/pkg/action.(*Upgrade).Run
        /private/tmp/helm-20200608-50972-gq0j1j/src/helm.sh/helm/pkg/action/upgrade.go:130
main.newUpgradeCmd.func1
        /private/tmp/helm-20200608-50972-gq0j1j/src/helm.sh/helm/cmd/helm/upgrade.go:144
github.com/spf13/cobra.(*Command).execute
        /private/tmp/helm-20200608-50972-gq0j1j/pkg/mod/github.com/spf13/[email protected]/command.go:842
github.com/spf13/cobra.(*Command).ExecuteC
        /private/tmp/helm-20200608-50972-gq0j1j/pkg/mod/github.com/spf13/[email protected]/command.go:950
github.com/spf13/cobra.(*Command).Execute
        /private/tmp/helm-20200608-50972-gq0j1j/pkg/mod/github.com/spf13/[email protected]/command.go:887
main.main
        /private/tmp/helm-20200608-50972-gq0j1j/src/helm.sh/helm/cmd/helm/helm.go:83
runtime.main
        /usr/local/Cellar/[email protected]/1.13.12/libexec/src/runtime/proc.go:203
runtime.goexit
        /usr/local/Cellar/[email protected]/1.13.12/libexec/src/runtime/asm_amd64.s:1357
UPGRADE FAILED
main.newUpgradeCmd.func1
        /private/tmp/helm-20200608-50972-gq0j1j/src/helm.sh/helm/cmd/helm/upgrade.go:146
github.com/spf13/cobra.(*Command).execute
        /private/tmp/helm-20200608-50972-gq0j1j/pkg/mod/github.com/spf13/[email protected]/command.go:842
github.com/spf13/cobra.(*Command).ExecuteC
        /private/tmp/helm-20200608-50972-gq0j1j/pkg/mod/github.com/spf13/[email protected]/command.go:950
github.com/spf13/cobra.(*Command).Execute
        /private/tmp/helm-20200608-50972-gq0j1j/pkg/mod/github.com/spf13/[email protected]/command.go:887
main.main
        /private/tmp/helm-20200608-50972-gq0j1j/src/helm.sh/helm/cmd/helm/helm.go:83
runtime.main
        /usr/local/Cellar/[email protected]/1.13.12/libexec/src/runtime/proc.go:203
runtime.goexit
        /usr/local/Cellar/[email protected]/1.13.12/libexec/src/runtime/asm_amd64.s:1357

이 문제는 3.2.3 에서 관찰되지만 3.2.0 관찰되지 않습니다. 강제로 비활성화하는 것도 유용한 해결 방법이었습니다.

참고로 OP가 제기 한 문제와 --force 에 대해 여기에서 제기 된 의견은 별개의 개별 문제입니다. 여기에서 OP의 문제에 집중 해 보겠습니다.

명확히하기 위해 OP가 설명하는 문제는 https://github.com/helm/helm/issues/7956#issuecomment -620749552에서 확인 된 잠재적 회귀 @ n1koo입니다. 합법적 인 버그 인 것 같습니다.

--force 제거에 대해 언급 한 다른 의견은 Kubernetes의 관점에서 의도적이고 예상 된 동작입니다. --force 를 사용하면 Helm에 Kubernetes에 대한 PUT 요청을 요청합니다. 실제로는 Kubernetes에게 대상 매니페스트 ( helm upgrade 에서 차트에 렌더링 된 템플릿)를 진실의 소스로 사용하고 렌더링 된 매니페스트로 클러스터의 리소스를 덮어 쓰도록 요청합니다. kubectl apply --overwrite 동일합니다.

대부분의 경우 템플릿은 클러스터 IP를 지정하지 않습니다. 즉, helm upgrade --force 에서 서비스의 클러스터 IP를 제거 (또는 변경)하도록 요청합니다. 이것은 Kubernetes의 관점에서 볼 때 불법적 인 작업입니다.

이것은 # 7082에도 문서화되어 있습니다.

이것이 --force 제거가 작동하는 이유이기도합니다. Helm은 라이브 상태와 비교하여 클러스터 IP를 패치 된 매니페스트로 병합하여 업그레이드 동안 클러스터 IP를 보존하는 PATCH 작업을 수행합니다.

Helm 2에서 수행 한 것처럼 개체를 강제로 제거하고 다시 만들고 싶다면 # 7431을 살펴보세요.

이것이 상황을 명확히하기를 바랍니다.

앞으로 여기서 OP 문제에 집중 해 보겠습니다.

알려진 해결 방법이 있습니까? https://github.com/helm/charts/tree/master/stable/rabbitmq-ha 를 1.34.1에서 1.46.4로 업그레이드하려고 할 때 동일한 문제가 발생했습니다. 분명히 --force 또는 3.1.3 로의 helm 다운 그레이드는 도움이되지 않았습니다. 문제의 서비스를 삭제하고 helm upgrade 가 도움이되었습니다.

@EvgeniGordeev 이것은 작은 다운 타임으로 나를 위해 일한 조잡한 솔루션이 될 것입니다. 차트를 제거 / 다시 설치합니다.

nginxinc 인 그레스 차트에서도이 문제를 해결했습니다. 일반적으로 --force 합니다.

이 문제가 아직 열려 있기 때문에이를 해결하기위한 일종의 수정 계획이 있습니까, 아니면 설계된대로 작동하는 것으로 간주됩니까 (이 + 동일한 동작으로 열린 다른 문제와 구별하기 어렵습니다)? 나는 이것이 차트 자체와 clusterIP: "" 해서는 안되며 대신 값을 완전히 생략해야한다는 설명을 읽었습니다.

이것이 우리가 차트 개발자들과 함께 쫓아 야 할 것입니까?

@cdunford - https: //github.com/helm/helm/issues/7956#issuecomment -643432099에 제안 된대로 --force 사용을 중지하도록 제안 된 수정 사항입니다.

이 PR은 문제를 해결할 수도 있습니다. # 7431 (해당 의견에서 제 안됨) ...

이 문제는 N 번 발생했으며 파이프 라인에서도 --force 플래그를 사용하고 있습니다.

원래 문제는 helm2와 함께 제공되었으므로 helm2에서도 수정됩니까? 뿡 빵뀨

@bacongobbler 제거하거나 다운 그레이드하는 것이 도움이된다면 "강제"를 제공하는 것이 문제와 다른 이유는 무엇입니까?

내 말은, Helm 3.3.4, https://artifacthub.io/packages/helm/bitnami/nginx 차트에서 문제가 발생했으며 값이 변경되지 않았습니다. GCP / GKE, Azure / AKS 및 AWS / EKS의 세 가지 다른 클라우드에서 테스트되었으며 세 가지 모두에서 실패했습니다.

Helm을 3.1.3으로 다운 그레이드하고 "--force"플래그없이 3.3.4에서 작업 한 직후에 작업했습니다.

사용자가이 오류를 볼 수있는 두 가지 고유 한 경우가 있음을 이전 의견에서 상당히 분명히 밝혔습니다. 하나는 OP의 경우입니다. 다른 하나는 --force의 사용입니다. 여기서는 OP 문제에 초점을 맞추고 있습니다.

OP와 동일한 문제를 겪고있는 사람들을 존중하기 위해이 스레드를 탈취하여 --force에 대해 이야기하는 것을 중지하십시오. OP 문제를 해결하는 방법을 논의 중입니다. OP에서 설명한 문제와 관련이없는 주제에 대해 이야기하고 싶다면 새 티켓을 열거 나 이전에 제안한 제안을 살펴보세요.

Helm 2에 대한이 문제를 해결하는 것과 관련하여 @tibetsam : 아니요. Helm 2에 대한 버그 수정을 더 이상 제공하지 않습니다. 자세한 내용은 https://helm.sh/blog/helm-v2-deprecation-timeline/ 을 참조

jupytherhub helm chart로 OP의 문제를 재현했다고 생각합니다.
아래 지침에 따라 문제를 재현 할 수 있기를 바랍니다.

중대한
Jupyterhub helm 차트는 서비스 사양에 spec.clusterIP 필드를 포함하지 않습니다. 예를 들어 여기에서 볼 수 있습니다. https://github.com/jupyterhub/zero-to-jupyterhub-k8s/blob/c0a43af12a89d54bcd6dcb927fdcc2f623a14aca /jupyterhub/templates/hub/service.yaml#L17 -L29

나는 문제를 재현하기 위해 키와 친절을 사용하고 있습니다.

➜ helm version
version.BuildInfo{Version:"v3.4.0", GitCommit:"7090a89efc8a18f3d8178bf47d2462450349a004", GitTreeState:"clean", GoVersion:"go1.14.10"}

➜ kind version
kind v0.9.0 go1.15.2 linux/amd64

➜ kubectl version
Client Version: version.Info{Major:"1", Minor:"18", GitVersion:"v1.18.2", GitCommit:"52c56ce7a8272c798dbc29846288d7cd9fbae032", GitTreeState:"clean", BuildDate:"2020-04-16T11:56:40Z", GoVersion:"go1.13.9", Compiler:"gc", Platform:"linux/amd64"}
Server Version: version.Info{Major:"1", Minor:"19", GitVersion:"v1.19.1", GitCommit:"206bcadf021e76c27513500ca24182692aabd17e", GitTreeState:"clean", BuildDate:"2020-09-14T07:30:52Z", GoVersion:"go1.15", Compiler:"gc", Platform:"linux/amd64"}

재생산 방법

1. 새 종류 클러스터 만들기

kind create cluster

1. 다음 콘텐츠 (무작위로 생성 된 16 진수)로 config.yaml이라는 파일을 만듭니다.

proxy:
  secretToken: "3a4bbf7405dfe1096ea2eb9736c0df299299f94651fe0605cfb1c6c5700a6786"

참고로 Helm 파일 설치 지침을 따르고 있습니다 ( 링크 ).

1. Helm 저장소 추가

helm repo add jupyterhub https://jupyterhub.github.io/helm-chart/
helm repo update

1. 차트 설치 ( --force 옵션 사용)

RELEASE=jhub
NAMESPACE=jhub

helm upgrade --cleanup-on-fail --force \
  --install $RELEASE jupyterhub/jupyterhub \
  --namespace $NAMESPACE \
  --create-namespace \
  --version=0.9.0 \
  --values config.yaml

1. 5 단계를 반복합니다.

오류:

Error: UPGRADE FAILED: failed to replace object: PersistentVolumeClaim "hub-db-dir" is invalid: spec: Forbidden: spec is immutable after creation except resources.requests for bound claims
  core.PersistentVolumeClaimSpec{
        AccessModes:      []core.PersistentVolumeAccessMode{"ReadWriteOnce"},
        Selector:         nil,
        Resources:        core.ResourceRequirements{Requests: core.ResourceList{s"storage": {i: resource.int64Amount{value: 1073741824}, s: "1Gi", Format: "BinarySI"}}},
-       VolumeName:       "",
+       VolumeName:       "pvc-c614de5c-4749-4755-bd3a-6e603605c44e",
-       StorageClassName: nil,
+       StorageClassName: &"standard",
        VolumeMode:       &"Filesystem",
        DataSource:       nil,
  }
 && failed to replace object: Service "hub" is invalid: spec.clusterIP: Invalid value: "": field is immutable && failed to replace object: Service "proxy-api" is invalid: spec.clusterIP: Invalid value: "": field is immutable && failed to replace object: Service "proxy-public" is invalid: spec.clusterIP: Invalid value: "": field is immutable

나는 helm 3.3.4에 있으며 이것은 여전히 ​​문제입니다.

Helm 2.14.1 문제가 --force

해결 방법 : type.spec: NodePort 전환하여 helmchart 업그레이드를 수정했습니다.

--force 플래그를 사용하여 v3.4.1에서 동일한 문제가 발생합니다.

@bacongobbler 나는 당신이 OP의 문제 (# 6378과는 별도로)가 납치 당하지 않도록 조심스럽게 노력하고 있다는 것을 알고 있습니다. 게시하는 사람들이 오류 메시지를 검토하여이 스레드가 자신을위한 것인지 아닌지 확인하는 데 도움이 될 것이라고 생각했습니다.

오류 메시지 "오류 : 업그레이드 실패 : _replace_ ... 실패"이고 명령에서 --force를 _did use_ 했습니까? 이동 # 6378

"오류 : 업그레이드 실패 : _patch_ ... 할 수 없습니다"라는 오류 메시지가 _ 명령에 _ --force를 사용하지 않았 습니까? 이 문제를 어떻게 재현했는지 게시 해주세요.

뿡 빵뀨

helm3 upgrade concourse concourse/concourse -f temp.yaml  --force
Error: UPGRADE FAILED: failed to replace object: Service "concourse-web" is invalid: spec.clusterIP: Invalid value: "None": field is immutable && failed to replace object: Service "concourse-web-prometheus" is invalid: spec.clusterIP: Invalid value: "": field is immutable && failed to replace object: Service "concourse-web-worker-gateway" is invalid: spec.clusterIP: Invalid value: "": field is immutable

helm3 upgrade concourse concourse/concourse -f temp.yaml
Error: UPGRADE FAILED: cannot patch "concourse-web" with kind Service: Service "concourse-web" is invalid: spec.clusterIP: Invalid value: "None": field is immutable

Helm 3.4.2에서 동일한 문제가 발생합니다. 배포, 서비스 계정 및 서비스를 만드는 helm-chart를 실행합니다. 배포시 차트의 기존 레이블 집합에 레이블을 추가했는데 이제 업그레이드를 거부합니다.

helm upgrade test-whale charts/app-template/ --install --values values.yaml --namespace whale --force
Error: UPGRADE FAILED: failed to replace object: Service "test-whale" is invalid: spec.clusterIP: Invalid value: "": field is immutable && failed to replace object: Deployment.apps "test-whale-canary" is invalid: spec.selector: Invalid value: v1.LabelSelector{MatchLabels:map[string]string{"app":"test-whale", "app-id":"302040", "environment":"test", "version":"latest"}, MatchExpressions:[]v1.LabelSelectorRequirement(nil)}: field is immutable && failed to replace object: Deployment.apps "test-whale" is invalid: spec.selector: Invalid value: v1.LabelSelector{MatchLabels:map[string]string{"app":"test-whale", "app-id":"302040", "environment":"test", "version":"latest"}, MatchExpressions:[]v1.LabelSelectorRequirement(nil)}: field is immutable

기본적으로 초기 helm 배포 이후에는 레이블을 추가 할 수없는 것 같습니다.

끔찍하게 들리지만 Helm이 특별한 대우를받을 "불변 필드"목록을 구현할 수 있습니까?

이 경우 "불변 필드"는 서비스 객체의 spec.clusterIP . Helm은이를 불변으로 간주하고 a) 교체를 시도하지 않고 b) 제거를 시도하지 않는 이러한 API 요청을 생성합니다. , c) 업데이트하지 마십시오.

실제로 Helm은 변경 불가능한 필드의 현재 값을 찾고 API 요청의 페이로드에 해당 값을 포함합니다. 결과적으로 k8s API 서버는 Helm의 요청을 "확인,이 필드를 수정하려고하지 않습니다"로 간주합니다.

현재 상황은 Helm이 특정 리소스의 진실을 보유하고 있다고 가정하기 때문에 특히 서비스 리소스에서 Helm이 매우 신뢰할 수 없다는 것입니다. 이것은 자원이 Helm이 인식하지 못하는 새로운 특성을 서버 측에 수신했을 수 있으므로이 문제에서 문제를 일으키는 잘못된 가정입니다. 따라서 Helm은 적합한 k8s 시민이되기 위해 특별한 처리가 필요한 필드를 알아야합니다.

추신. 또한 kubectl 는 많은 논리 클라이언트 측을 구현하므로 kubectl 가 이러한 암시 적 요구 사항을 수행 할 수 있습니다.

@ jilliau-rcd

--force를 사용하지 마십시오

@pre

3 방향 병합에 문제가있는 것 같습니다. 마지막으로 적용된 주석이 어떻게 든 부적절하게 기록되었을 수 있습니다.

나는 그것을 알아 내게되었다. 분명히 Deployment 및 포드 사양에서 레이블을 변경할 수 있지만 매치 선택기에서는 ... Kubernetes는 그것을 좋아하지 않습니다. 나에게는 이상하다. 카나리아 배포와 같이 version "v2"에서 포드 만 선택하도록 배포를 수정하려면 어떻게해야합니까? 현재 나는 그렇게 할 방법이 없어서 그 부분에 대해 혼란스러워했습니다.

Helm 버전 3.5.0으로 업그레이드하면 문제가 해결되었습니다.

Helm 버전 3.5.0으로 업그레이드하면 문제가 해결되었습니다.

정확히 어떻게?

Helm 버전 3.5.0으로 업그레이드하면 문제가 해결되었습니다.

Helm 버전 3.5.0은 여전히 ​​작동하지 않습니다.
그러나 --force 없이는 작동합니다.

헬기 3.5.2에서 이것을 누르십시오.

--force 을 (를) 제거하려고했지만 여전히 동일한 문제가 발생합니다.

Upgrade "gateway" failed: failed to replace object: Service "ingress"
    is invalid: spec.clusterIPs[0]: Invalid value: []string(nil): primary clusterIP
    can not be unset

지금까지 합리적인 해결 방법을 찾았습니다- --reuse-values 플래그. 내 경우에 적합합니다.

3.5.2는 --reuse-values를 사용하거나 사용하지 않고 여전히이 문제가 있습니다.

3.5.3에도 다음이 있습니다.