Helm: 투구 3 - nginx 업그레이드 - spec.clusterIP: 잘못된 값: "": 필드를 변경할 수 없습니다.

이것은 현재 kubectl과 유사한 3방향 병합 패치 전략을 사용하는 Helm 3의 최근 변경과 관련이 있을 수 있습니다. #6124 참조

이것을 재현하는 방법에 대한 단계를 제공할 수 있다면 훌륭할 것입니다. 감사 해요!

확신하는!

AKS 클러스터를 만들었습니다.

MC_* 리소스 그룹에 공용 IP를 생성합니다.

해당 공인 IP의 IP 주소를 $ip에 저장했습니다.

그런 다음 기본적으로 해당 명령을 두 번 실행했습니다.

./helm 업그레이드 --설치
--set rbac.create=false
--set controller.replicaCount=2
--set controller.service.loadBalancerIP=$ip
--main-ingress 안정/nginx-ingress 대기

이는 https://docs.microsoft.com/en-us/azure/aks/ingress-static-ip 에서 수행되는 작업과 유사합니다

차이점은 내가 helm upgrade --install 을 두 번 수행한다는 것입니다. 그 목적은 내 CI/CD에 단일 명령줄(무조건)을 포함하는 것입니다.

재현하기 위해 더 자세한 정보가 필요하면 알려주십시오.

재현하기에 충분했습니까? 도움이된다면 bash 스크립트를 제공 할 수 있습니다.

죄송합니다. 한 주 동안 Helm Summit EU에 참석하지 않았기 때문에 아직 답변할 시간이 없었습니다.

아... 걱정마세요. 정상 회담을 즐기십시오!

나는 또한이 문제를 겪고있다

$ helm version --short
v3.0.0-beta.3+g5cb923e

nginx-ingress 차트는 처음 실행할 때 잘 설치되지만 업그레이드 시에는 ...

$ helm upgrade --install first-chart stable/nginx-ingress --namespace infra
client.go:357: Cannot patch Service: "first-chart-nginx-ingress-controller" (Service "first-chart-nginx-ingress-controller" is invalid: spec.clusterIP: Invalid value: "": field is immutable)
client.go:376: Use --force to force recreation of the resource
client.go:357: Cannot patch Service: "first-chart-nginx-ingress-default-backend" (Service "first-chart-nginx-ingress-default-backend" is invalid: spec.clusterIP: Invalid value: "": field is immutable)
client.go:376: Use --force to force recreation of the resource
Error: UPGRADE FAILED: Service "first-chart-nginx-ingress-controller" is invalid: spec.clusterIP: Invalid value: "": field is immutable && Service "first-chart-nginx-ingress-default-backend" is invalid: spec.clusterIP: Invalid value: "": field is immutable

$ helm ls -n infra
NAME            NAMESPACE       REVISION        UPDATED                                 STATUS          CHART               
first-chart     infra           1               2019-09-17 16:15:25.513997106 -0500 CDT deployed        nginx-ingress-1.20.0
first-chart     infra           2               2019-09-17 16:15:30.845249671 -0500 CDT failed          nginx-ingress-1.20.0

나는 이것이 helm3가 아니라 nginx-ingress 차트의 문제라고 생각합니다. 기본적으로 차트는 controller.service.omitClusterIP=true 및 defaultBackend.service.omitClusterIP=true 를 설정하지 않는 한 항상 controller.service.clusterIP = "" 및 defaultBackend.service.clusterIP = "" 전달을 시도합니다.

출처 링크:
https://github.com/helm/charts/blob/master/stable/nginx-ingress/values.yaml#L321
https://github.com/helm/charts/blob/master/stable/nginx-ingress/templates/controller-service.yaml#L22

해결 방법:

$ helm upgrade --install ingress-test stable/nginx-ingress --set controller.service.omitClusterIP=true --set defaultBackend.service.omitClusterIP=true

해봤는데 계속 같은 오류가 뜨네요

helm upgrade --install ingx stable/nginx-ingress -f ingx-values.yaml                                             1 ↵
client.go:357: Cannot patch Service: "ingx-nginx-ingress-controller" (Service "ingx-nginx-ingress-controller" is invalid: spec.clusterIP: Invalid value: "": field is immutable)
client.go:376: Use --force to force recreation of the resource
client.go:357: Cannot patch Service: "ingx-nginx-ingress-default-backend" (Service "ingx-nginx-ingress-default-backend" is invalid: spec.clusterIP: Invalid value: "": field is immutable)
client.go:376: Use --force to force recreation of the resource
Error: UPGRADE FAILED: Service "ingx-nginx-ingress-controller" is invalid: spec.clusterIP: Invalid value: "": field is immutable && Service "ingx-nginx-ingress-default-backend" is invalid: spec.clusterIP: Invalid value: "": field is immutable

ingx-values.yaml

rbac:
  create: true
controller:
  service:
    externalTrafficPolicy: Local
    omitClusterIP: true
  autoscaling:
    enabled: true
    minReplicas: 2
    maxReplicas: 100
    targetCPUUtilizationPercentage: "70"
    targetMemoryUtilizationPercentage: "70"
defaultBackend:
  service:
    omitClusterIP: true

아래에서 볼 수 있듯이 템플릿에는 clusterIP가 없습니다.

helm 템플릿 ingx stable/nginx-ingress -f ingx-values.yaml

---
# Source: nginx-ingress/templates/controller-serviceaccount.yaml
apiVersion: v1
kind: ServiceAccount
metadata:
  labels:
    app: nginx-ingress
    chart: nginx-ingress-1.20.0
    heritage: Helm
    release: ingx
  name: ingx-nginx-ingress
---
# Source: nginx-ingress/templates/default-backend-serviceaccount.yaml
apiVersion: v1
kind: ServiceAccount
metadata:
  labels:
    app: nginx-ingress
    chart: nginx-ingress-1.20.0
    heritage: Helm
    release: ingx
  name: ingx-nginx-ingress-backend
---
# Source: nginx-ingress/templates/clusterrole.yaml
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRole
metadata:
  labels:
    app: nginx-ingress
    chart: nginx-ingress-1.20.0
    heritage: Helm
    release: ingx
  name: ingx-nginx-ingress
rules:
  - apiGroups:
      - ""
    resources:
      - configmaps
      - endpoints
      - nodes
      - pods
      - secrets
    verbs:
      - list
      - watch
  - apiGroups:
      - ""
    resources:
      - nodes
    verbs:
      - get
  - apiGroups:
      - ""
    resources:
      - services
    verbs:
      - get
      - list
      - update
      - watch
  - apiGroups:
      - extensions
      - "networking.k8s.io" # k8s 1.14+
    resources:
      - ingresses
    verbs:
      - get
      - list
      - watch
  - apiGroups:
      - ""
    resources:
      - events
    verbs:
      - create
      - patch
  - apiGroups:
      - extensions
      - "networking.k8s.io" # k8s 1.14+
    resources:
      - ingresses/status
    verbs:
      - update
---
# Source: nginx-ingress/templates/clusterrolebinding.yaml
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRoleBinding
metadata:
  labels:
    app: nginx-ingress
    chart: nginx-ingress-1.20.0
    heritage: Helm
    release: ingx
  name: ingx-nginx-ingress
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: ingx-nginx-ingress
subjects:
  - kind: ServiceAccount
    name: ingx-nginx-ingress
    namespace: default
---
# Source: nginx-ingress/templates/controller-role.yaml
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: Role
metadata:
  labels:
    app: nginx-ingress
    chart: nginx-ingress-1.20.0
    heritage: Helm
    release: ingx
  name: ingx-nginx-ingress
rules:
  - apiGroups:
      - ""
    resources:
      - namespaces
    verbs:
      - get
  - apiGroups:
      - ""
    resources:
      - configmaps
      - pods
      - secrets
      - endpoints
    verbs:
      - get
      - list
      - watch
  - apiGroups:
      - ""
    resources:
      - services
    verbs:
      - get
      - list
      - update
      - watch
  - apiGroups:
      - extensions
      - "networking.k8s.io" # k8s 1.14+
    resources:
      - ingresses
    verbs:
      - get
      - list
      - watch
  - apiGroups:
      - extensions
      - "networking.k8s.io" # k8s 1.14+
    resources:
      - ingresses/status
    verbs:
      - update
  - apiGroups:
      - ""
    resources:
      - configmaps
    resourceNames:
      - ingress-controller-leader-nginx
    verbs:
      - get
      - update
  - apiGroups:
      - ""
    resources:
      - configmaps
    verbs:
      - create
  - apiGroups:
      - ""
    resources:
      - endpoints
    verbs:
      - create
      - get
      - update
  - apiGroups:
      - ""
    resources:
      - events
    verbs:
      - create
      - patch
---
# Source: nginx-ingress/templates/controller-rolebinding.yaml
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: RoleBinding
metadata:
  labels:
    app: nginx-ingress
    chart: nginx-ingress-1.20.0
    heritage: Helm
    release: ingx
  name: ingx-nginx-ingress
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: Role
  name: ingx-nginx-ingress
subjects:
  - kind: ServiceAccount
    name: ingx-nginx-ingress
    namespace: default
---
# Source: nginx-ingress/templates/controller-service.yaml
apiVersion: v1
kind: Service
metadata:
  labels:
    app: nginx-ingress
    chart: nginx-ingress-1.20.0
    component: "controller"
    heritage: Helm
    release: ingx
  name: ingx-nginx-ingress-controller
spec:
  externalTrafficPolicy: "Local"
  ports:
    - name: http
      port: 80
      protocol: TCP
      targetPort: http
    - name: https
      port: 443
      protocol: TCP
      targetPort: https
  selector:
    app: nginx-ingress
    component: "controller"
    release: ingx
  type: "LoadBalancer"
---
# Source: nginx-ingress/templates/default-backend-service.yaml
apiVersion: v1
kind: Service
metadata:
  labels:
    app: nginx-ingress
    chart: nginx-ingress-1.20.0
    component: "default-backend"
    heritage: Helm
    release: ingx
  name: ingx-nginx-ingress-default-backend
spec:
  ports:
    - name: http
      port: 80
      protocol: TCP
      targetPort: http
  selector:
    app: nginx-ingress
    component: "default-backend"
    release: ingx
  type: "ClusterIP"
---
# Source: nginx-ingress/templates/controller-deployment.yaml
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  labels:
    app: nginx-ingress
    chart: nginx-ingress-1.20.0
    component: "controller"
    heritage: Helm
    release: ingx
  name: ingx-nginx-ingress-controller
spec:
  replicas: 1
  revisionHistoryLimit: 10
  strategy:
    {}
  minReadySeconds: 0
  template:
    metadata:
      labels:
        app: nginx-ingress
        component: "controller"
        release: ingx
    spec:
      dnsPolicy: ClusterFirst
      containers:
        - name: nginx-ingress-controller
          image: "quay.io/kubernetes-ingress-controller/nginx-ingress-controller:0.25.1"
          imagePullPolicy: "IfNotPresent"
          args:
            - /nginx-ingress-controller
            - --default-backend-service=default/ingx-nginx-ingress-default-backend
            - --election-id=ingress-controller-leader
            - --ingress-class=nginx
            - --configmap=default/ingx-nginx-ingress-controller
          securityContext:
            capabilities:
                drop:
                - ALL
                add:
                - NET_BIND_SERVICE
            runAsUser: 33
            allowPrivilegeEscalation: true
          env:
            - name: POD_NAME
              valueFrom:
                fieldRef:
                  fieldPath: metadata.name
            - name: POD_NAMESPACE
              valueFrom:
                fieldRef:
                  fieldPath: metadata.namespace
          livenessProbe:
            httpGet:
              path: /healthz
              port: 10254
              scheme: HTTP
            initialDelaySeconds: 10
            periodSeconds: 10
            timeoutSeconds: 1
            successThreshold: 1
            failureThreshold: 3
          ports:
            - name: http
              containerPort: 80
              protocol: TCP
            - name: https
              containerPort: 443
              protocol: TCP
          readinessProbe:
            httpGet:
              path: /healthz
              port: 10254
              scheme: HTTP
            initialDelaySeconds: 10
            periodSeconds: 10
            timeoutSeconds: 1
            successThreshold: 1
            failureThreshold: 3
          resources:
            {}
      hostNetwork: false
      serviceAccountName: ingx-nginx-ingress
      terminationGracePeriodSeconds: 60
---
# Source: nginx-ingress/templates/default-backend-deployment.yaml
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  labels:
    app: nginx-ingress
    chart: nginx-ingress-1.20.0
    component: "default-backend"
    heritage: Helm
    release: ingx
  name: ingx-nginx-ingress-default-backend
spec:
  replicas: 1
  revisionHistoryLimit: 10
  template:
    metadata:
      labels:
        app: nginx-ingress
        component: "default-backend"
        release: ingx
    spec:
      containers:
        - name: nginx-ingress-default-backend
          image: "k8s.gcr.io/defaultbackend-amd64:1.5"
          imagePullPolicy: "IfNotPresent"
          args:
          securityContext:
            runAsUser: 65534
          livenessProbe:
            httpGet:
              path: /healthz
              port: 8080
              scheme: HTTP
            initialDelaySeconds: 30
            periodSeconds: 10
            timeoutSeconds: 5
            successThreshold: 1
            failureThreshold: 3
          readinessProbe:
            httpGet:
              path: /healthz
              port: 8080
              scheme: HTTP
            initialDelaySeconds: 0
            periodSeconds: 5
            timeoutSeconds: 5
            successThreshold: 1
            failureThreshold: 6
          ports:
            - name: http
              containerPort: 8080
              protocol: TCP
          resources:
            {}
      serviceAccountName: ingx-nginx-ingress-backend
      terminationGracePeriodSeconds: 60
---
# Source: nginx-ingress/templates/controller-hpa.yaml
apiVersion: autoscaling/v2beta1
kind: HorizontalPodAutoscaler
metadata:
  labels:
    app: nginx-ingress
    chart: nginx-ingress-1.20.0
    component: "controller"
    heritage: Helm
    release: ingx
  name: ingx-nginx-ingress-controller
spec:
  scaleTargetRef:
    apiVersion: apps/v1beta1
    kind: Deployment
    name: ingx-nginx-ingress-controller
  minReplicas: 2
  maxReplicas: 100
  metrics:
    - type: Resource
      resource:
        name: cpu
        targetAverageUtilization: 70
    - type: Resource
      resource:
        name: memory
        targetAverageUtilization: 70

원래 omitClusterIP 매개변수 없이 배포했기 때문에 발생한 것으로 의심되며 helm v3은 clusterIP: "" 된 원래 매니페스트와 3방향 병합을 시도합니다.

helm get manifest ingx --revision 1 | grep "clusterIP"
  clusterIP: ""
  clusterIP: ""

기존 차트를 먼저 삭제하고 omitClusterIP 옵션으로 다시 생성하여 해결할 수 있었습니다. 결론적으로 @bambash 에서 제안한 해결 방법은

$ helm upgrade --install ingress-test stable/nginx-ingress --set controller.service.omitClusterIP=true --set defaultBackend.service.omitClusterIP=true

helm v3에 기존 매니페스트와의 병합을 건너뛸 수 있는 방법이 있으면 좋을 것입니다.

죄송합니다. 릴리스를 처음 설치할 때 이 값을 설정해야 한다고 지정했어야 했습니다. 기존 릴리스를 업데이트하는 것이 더 까다로울 수 있습니다...

값에 clusterIP가 없는 metric-server-2.8.8과 helm v3.0.0-rc.2를 사용하는 다른 차트에서 이 문제를 겪고 있습니다. 어떤 충고? 어떻게 진행해야 할지 잘 모르겠습니다.

내 문제는 helmfile v0.95.0에 있는 것 같습니다. 그곳으로 가겠습니다 :)

helm update --install 명령과 함께 --force 옵션을 사용하는 경우 helm v3.0.0-rc.2로 서비스 유형 또는 clusterIP를 설정하지 않아도 동일한 문제가 있습니다. --force 없이는 잘 작동합니다.

@johannges , 방금 같은 것을 게시하려고했습니다. :+1:

omitClusterIP: true 설정은 defaultBackend 및 컨트롤러 서비스에서는 작동하지만 메트릭 서비스에서는 작동하지 않는 것 같습니다.

업그레이드 중 --force 옵션이 있는 조타 장치에 문제가 있다고 생각합니다.
Helm은 서비스를 재생성하려고 하지만 spec.clusterIP도 대체하므로 오류가 발생합니다.
나만의 맞춤 차트를 사용하여 이를 확인할 수 있습니다.
Error: UPGRADE FAILED: failed to replace object: Service "litespeed" is invalid: spec.clusterIP: Invalid value: "": field is immutable

사실 서비스(또는 차트) 초기화에서 clusterIP 정의를 생략하면 잘 작동합니다 👍

기존에 배포된 _kafka_ 및 _redis_ 차트 릴리스에서도 이 오류가 발생했습니다. --force 제거하면 실제로 이 문제가 해결되었습니다.

이제 _redis_ 릴리스에서 새로운 오류가 발생합니다.
Error: UPGRADE FAILED: release redis failed, and has been rolled back due to atomic being set: cannot patch "redis-master" with kind StatefulSet: StatefulSet.apps "redis-master" is invalid: spec: Forbidden: updates to statefulset spec for fields other than 'replicas', 'template', and 'updateStrategy' are forbidden

@bacongobbler 는 이것이 Helm v3 3방향 병합 패치 전략과 관련이 있다는 데 동의합니다. 이 전략은 Kubernetes가 처음 생성 후 변경할 수 없거나 변경할 수 없는 것으로 간주하는 업데이트/패치에 필드(이전과 동일한 값 포함)를 전달할 가능성이 있습니다.

누군가 terraform을 통해 helm v3를 사용하는 경우 --force 를 사용하지 않도록 직접 말할 수 없기 때문에 helm delete 를 사용하여 차트를 수동으로 삭제한 다음 terraform을 다시 실행하는 데 성공했습니다. 이것은 짜증나지만 작동합니다.

편집: 전체 오류: ( "nginx-ingress-singleton-controller"는 내가 설정한 릴리스 이름입니다. 특별한 의미가 없습니다)

Error: cannot patch "nginx-ingress-singleton-controller" with kind Service: Service "nginx-ingress-singleton-controller" is invalid: spec.clusterIP: Invalid value:
"": field is immutable && cannot patch "nginx-ingress-singleton-default-backend" with kind Service: Service "nginx-ingress-singleton-default-backend" is invalid: sp
ec.clusterIP: Invalid value: "": field is immutable

  on .terraform/modules/app_dev/nginx-ingress.tf line 1, in resource "helm_release" "nginx_ingress":
   1: resource "helm_release" "nginx_ingress" {

@zen4ever 는 https://github.com/helm/helm/issues/6378#issuecomment -532766512에서 문제를 해결했습니다. 좀 더 자세히 설명해 보도록 할게요....

다른 사람들이 지적했듯이 차트가 빈 문자열로 clusterIP를 정의할 때 문제가 발생합니다. 서비스가 설치되면 Kubernetes는 서비스에 할당된 clusterIP로 이 필드를 채웁니다.

helm upgrade 가 호출되면 차트에서 clusterIP 를 제거하도록 요청하므로 오류 메시지가 spec.clusterIP: Invalid value: "": field is immutable 이유는 무엇입니까?

이것은 다음 동작으로 인해 발생합니다.

1. 설치 시 차트는 clusterIP 가 빈 문자열이 되기를 원한다고 지정했습니다.
2. Kubernetes는 clusterIP 서비스를 자동 할당했습니다. 이 예에서는 172.17.0.1 를 사용합니다.
3. helm upgrade 에서 차트는 clusterIP 가 빈 문자열이 되기를 원합니다 (또는 위의 경우 생략됨).

3방향 패치를 생성할 때 이전 상태는 "" , 라이브 상태는 현재 "172.17.0.1" , 제안된 상태는 "" 임을 확인합니다. Helm은 사용자가 clusterIP 를 "172.17.0.1"에서 ""로 변경하도록 요청한 것을 감지하여 패치를 제공했습니다.

Helm 2에서는 라이브 상태를 무시하므로 변경 사항이 없었고(이전 상태: clusterIP: "" 에서 새 상태로: clusterIP: "" ) 이 동작을 우회하여 패치가 생성되지 않았습니다.

내 권장 사항은 템플릿 출력을 변경하는 것입니다. clusterIP 가 값으로 제공되지 않으면 값을 빈 문자열로 설정하지 마십시오... 필드를 완전히 생략하십시오.

예: stable/nginx-ingress :

spec:
{{- if not .Values.controller.service.omitClusterIP }}
  clusterIP: "{{ .Values.controller.service.clusterIP }}"
{{- end }}

다음으로 변경해야 합니다.

spec:
{{- if not .Values.controller.service.omitClusterIP }}
  {{ with .Values.controller.service.clusterIP }}clusterIP: {{ quote . }}{{ end }}
{{- end }}

이것이 이 경우 --set controller.service.omitClusterIP=true 작동하는 이유이기도 합니다.

TL;DR은 서비스 템플릿에서 다음을 수행하지 마십시오.

clusterIP: ""

그렇지 않으면 Helm은 서비스의 clusterIP를 자동 생성된 IP 주소에서 빈 문자열로 변경하려고 시도하므로 오류 메시지가 표시됩니다.

도움이 되었기를 바랍니다!

이 문제가 해결되는 동안 이 기능을 작동시키려는 경우 임시 해결책으로 다음을 수행하면 업데이트를 수행할 수 있다는 것을 알았습니다.

1. 다음을 통해 컨트롤러 및 기본 백엔드에 대한 clusterIP 값을 가져옵니다.
   kubectl get svc | grep ingress
2. 기존 helm 값 파일에 다음 덮어쓰기를 추가합니다.
   controller: service: clusterIP: <cluster-ip-address-for-controller> defaultBackend: service: clusterIP: <cluster-ip-address-for-default-backend>
3. 업데이트를 수행합니다.

실행 중인 클러스터에 대해 이것을 테스트했으며 재생성이 필요하지 않았습니다.

그것도 작동합니다. 좋은 전화 @treacher. --set 또는 값 파일을 통해 동일한 값을 설정하면 업그레이드가 clusterIP 값을 변경하지 않기 때문에 패치가 생성되지 않습니다.

위에서 설명한 3방향 병합 패치 동작에 따라 의도적으로 작동하여 닫습니다. 조치 항목은 이 차트가 https://github.com/helm/helm/issues/6378#issuecomment-557746499에 제공된 권장 사항을 따르는 것입니다. Helm의 끝에서 할 일이 없습니다. :)

https://github.com/helm/charts/pull/19146/files 생성되었습니다! @bacongobbler님 감사

@zen4ever 는 # 6378 (댓글) 에서 문제를 해결했습니다. 좀 더 자세히 설명해 보도록 할게요....

다른 사람들이 지적했듯이 차트가 빈 문자열로 clusterIP를 정의할 때 문제가 발생합니다. 서비스가 설치되면 Kubernetes는 서비스에 할당된 clusterIP로 이 필드를 채웁니다.

helm upgrade 가 호출되면 차트에서 clusterIP 를 제거하도록 요청하므로 오류 메시지가 spec.clusterIP: Invalid value: "": field is immutable 이유는 무엇입니까?

이것은 다음 동작으로 인해 발생합니다.

1. 설치 시 차트는 clusterIP 가 빈 문자열이 되기를 원한다고 지정했습니다.
2. Kubernetes는 clusterIP 서비스를 자동 할당했습니다. 이 예에서는 172.17.0.1 를 사용합니다.
3. helm upgrade 에서 차트는 clusterIP 가 빈 문자열이 되기를 원합니다 (또는 위의 경우 생략됨).

3방향 패치를 생성할 때 이전 상태는 "" , 라이브 상태는 현재 "172.17.0.1" , 제안된 상태는 "" 임을 확인합니다. Helm은 사용자가 clusterIP 를 "172.17.0.1"에서 ""로 변경하도록 요청한 것을 감지하여 패치를 제공했습니다.

Helm 2에서는 라이브 상태를 무시하므로 변경 사항이 없었고(이전 상태: clusterIP: "" 에서 새 상태로: clusterIP: "" ) 이 동작을 우회하여 패치가 생성되지 않았습니다.

내 권장 사항은 템플릿 출력을 변경하는 것입니다. clusterIP 가 값으로 제공되지 않으면 값을 빈 문자열로 설정하지 마십시오... 필드를 완전히 생략하십시오.

예: stable/nginx-ingress :

spec:
{{- if not .Values.controller.service.omitClusterIP }}
  clusterIP: "{{ .Values.controller.service.clusterIP }}"
{{- end }}

다음으로 변경해야 합니다.

spec:
{{- if not .Values.controller.service.omitClusterIP }}
  {{ with .Values.controller.service.clusterIP }}clusterIP: {{ quote . }}{{ end }}
{{- end }}

안녕하세요 @bacongobbler님 , 값이 제공되지 않으면 clusterIP: "" clusterIP: "" 마무리될 것이므로 clusterIP: "" 설정되어 있으면 값 파일에 clusterIP 주소를 하드코딩해야 합니다.

이것이 이 경우 --set controller.service.omitClusterIP=true 작동하는 이유이기도 합니다.

TL;DR은 서비스 템플릿에서 다음을 수행하지 마십시오.

clusterIP: ""

그렇지 않으면 Helm은 서비스의 clusterIP를 자동 생성된 IP 주소에서 빈 문자열로 변경하려고 시도하므로 오류 메시지가 표시됩니다.

도움이 되었기를 바랍니다!

@bacongobbler님 , helm v2 릴리스를 helm v3으로 마이그레이션하는 동안 동일한 문제에 직면했습니다. 서비스에서 type: ClusterIP 를 사용하지만 ClusterIP 를 전혀 생략하면 다음을 얻습니다.

Error: UPGRADE FAILED: failed to replace object: Service "dummy" is invalid: spec.clusterIP: Invalid value: "": field is immutable

helm 템플릿에 spec.clusterIP: 가 없지만 helm 2to3을 통해 릴리스를 마이그레이션한 후 이 오류가 발생했습니다.

서비스 템플릿:

apiVersion: v1
kind: Service
metadata:
  name: {{ .Release.Name }}
  labels:
    app: {{ .Values.image.name }}
    chart: {{ .Chart.Name }}-{{ .Chart.Version | replace "+" "-" }}
    cluster: {{ default "unknown" .Values.cluster }}
    region: {{ default "unknown" .Values.region }}
    datacenter: {{ default "unknown" .Values.datacenter }}
    release: {{ .Release.Name }}
    heritage: {{ .Release.Service }}
spec:
  type: ClusterIP
  ports:
    - port: {{ .Values.service.port }}
      targetPort: {{ .Values.service.port }}
      protocol: TCP
      name: http
  selector:
    app: {{ .Values.image.name }}
    release: {{ .Release.Name }}

동일한 문제가 있습니다. 문제는 우리가 서비스를 건드리지 않았다는 것입니다. 업그레이드 전 변경된 인그레스입니다.

helm upgrade --install 에서 --force 플래그를 삭제하고 불변 필드를 건드리지 않으면 모든 것이 잘 작동하는 불변 필드가 있는 리소스에 영향을 줍니다. 그러나 자원의 apiversion을 충돌시키고 싶다면??? 리소스를 다시 생성해야 하지만 helm 3는 리소스를 업그레이드하지 않습니다....
@bacongobbler ^^

helm 3의 새로운 apiVersion으로 업데이트 hpa를 시도했습니다.
Error: UPGRADE FAILED: rendered manifests contain a new resource that already exists. Unable to continue with update: existing resource conflict: kind: HorizontalPodAutoscaler, namespace: stage, name: dummy-stage

@bacongobbler 및 @kritcher722 추천 안함 댓글이 업데이트되었습니다. 만약 여러분이 추천을 삭제하고 싶다면, 여전히 의견이 일치하지 않는 경우 렌더링된 매니페스트에 clusterIP: "" 를 포함하는 것이 좋은 이유에 대해 자세히 설명해 주십시오.

Microsoft가 프로젝트의 멘토인 것 같습니다. 스타일이 보입니다. :)

다시 열어주세요. 문제가 해결되지 않았습니다. nasseemkullah가 제안한 이 "해킹"은 적절하지 않습니다. 사람들에게 머리 위로 뛰어오라고 요구하지 마십시오. 그냥 고쳐. 매우 열악한 마이그레이션 경로. 헬름은 짜증난다.

@antonakv 한 해를 시작하는 방법 :)
나는 일반적으로 차트에서 구성 가능한 값으로 clusterIP를 제공할 때 우리가 불장난을 하고 있다고 생각하며, 특히 하나의 도구/사람/PR을 전적으로 비난할 수는 없습니다.
clusterIP가 구성 가능한 값이어야 하는 경우 기본적으로 렌더링된 템플릿에 없어야 합니다. 이는 https://github.com/helm/charts/blob/270172836fd8cf56d787cf7d04d938856de0c794/stable 에 따라 값 파일에서 주석 처리하는 아이디어입니다.

이것은 내가 틀리지 않았다면 그 변경 시점에 차트를 설치하는 사람들에게 미래의 골칫거리를 예방할 것입니다. 그러나 우리의 사람들을 위해 사전을 설치하고 helm3로 마이그레이션 한 사람 (자신 포함), 나는 유일한 옵션 I는 우리의 가치 파일의 현재 clusterIP 값을 hardcording 또는 제거하고 차트를 (원인 가동 중단!) 다시 설치 두려워 보다.

의견은 제 의견입니다. 저는 조타 작업을 위해 돈을 받는 것이 아니라 당신과 같은 최종 사용자일 뿐입니다. 이 풀타임으로 일하기 위해 급여를 받는 사람들은 더 많은 통찰력을 제공할 수 있습니다.

새해 복 많이 받으시고 행운을 빕니다! 주도권을 포기하지 마십시오. 함께라면 더 나아질 수 있습니다.

@bacongobbler님 , helm v2 릴리스를 helm v3으로 마이그레이션하는 동안 동일한 문제에 직면했습니다. 서비스에서 type: ClusterIP 를 사용하지만 ClusterIP 를 전혀 생략하면 다음을 얻습니다.

Error: UPGRADE FAILED: failed to replace object: Service "dummy" is invalid: spec.clusterIP: Invalid value: "": field is immutable

helm 템플릿에 spec.clusterIP: 가 없지만 helm 2to3을 통해 릴리스를 마이그레이션한 후 이 오류가 발생했습니다.

서비스 템플릿:

apiVersion: v1
kind: Service
metadata:
  name: {{ .Release.Name }}
  labels:
    app: {{ .Values.image.name }}
    chart: {{ .Chart.Name }}-{{ .Chart.Version | replace "+" "-" }}
    cluster: {{ default "unknown" .Values.cluster }}
    region: {{ default "unknown" .Values.region }}
    datacenter: {{ default "unknown" .Values.datacenter }}
    release: {{ .Release.Name }}
    heritage: {{ .Release.Service }}
spec:
  type: ClusterIP
  ports:
    - port: {{ .Values.service.port }}
      targetPort: {{ .Values.service.port }}
      protocol: TCP
      name: http
  selector:
    app: {{ .Values.image.name }}
    release: {{ .Release.Name }}

같은 문제가 있습니다. 우리는 차트에서 clusterIP 를 전혀 정의하지 않으며 최종 템플릿에는 존재하지 않습니다. 그러나 여전히 동일한 오류가 발생하며 --force 플래그만 있습니다.

동일한 문제가 발생했습니다.

apiVersion: v1
kind: Service
{{ include "mde.metadata" $ }}
spec:
  ports:
  - name: {{ include "mde.portName" $ | quote }}
    port: {{ include "mde.port" $ }}
    protocol: TCP
    targetPort: {{ include "mde.port" $ }}
  selector:
    app: {{ include "mde.name" $ }}
  sessionAffinity: None
  type: ClusterIP

spec.clusterIP 는 서비스 템플릿의 일부가 아니지만 아직 Helm 3.0.2 및 helm upgrade ... --force --install 호출을 통해 다음도 보고됩니다.

오류: 업그레이드 실패: 개체 교체 실패: 서비스 "더미"가 유효하지 않음: spec.clusterIP: 유효하지 않은 값: "": 필드를 변경할 수 없습니다.

다시 열어주세요.

@tomcruise81 --force 에 대한 스레드는 https://github.com/helm/helm/issues/7350 을 참조 kubectl replace 가 작동하는 것처럼 보이기 때문입니다. 서비스 클러스터 IP 및 3방향 병합 패치 전략( --force 플래그가 없는 helm upgrade 과 관련된 여기에 설명된 것과는 별개의 문제입니다.

@bacongobbler - 빠른 응답과 설명에 감사드립니다. 보고:

https://github.com/helm/helm/blob/a963736f6675e972448bf7a5fd141628fd0ae4df/pkg/kube/client.go#L405 -L411

https://github.com/kubernetes/cli-runtime/blob/master/pkg/resource/helper.go#L155 -L181을 사용하면 helper.Replace 대한 호출이 kubectl replace -f ... --force 와 동일합니다(마지막에 --force 참고).

여기서 많은 혼란이 일어나는 것 같아요.

나는 helm upgrade ... --force 대한 나의 기대치를 알고 있으며 대체 전략을 사용하고 있다는 것은 kubectl replace -f ... --force 와 같은 일을 할 것이라는 것이었습니다.

@bacongobbler님 , helm v2 릴리스를 helm v3으로 마이그레이션하는 동안 동일한 문제에 직면했습니다. 서비스에서 type: ClusterIP 를 사용하지만 ClusterIP 를 전혀 생략하면 다음을 얻습니다.
Error: UPGRADE FAILED: failed to replace object: Service "dummy" is invalid: spec.clusterIP: Invalid value: "": field is immutable
helm 템플릿에 spec.clusterIP: 가 없지만 helm 2to3을 통해 릴리스를 마이그레이션한 후 이 오류가 발생했습니다.
서비스 템플릿:

apiVersion: v1
kind: Service
metadata:
  name: {{ .Release.Name }}
  labels:
    app: {{ .Values.image.name }}
    chart: {{ .Chart.Name }}-{{ .Chart.Version | replace "+" "-" }}
    cluster: {{ default "unknown" .Values.cluster }}
    region: {{ default "unknown" .Values.region }}
    datacenter: {{ default "unknown" .Values.datacenter }}
    release: {{ .Release.Name }}
    heritage: {{ .Release.Service }}
spec:
  type: ClusterIP
  ports:
    - port: {{ .Values.service.port }}
      targetPort: {{ .Values.service.port }}
      protocol: TCP
      name: http
  selector:
    app: {{ .Values.image.name }}
    release: {{ .Release.Name }}

같은 문제가 있습니다. 우리는 차트에서 clusterIP 를 전혀 정의하지 않으며 최종 템플릿에는 존재하지 않습니다. 그러나 여전히 동일한 오류가 발생하며 --force 플래그만 있습니다.

또한 릴리스 매니페스트에 clusterIP 가 없는지 확인했습니다.

$ helm get manifest paywall-api-ee | grep clusterIP
$

여기도 마찬가지입니다. ClusterIP 어디에도 정의하지 않지만 여전히 오류가 표시됩니다.

이것으로 좀 더 장난을 치면서 나는 다음과 같은 사실을 관찰했습니다.

• helm upgrade ... --force --install - 결과 _서비스 "더미"가 유효하지 않음 하지 않은 값: "": 필드가 변경 불가능_
• helm template ... | kubectl apply -f - - 작동
• helm template ... | kubectl replace -f - - 결과 _서비스 "더미"가 유효하지 않음 하지 않은 값: "": 필드가 변경 불가능_
• helm template ... | kubectl replace --force -f - - 작동

kubectl 버전 - 1.14.6
조타 버전 - 3.0.2

@tomcruise81 helm 플러그인 2to3을 사용해 보고 helm2에서 helm3 릴리스로 마이그레이션하고 이전에 사용한 경우 --force 삭제할 수 있습니다.
그것은 우리를 위한 일입니다.
나에 관해서는 다른 사람들처럼 --force 에 잘못된 행동이 있으며 이 경우는 불변 필드로 처리해야 합니다.

@alexandrsemak - 추천 감사합니다. 제 경우에는 helm 3을 사용하여 설치하거나 업그레이드한 차트에서만 이것을 볼 수 있습니다.

나와 같은 문제! 사용

$ helm install my-release xxxxx
$ helm upgrade --install --force my-release xxxxx

제 경우에는 차트에 사용된 서비스에 대해 ClusterIP 를 정의하지 않지만 동일한 문제에 직면합니다(아래 사양 참조).

spec:
  type: {{ .Values.service.type }}
  {{- if and (eq .Values.service.type "LoadBalancer") (not (empty .Values.service.loadBalancerIP)) }}
  loadBalancerIP: {{ .Values.service.loadBalancerIP }}
  {{- end }}
  ports:
    - name: htttp-XXX
      port: {{ .Values.service.port }}
      targetPort: XXX
      {{- if and (or (eq .Values.service.type "NodePort") (eq .Values.service.type "LoadBalancer")) (not (empty .Values.service.nodePort)) }}
      nodePort: {{ .Values.service.nodePort }}
      {{- else if eq .Values.service.type "ClusterIP" }}
      nodePort: null
      {{- end }}
  selector:
    app.kubernetes.io/name: XXX
    app.kubernetes.io/instance: {{ .Release.Name }}

다른 사용자가 이전에 말했듯이 Kubernetes는 처음으로 서비스에 클러스터 IP를 할당하고(예: clusterIP: 10.96.26.65 ) 업그레이드하려고 할 때 clusterIP: "" 와 충돌하기 때문입니다. 내 템플릿에서 이것을 생성하지 않는다는 점에 유의하십시오: clusterIP: ""

@bacongobbler를 다시 열어주세요

같은 문제가 있습니다.

@juan131 @Ronsevet : 제거 --force 의미가 변경되었습니다.

사용자 지정 차트에서 동일한 문제에 직면해 있습니다.
우리는 어디에도 clusterip을 정의하지 않습니다.
투구 v3.0.2
kubectl 1.14.8

문제는 포드가 생성되어 실행 중이더라도 차트가 실패한 상태로 유지되는 경우가 있다는 것입니다. 동일한 릴리스를 업그레이드하려고 하면 강제로 작동하지 않습니다.
포드가 실행 중이므로 릴리스를 삭제하고 다시 만들 수 없습니다.
"힘"을 사용하는 방법이 있습니다

나에게도 마찬가지입니다. 방금 서비스에 레이블을 추가했는데 이 오류가 발생했습니다. 또한 나는 어디에도 ClusterIP를 정의하지 않습니다 - 문제를 다시 여십시오

@bacongobbler 차트의 일부로 StorageClass 를 배포하고 있으며 StorageClass의 매개변수는 변경할 수 없습니다. 따라서 다음 릴리스에서는 일부 StorageClass 매개변수의 값을 업데이트할 때 helm upgrade --force 도 실패합니다.
StorageClasses 업데이트에 대해 이 경우를 처리하는 방법을 잘 모르겠습니다. 어떤 제안?

Error: UPGRADE FAILED: failed to replace object: StorageClass.storage.k8s.io "ibmc-s3fs-standard-cross-region" is invalid: parameters: Forbidden: updates to parameters are forbidden.

helm v2에서는 helm upgrade --force StorageClass를 강제로 삭제하고 다시 생성하는 데 사용 되므로 제대로 작동했습니다.

https://github.com/helm/helm/helm/issues/6378#issuecomment -557746499에 제공된 설명의 결과가 아닌 증상을 겪고 있는 사람이 있는 경우 발견한 내용과 문제를 재현할 수 있는 방법으로 새 ​​문제를 열어 주시겠습니까? 우리 쪽이야?

OP에서 제기한 문제는 위에 제공된 시나리오로 인해 차트가 설치 시 ClusterIP를 빈 문자열로 설정했습니다. --force 플래그를 사용하여 다른 사람들이 언급한 것과 같이 이 특정 사례가 발생할 수 있는 다른 시나리오가 있을 수 있습니다. 진단 및 해결 방법은 앞서 제공된 조언과 다를 수 있으므로 이러한 경우는 별도로 논의해야 합니다.

감사합니다!

@mssachan 은 사용 사례에 대해 #7082 및 #7431의 제안 초안을 참조하세요. 이 제안은 kubectl replace —force 를 구현하는 것을 목표로 하며 이는 Helm 2의 helm install —force 동작과 유사합니다.

@mssachan 은 사용 사례에 대해 #7082 및 #7431의 제안 초안을 참조하세요. 이 제안은 kubectl replace —force 를 구현하는 것을 목표로 하며 이는 Helm 2의 helm install —force 동작과 유사합니다.

이런 일이 일어나고 있는 것이 좋습니다. --force 플래그를 생략해도 차트를 업그레이드할 때 여전히 오류가 발생합니다. 예를 들어 cert-manager :

2020-03-05 12:15:19 CRITICAL: Command returned [ 1 ] exit code and error message [ Error: UPGRADE FAILED: cannot patch "cert-manager-cainjector" with kind Deployment: Deployment.apps "cert-manager-cainjector" is invalid: spec.selector: Invalid value: v1.LabelSelector{MatchLabels:map[string]string{"app":"cainjector", "app.kubernetes.io/instance":"cert-manager", "app.kubernetes.io/managed-by":"Helm", "app.kubernetes.io/name":"cainjector"}, MatchExpressions:[]v1.LabelSelectorRequirement(nil)}: field is immutable && cannot patch "cert-manager" with kind Deployment: Deployment.apps "cert-manager" is invalid: spec.selector: Invalid value: v1.LabelSelector{MatchLabels:map[string]string{"app":"cert-manager", "app.kubernetes.io/instance":"cert-manager", "app.kubernetes.io/managed-by":"Helm", "app.kubernetes.io/name":"cert-manager"}, MatchExpressions:[]v1.LabelSelectorRequirement(nil)}: field is immutable && cannot patch "cert-manager-webhook" with kind Deployment: Deployment.apps "cert-manager-webhook" is invalid: spec.selector: Invalid value: v1.LabelSelector{MatchLabels:map[string]string{"app":"webhook", "app.kubernetes.io/instance":"cert-manager", "app.kubernetes.io/managed-by":"Helm", "app.kubernetes.io/name":"webhook"}, MatchExpressions:[]v1.LabelSelectorRequirement(nil)}: field is immutable

@mssachan 은 사용 사례에 대해 #7082 및 #7431의 제안 초안을 참조하세요. 이 제안은 kubectl replace —force 를 구현하는 것을 목표로 하며 이는 Helm 2의 helm install —force 동작과 유사합니다.

이런 일이 일어나고 있는 것이 좋습니다. --force 플래그를 생략해도 차트를 업그레이드할 때 여전히 오류가 발생합니다. 예를 들어 cert-manager :

2020-03-05 12:15:19 CRITICAL: Command returned [ 1 ] exit code and error message [ Error: UPGRADE FAILED: cannot patch "cert-manager-cainjector" with kind Deployment: Deployment.apps "cert-manager-cainjector" is invalid: spec.selector: Invalid value: v1.LabelSelector{MatchLabels:map[string]string{"app":"cainjector", "app.kubernetes.io/instance":"cert-manager", "app.kubernetes.io/managed-by":"Helm", "app.kubernetes.io/name":"cainjector"}, MatchExpressions:[]v1.LabelSelectorRequirement(nil)}: field is immutable && cannot patch "cert-manager" with kind Deployment: Deployment.apps "cert-manager" is invalid: spec.selector: Invalid value: v1.LabelSelector{MatchLabels:map[string]string{"app":"cert-manager", "app.kubernetes.io/instance":"cert-manager", "app.kubernetes.io/managed-by":"Helm", "app.kubernetes.io/name":"cert-manager"}, MatchExpressions:[]v1.LabelSelectorRequirement(nil)}: field is immutable && cannot patch "cert-manager-webhook" with kind Deployment: Deployment.apps "cert-manager-webhook" is invalid: spec.selector: Invalid value: v1.LabelSelector{MatchLabels:map[string]string{"app":"webhook", "app.kubernetes.io/instance":"cert-manager", "app.kubernetes.io/managed-by":"Helm", "app.kubernetes.io/name":"webhook"}, MatchExpressions:[]v1.LabelSelectorRequirement(nil)}: field is immutable

@ sc250024 helm v2를 v3으로 업그레이드한 후에도 똑같은 문제가 있습니다. 업그레이드 진행이 원활하고 오류가 없었습니다. 그런 다음 helm에서 cert-manager를 업그레이드하려고 시도했지만 동일한 출력으로 실패했습니다.

# helm upgrade cert-manager jetstack/cert-manager --namespace cert-manager --atomic --cleanup-on-fail

# helm version
version.BuildInfo{Version:"v3.1.1", GitCommit:"afe70585407b420d0097d07b21c47dc511525ac8", GitTreeState:"clean", GoVersion:"go1.13.8"}

--force가 사용되지 않거나 clusterIP 에 대한 옵션이 설정되지 않은 경우에 대한 해결 방법. 이것은 내 서비스 매니페스트입니다.

apiVersion: v1
kind: Service
metadata:
  name: "{{ .Values.deploymentBaseName }}-{{ .Values.skaffoldUser }}"
  labels:
    name: "{{ .Values.deploymentBaseName }}-{{ .Values.skaffoldUser }}"
spec:
  ports:
    - port: {{ .Values.servicePort }}
      targetPort: {{ .Values.containerPort }}
      protocol: TCP
      name: http
    - name: debugger-http
      port: {{ .Values.debuggerPort }}
      targetPort: {{ .Values.debuggerPort }}
      protocol: TCP
  selector:
    app: "{{ .Values.deploymentBaseName }}-{{ .Values.skaffoldUser }}"
  type: ClusterIP

@davidfernandezm 이에 대한 해결책을 찾은 적이 있습니까? 나는 내 끝에서 같은 것을보고 있으며 내 서비스는 귀하의 서비스와 동일하게 정의됩니다. clusterIP 대한 옵션이 설정되지 않았지만 Helm은 여전히 ​​업그레이드에 실패합니다.

여기도 마찬가지

이것도 얻고, 다시: 위의 두 가지 의견.

더 많은 정보를 제공해 주세요. 원인이나 귀하의 사례에서 이 문제가 어떻게 발생하는지 이해하지 않고는 도움을 드릴 수 없습니다. 감사 해요.

@antonakv 이 문제는 7956과 중복됩니다.
@bacongobbler 추가 정보

helm update --install 명령과 함께 --force 옵션을 사용하는 경우 helm v3.0.0-rc.2로 서비스 유형 또는 clusterIP를 설정하지 않아도 동일한 문제가 있습니다. --force 없이는 잘 작동합니다.

시원한! 나는 helmfile yaml에서 force: .. 행에 주석을 달아야 한다는 귀하의 답변에서 영감을 얻었습니다.

helmDefaults:
  tillerless: true
  verify: false
  wait: true
  timeout: 600
  # force: true <---- THI ONE IS COMMENTED

작동합니다 🎉

나는 위의 모든 것을 시도했지만 아무도 나를 위해 일하지 않았습니다. 내 차트에서 nginx-ingress 을 비활성화하고 업그레이드를 수행하고 다시 활성화하고 다시 업그레이드해야 했습니다. 이로 인해 클라우드 공급자가 할당한 IP 주소가 변경되었지만 아무런 피해가 없었습니다.

helm update --install 명령과 함께 --force 옵션을 사용하는 경우 helm v3.0.0-rc.2로 서비스 유형 또는 clusterIP를 설정하지 않아도 동일한 문제가 있습니다. --force 없이는 잘 작동합니다.

최고의 솔루션, 그것은 나를 위해 작동합니다, 감사합니다!

우리는 같은 문제를 겪고 있으며 해결 방법을 찾을 수 없습니다.
재현하는 방법은 매우 간단합니다.

helm install in stable/inbucket 
helm upgrade in stable/inbucket 
Error: UPGRADE FAILED: cannot patch "in-inbucket" with kind Service: Service "in-inbucket" is invalid: spec.clusterIP: Invalid value: "": field is immutable

--force 가 여기에서 작동하지 않는 이유가 궁금합니다. 이것이 교체 전략이라면 서비스를 제거한 다음 교체해야 하는 경우 force resource updates through a replacement strategy 로 되어 있지 않습니까?

@bacongobbler https://github.com/helm/helm/issues/7956 을 확인한 후 이 스레드에 접속했습니다.

이전의 모든 댓글 작성자와 마찬가지로 템플릿에 "clusterIP"가 전혀 없지만 --force 플래그가 사용되는 경우 최신 Helm에 오류가 여전히 존재합니다.

투구 버전: 3.4.1

"helm -n kube-system get manifest CHART_NAME | grep clusterIP"는 결과를 표시하지 않습니다.

오류:
field is immutable && failed to replace object: Service "SERVICE_NAME" is invalid: spec.clusterIP: Invalid value: "": field is immutable

https://github.com/helm/helm/issues/6378#issuecomment -557746499에 제공된 동일한 설명이 @nick4fake의 경우에도 여기에 적용됩니다. 차이점은 --force 를 사용하면 Kubernetes에 완전히 렌더링된 매니페스트를 가져오고 현재 라이브 개체를 강제로 덮어쓰도록 요청한다는 것입니다. 매니페스트에 clusterIP 필드가 포함되어 있지 않기 때문에 Kubernetes는 이를 사용하여 라이브 개체에서 clusterIP 필드를 제거하려고 한다고 가정하므로 Invalid value: "": field is immutable 오류가 발생합니다.

@bacongobbler 여기서 뭔가 놓치면 정말 죄송합니다. 단순히 Helm 내부에 대해 충분히 알지 못하는 것일 수도 있습니다.

"내 권장 사항은 템플릿 출력을 변경하는 것입니다. clusterIP가 값으로 제공되지 않으면 값을 빈 문자열로 설정하지 마십시오... 필드를 완전히 생략하십시오."

그래서 해결책은 무엇입니까? clusterIP 필드가 일부 정적 값으로 설정되어 있지 않으면 "--force" 플래그를 전혀 사용할 수 없다는 의미입니까?

Kubernetes에 관한 한: 그렇습니다.

내 이해에 따르면 "강제로 덮어쓰기"는 "삭제 및 다시 만들기"와 같은 방식으로 작동하지 않기 때문에 Kubernetes의 문제입니다. 업스트림 버그가 있습니까?

반면 --force 는 "대체 전략을 통한 강제 리소스 업데이트"로 설명되어 있기 때문에 Helm도 오해의 소지가 있습니다. 실제로는 교체를 수행하지 않지만 리소스를 강제로 덮어쓰려고 시도합니다(플래그 이름을 --force-overwrite 로 지정하는 것이 좋습니다). 강제 교체는 삭제하고 다시 만드는 것처럼 보입니다( --force-recreate 플래그가 있을 수 있음). 물론 --force-recreate 는 일부 리소스에 사용하기에는 약간 위험할 수 있지만 항상 성공합니다.

어쨌든 Helm은 이러한 유형의 문제에 대한 대체 해결 방법을 구현할 수 있습니다. 현재 동작( --force-overwrite )이 실패하고 변경할 수 없는 필드 오류를 감지하면 리소스를 삭제하고 다시 생성해야 합니다( --force-recreate ).