Helm: Helm 3-アップグレードnginx-spec.clusterIP：無効な値： ""：フィールドは不変です

これは、Helm 3の最近の変更に関連している可能性があり、kubectlと同様の3方向マージパッチ戦略が使用されています。 ＃6124を参照

これを再現するための手順を提供できれば、それは素晴らしいことです。 ありがとう！

もちろん！

AKSクラスターを作成しました。

MC_ *リソースグループにパブリックIPを作成します。

そのパブリックIPのIPアドレスを$ ipに保存しました。

次に、基本的にそのコマンドを2回実行しました。

./helm upgrade --install
--set rbac.create = false
--set controller.replicaCount = 2
--set controller.service.loadBalancerIP = $ ip
--main-ingress stable / nginx-ingressを待ちます

これは、 https：//docs.microsoft.com/en-us/azure/aks/ingress-static-ipで行われることと似てい

違いは、ヘルムのアップグレードを2回行うことです。 その目的は、CI / CDに単一のコマンドライン（無条件）を含めることです。

再現するためにさらに詳細が必要な場合はお知らせください。

再現するのに十分でしたか？ 役立つ場合は、bashスクリプトを提供できます。

申し訳ありませんが、Helm Summit EUで1週間休みましたので、まだ返答する時間がありません。

ああ...心配ありません。 サミットをお楽しみください！

私もこの問題を経験しています

$ helm version --short
v3.0.0-beta.3+g5cb923e

nginx-ingressチャートは、最初の実行では正常にインストールされますが、アップグレードでは...

$ helm upgrade --install first-chart stable/nginx-ingress --namespace infra
client.go:357: Cannot patch Service: "first-chart-nginx-ingress-controller" (Service "first-chart-nginx-ingress-controller" is invalid: spec.clusterIP: Invalid value: "": field is immutable)
client.go:376: Use --force to force recreation of the resource
client.go:357: Cannot patch Service: "first-chart-nginx-ingress-default-backend" (Service "first-chart-nginx-ingress-default-backend" is invalid: spec.clusterIP: Invalid value: "": field is immutable)
client.go:376: Use --force to force recreation of the resource
Error: UPGRADE FAILED: Service "first-chart-nginx-ingress-controller" is invalid: spec.clusterIP: Invalid value: "": field is immutable && Service "first-chart-nginx-ingress-default-backend" is invalid: spec.clusterIP: Invalid value: "": field is immutable

$ helm ls -n infra
NAME            NAMESPACE       REVISION        UPDATED                                 STATUS          CHART               
first-chart     infra           1               2019-09-17 16:15:25.513997106 -0500 CDT deployed        nginx-ingress-1.20.0
first-chart     infra           2               2019-09-17 16:15:30.845249671 -0500 CDT failed          nginx-ingress-1.20.0

これはhelm3ではなく、nginx-ingressチャートの問題だと思います。 デフォルトでは、 controller.service.omitClusterIP=trueとdefaultBackend.service.omitClusterIP=trueを設定しない限り、チャートは常にcontroller.service.clusterIP = ""とdefaultBackend.service.clusterIP = ""を通過しようとします。

ソースへのリンク：
https://github.com/helm/charts/blob/master/stable/nginx-ingress/values.yaml#L321
https://github.com/helm/charts/blob/master/stable/nginx-ingress/templates/controller-service.yaml#L22

回避策：

$ helm upgrade --install ingress-test stable/nginx-ingress --set controller.service.omitClusterIP=true --set defaultBackend.service.omitClusterIP=true

試しましたが、同じエラーが発生します

helm upgrade --install ingx stable/nginx-ingress -f ingx-values.yaml                                             1 ↵
client.go:357: Cannot patch Service: "ingx-nginx-ingress-controller" (Service "ingx-nginx-ingress-controller" is invalid: spec.clusterIP: Invalid value: "": field is immutable)
client.go:376: Use --force to force recreation of the resource
client.go:357: Cannot patch Service: "ingx-nginx-ingress-default-backend" (Service "ingx-nginx-ingress-default-backend" is invalid: spec.clusterIP: Invalid value: "": field is immutable)
client.go:376: Use --force to force recreation of the resource
Error: UPGRADE FAILED: Service "ingx-nginx-ingress-controller" is invalid: spec.clusterIP: Invalid value: "": field is immutable && Service "ingx-nginx-ingress-default-backend" is invalid: spec.clusterIP: Invalid value: "": field is immutable

ingx-values.yaml

rbac:
  create: true
controller:
  service:
    externalTrafficPolicy: Local
    omitClusterIP: true
  autoscaling:
    enabled: true
    minReplicas: 2
    maxReplicas: 100
    targetCPUUtilizationPercentage: "70"
    targetMemoryUtilizationPercentage: "70"
defaultBackend:
  service:
    omitClusterIP: true

以下に示すように、テンプレートにはclusterIPが含まれていません

ヘルムテンプレートingxstable / nginx-ingress -f ingx-values.yaml

---
# Source: nginx-ingress/templates/controller-serviceaccount.yaml
apiVersion: v1
kind: ServiceAccount
metadata:
  labels:
    app: nginx-ingress
    chart: nginx-ingress-1.20.0
    heritage: Helm
    release: ingx
  name: ingx-nginx-ingress
---
# Source: nginx-ingress/templates/default-backend-serviceaccount.yaml
apiVersion: v1
kind: ServiceAccount
metadata:
  labels:
    app: nginx-ingress
    chart: nginx-ingress-1.20.0
    heritage: Helm
    release: ingx
  name: ingx-nginx-ingress-backend
---
# Source: nginx-ingress/templates/clusterrole.yaml
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRole
metadata:
  labels:
    app: nginx-ingress
    chart: nginx-ingress-1.20.0
    heritage: Helm
    release: ingx
  name: ingx-nginx-ingress
rules:
  - apiGroups:
      - ""
    resources:
      - configmaps
      - endpoints
      - nodes
      - pods
      - secrets
    verbs:
      - list
      - watch
  - apiGroups:
      - ""
    resources:
      - nodes
    verbs:
      - get
  - apiGroups:
      - ""
    resources:
      - services
    verbs:
      - get
      - list
      - update
      - watch
  - apiGroups:
      - extensions
      - "networking.k8s.io" # k8s 1.14+
    resources:
      - ingresses
    verbs:
      - get
      - list
      - watch
  - apiGroups:
      - ""
    resources:
      - events
    verbs:
      - create
      - patch
  - apiGroups:
      - extensions
      - "networking.k8s.io" # k8s 1.14+
    resources:
      - ingresses/status
    verbs:
      - update
---
# Source: nginx-ingress/templates/clusterrolebinding.yaml
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRoleBinding
metadata:
  labels:
    app: nginx-ingress
    chart: nginx-ingress-1.20.0
    heritage: Helm
    release: ingx
  name: ingx-nginx-ingress
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: ingx-nginx-ingress
subjects:
  - kind: ServiceAccount
    name: ingx-nginx-ingress
    namespace: default
---
# Source: nginx-ingress/templates/controller-role.yaml
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: Role
metadata:
  labels:
    app: nginx-ingress
    chart: nginx-ingress-1.20.0
    heritage: Helm
    release: ingx
  name: ingx-nginx-ingress
rules:
  - apiGroups:
      - ""
    resources:
      - namespaces
    verbs:
      - get
  - apiGroups:
      - ""
    resources:
      - configmaps
      - pods
      - secrets
      - endpoints
    verbs:
      - get
      - list
      - watch
  - apiGroups:
      - ""
    resources:
      - services
    verbs:
      - get
      - list
      - update
      - watch
  - apiGroups:
      - extensions
      - "networking.k8s.io" # k8s 1.14+
    resources:
      - ingresses
    verbs:
      - get
      - list
      - watch
  - apiGroups:
      - extensions
      - "networking.k8s.io" # k8s 1.14+
    resources:
      - ingresses/status
    verbs:
      - update
  - apiGroups:
      - ""
    resources:
      - configmaps
    resourceNames:
      - ingress-controller-leader-nginx
    verbs:
      - get
      - update
  - apiGroups:
      - ""
    resources:
      - configmaps
    verbs:
      - create
  - apiGroups:
      - ""
    resources:
      - endpoints
    verbs:
      - create
      - get
      - update
  - apiGroups:
      - ""
    resources:
      - events
    verbs:
      - create
      - patch
---
# Source: nginx-ingress/templates/controller-rolebinding.yaml
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: RoleBinding
metadata:
  labels:
    app: nginx-ingress
    chart: nginx-ingress-1.20.0
    heritage: Helm
    release: ingx
  name: ingx-nginx-ingress
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: Role
  name: ingx-nginx-ingress
subjects:
  - kind: ServiceAccount
    name: ingx-nginx-ingress
    namespace: default
---
# Source: nginx-ingress/templates/controller-service.yaml
apiVersion: v1
kind: Service
metadata:
  labels:
    app: nginx-ingress
    chart: nginx-ingress-1.20.0
    component: "controller"
    heritage: Helm
    release: ingx
  name: ingx-nginx-ingress-controller
spec:
  externalTrafficPolicy: "Local"
  ports:
    - name: http
      port: 80
      protocol: TCP
      targetPort: http
    - name: https
      port: 443
      protocol: TCP
      targetPort: https
  selector:
    app: nginx-ingress
    component: "controller"
    release: ingx
  type: "LoadBalancer"
---
# Source: nginx-ingress/templates/default-backend-service.yaml
apiVersion: v1
kind: Service
metadata:
  labels:
    app: nginx-ingress
    chart: nginx-ingress-1.20.0
    component: "default-backend"
    heritage: Helm
    release: ingx
  name: ingx-nginx-ingress-default-backend
spec:
  ports:
    - name: http
      port: 80
      protocol: TCP
      targetPort: http
  selector:
    app: nginx-ingress
    component: "default-backend"
    release: ingx
  type: "ClusterIP"
---
# Source: nginx-ingress/templates/controller-deployment.yaml
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  labels:
    app: nginx-ingress
    chart: nginx-ingress-1.20.0
    component: "controller"
    heritage: Helm
    release: ingx
  name: ingx-nginx-ingress-controller
spec:
  replicas: 1
  revisionHistoryLimit: 10
  strategy:
    {}
  minReadySeconds: 0
  template:
    metadata:
      labels:
        app: nginx-ingress
        component: "controller"
        release: ingx
    spec:
      dnsPolicy: ClusterFirst
      containers:
        - name: nginx-ingress-controller
          image: "quay.io/kubernetes-ingress-controller/nginx-ingress-controller:0.25.1"
          imagePullPolicy: "IfNotPresent"
          args:
            - /nginx-ingress-controller
            - --default-backend-service=default/ingx-nginx-ingress-default-backend
            - --election-id=ingress-controller-leader
            - --ingress-class=nginx
            - --configmap=default/ingx-nginx-ingress-controller
          securityContext:
            capabilities:
                drop:
                - ALL
                add:
                - NET_BIND_SERVICE
            runAsUser: 33
            allowPrivilegeEscalation: true
          env:
            - name: POD_NAME
              valueFrom:
                fieldRef:
                  fieldPath: metadata.name
            - name: POD_NAMESPACE
              valueFrom:
                fieldRef:
                  fieldPath: metadata.namespace
          livenessProbe:
            httpGet:
              path: /healthz
              port: 10254
              scheme: HTTP
            initialDelaySeconds: 10
            periodSeconds: 10
            timeoutSeconds: 1
            successThreshold: 1
            failureThreshold: 3
          ports:
            - name: http
              containerPort: 80
              protocol: TCP
            - name: https
              containerPort: 443
              protocol: TCP
          readinessProbe:
            httpGet:
              path: /healthz
              port: 10254
              scheme: HTTP
            initialDelaySeconds: 10
            periodSeconds: 10
            timeoutSeconds: 1
            successThreshold: 1
            failureThreshold: 3
          resources:
            {}
      hostNetwork: false
      serviceAccountName: ingx-nginx-ingress
      terminationGracePeriodSeconds: 60
---
# Source: nginx-ingress/templates/default-backend-deployment.yaml
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  labels:
    app: nginx-ingress
    chart: nginx-ingress-1.20.0
    component: "default-backend"
    heritage: Helm
    release: ingx
  name: ingx-nginx-ingress-default-backend
spec:
  replicas: 1
  revisionHistoryLimit: 10
  template:
    metadata:
      labels:
        app: nginx-ingress
        component: "default-backend"
        release: ingx
    spec:
      containers:
        - name: nginx-ingress-default-backend
          image: "k8s.gcr.io/defaultbackend-amd64:1.5"
          imagePullPolicy: "IfNotPresent"
          args:
          securityContext:
            runAsUser: 65534
          livenessProbe:
            httpGet:
              path: /healthz
              port: 8080
              scheme: HTTP
            initialDelaySeconds: 30
            periodSeconds: 10
            timeoutSeconds: 5
            successThreshold: 1
            failureThreshold: 3
          readinessProbe:
            httpGet:
              path: /healthz
              port: 8080
              scheme: HTTP
            initialDelaySeconds: 0
            periodSeconds: 5
            timeoutSeconds: 5
            successThreshold: 1
            failureThreshold: 6
          ports:
            - name: http
              containerPort: 8080
              protocol: TCP
          resources:
            {}
      serviceAccountName: ingx-nginx-ingress-backend
      terminationGracePeriodSeconds: 60
---
# Source: nginx-ingress/templates/controller-hpa.yaml
apiVersion: autoscaling/v2beta1
kind: HorizontalPodAutoscaler
metadata:
  labels:
    app: nginx-ingress
    chart: nginx-ingress-1.20.0
    component: "controller"
    heritage: Helm
    release: ingx
  name: ingx-nginx-ingress-controller
spec:
  scaleTargetRef:
    apiVersion: apps/v1beta1
    kind: Deployment
    name: ingx-nginx-ingress-controller
  minReplicas: 2
  maxReplicas: 100
  metrics:
    - type: Resource
      resource:
        name: cpu
        targetAverageUtilization: 70
    - type: Resource
      resource:
        name: memory
        targetAverageUtilization: 70

元々省略せずにデプロイしたために発生したと思われます。helmV3は、 clusterIP: ""れている元のマニフェストと3方向マージを実行しようとしています。

helm get manifest ingx --revision 1 | grep "clusterIP"
  clusterIP: ""
  clusterIP: ""

最初に既存のグラフを削除し、 omitClusterIPオプションを使用して再作成することで、修正することができました。 結論として、 最初からこれらのオプションをtrueに設定してチャートをインストールした場合にのみ機能します

$ helm upgrade --install ingress-test stable/nginx-ingress --set controller.service.omitClusterIP=true --set defaultBackend.service.omitClusterIP=true

helm v3に、既存のマニフェストとのマージをスキップする方法があれば素晴らしいと思います

申し訳ありませんが、リリースを最初にインストールするときにこれらの値を設定する必要があることを指定する必要がありました。 既存のリリースを更新するのは難しいかもしれません...

値にclusterIPが含まれていないmetric-server-2.8.8や、helm v3.0.0-rc.2を使用する他のいくつかのグラフで、この問題が発生しています。 何かアドバイス？ どうすればいいのかわかりません。

私の問題はhelmfilev0.95.0にあるようです。 私はそこでそれを追求します:)

helm update --installコマンドで--forceオプションを使用すると、helm v3.0.0-rc.2でサービスタイプまたはclusterIPを設定しなくても、同じ問題が発生します。 --forceがないと、正常に機能します

@johannges 、私はちょうど同じものを投稿しようとしていました。 ：+1：

omitClusterIP: true設定defaultBackendおよびコントローラーサービスでは機能するようですが、メトリクスサービスでは機能しません。

これは、アップグレード中の--forceオプションのヘルムの問題だと思います。
Helmはサービスを再作成しようとしていますが、spec.clusterIPも置き換えているため、エラーがスローされます。
これは、自分のカスタムチャートを使用して確認できます。
Error: UPGRADE FAILED: failed to replace object: Service "litespeed" is invalid: spec.clusterIP: Invalid value: "": field is immutable

実際、それは私の側の間違いでした。サービス（またはチャート）の初期化でclusterIP定義を省略しても問題なく動作します👍

既存のデプロイされた_kafka_および_redis_チャートリリースでもこのエラーが発生していました。 --force削除すると、実際にこれが解決されました。

今、私は_redis_リリースから新しいエラーを受け取っています：
Error: UPGRADE FAILED: release redis failed, and has been rolled back due to atomic being set: cannot patch "redis-master" with kind StatefulSet: StatefulSet.apps "redis-master" is invalid: spec: Forbidden: updates to statefulset spec for fields other than 'replicas', 'template', and 'updateStrategy' are forbidden

@bacongobblerに同意し

誰かがここでテラフォームを介してhelmV3を使用することになった場合、 --forceを使用しないように直接指示できないため、 helm deleteを使用してチャートを手動で削除し、テラフォームを再実行することに成功しました。 これは最悪ですが、機能します。

編集：エラー全体:(「nginx-ingress-singleton-controller」は私が設定したリリース名です。特定の意味はありません）

Error: cannot patch "nginx-ingress-singleton-controller" with kind Service: Service "nginx-ingress-singleton-controller" is invalid: spec.clusterIP: Invalid value:
"": field is immutable && cannot patch "nginx-ingress-singleton-default-backend" with kind Service: Service "nginx-ingress-singleton-default-backend" is invalid: sp
ec.clusterIP: Invalid value: "": field is immutable

  on .terraform/modules/app_dev/nginx-ingress.tf line 1, in resource "helm_release" "nginx_ingress":
   1: resource "helm_release" "nginx_ingress" {

@ zen4everは、 https： //github.com/helm/helm/issues/6378#issuecomment-532766512で問題を特定しました。 もっと詳しく説明しようと思います…。

他の人が指摘しているように、チャートが空の文字列でclusterIPを定義するときに問題が発生します。 サービスがインストールされると、Kubernetesはこのフィールドにサービスに割り当てられたclusterIPを入力します。

helm upgradeが呼び出されると、チャートはclusterIPを削除するように要求しました。したがって、エラーメッセージがspec.clusterIP: Invalid value: "": field is immutable理由です。

これは、次の動作が原因で発生します。

1. インストール時に、チャートはclusterIPを空の文字列にすることを指定しました
2. KubernetesはサービスにclusterIP自動割り当てしました。 この例では172.17.0.1を使用します
3. helm upgrade場合、グラフはclusterIPを空の文字列にする必要があります（または上記の@ zen4everの場合は省略されます）

スリーウェイパッチを生成すると、古い状態が"" 、ライブ状態が現在"172.17.0.1"であり、提案された状態が""ます。 Helmは、ユーザーがclusterIPを「172.17.0.1」から「」に変更するように要求したことを検出したため、パッチを提供しました。

Helm 2では、ライブ状態を無視したため、変更は見られず（古い状態： clusterIP: ""から新しい状態： clusterIP: "" ）、この動作をバイパスしてパッチは生成されませんでした。

テンプレートの出力を変更することをお勧めします。 clusterIPが値として提供されていない場合は、値を空の文字列に設定しないでください...フィールドを完全に省略してください。

たとえば、 stable/nginx-ingress ：

spec:
{{- if not .Values.controller.service.omitClusterIP }}
  clusterIP: "{{ .Values.controller.service.clusterIP }}"
{{- end }}

次のように変更する必要があります。

spec:
{{- if not .Values.controller.service.omitClusterIP }}
  {{ with .Values.controller.service.clusterIP }}clusterIP: {{ quote . }}{{ end }}
{{- end }}

この場合、 --set controller.service.omitClusterIP=true機能するのもこのためです。

TL; DRは、サービステンプレートでこれを行いません。

clusterIP: ""

それ以外の場合、HelmはサービスのclusterIPを自動生成されたIPアドレスから空の文字列に変更しようとするため、エラーメッセージが表示されます。

お役に立てれば！

この問題が解決されている間にこれを今のところ機能させようとしている場合の一時的な解決策として、次のことを実行した場合、更新を実行できたことがわかりました。

1. コントローラとデフォルトのバックエンドのclusterIP値を次の方法で取得します。
   kubectl get svc | grep ingress
2. 次の上書きを既存のヘルム値ファイルに追加します。
   controller: service: clusterIP: <cluster-ip-address-for-controller> defaultBackend: service: clusterIP: <cluster-ip-address-for-default-backend>
3. 更新を実行します。

実行しているクラスターでこれをテストしましたが、再作成は必要ありませんでした。

それもうまくいきます。 @treacherに電話してください。 アップグレードではclusterIPの値を変更したくないため、 --setまたはvaluesファイルで同じ値を設定してもパッチは生成されません。

上記のスリーウェイマージパッチの動作に従って、意図的に機能するように閉じます。 アクションアイテムは、これらのチャートが上記のhttps://github.com/helm/helm/issues/6378#issuecomment-557746499で提供されている推奨事項に従うことです。 ヘルムの側ではここでは何もしません。 :)

https://github.com/helm/charts/pull/19146/filesが作成されました！ ありがとう@bacongobbler

@ zen4everは＃6378（コメント）で問題を釘付けにしました。 もっと詳しく説明しようと思います…。

他の人が指摘しているように、チャートが空の文字列でclusterIPを定義するときに問題が発生します。 サービスがインストールされると、Kubernetesはこのフィールドにサービスに割り当てられたclusterIPを入力します。

helm upgradeが呼び出されると、チャートはclusterIPを削除するように要求しました。したがって、エラーメッセージがspec.clusterIP: Invalid value: "": field is immutable理由です。

これは、次の動作が原因で発生します。

1. インストール時に、チャートはclusterIPを空の文字列にすることを指定しました
2. KubernetesはサービスにclusterIP自動割り当てしました。 この例では172.17.0.1を使用します
3. helm upgrade場合、グラフはclusterIPを空の文字列にする必要があります（または上記の@ zen4everの場合は省略されます）

スリーウェイパッチを生成すると、古い状態が"" 、ライブ状態が現在"172.17.0.1"であり、提案された状態が""ます。 Helmは、ユーザーがclusterIPを「172.17.0.1」から「」に変更するように要求したことを検出したため、パッチを提供しました。

Helm 2では、ライブ状態を無視したため、変更は見られず（古い状態： clusterIP: ""から新しい状態： clusterIP: "" ）、この動作をバイパスしてパッチは生成されませんでした。

テンプレートの出力を変更することをお勧めします。 clusterIPが値として提供されていない場合は、値を空の文字列に設定しないでください...フィールドを完全に省略してください。

たとえば、 stable/nginx-ingress ：

spec:
{{- if not .Values.controller.service.omitClusterIP }}
  clusterIP: "{{ .Values.controller.service.clusterIP }}"
{{- end }}

次のように変更する必要があります。

spec:
{{- if not .Values.controller.service.omitClusterIP }}
  {{ with .Values.controller.service.clusterIP }}clusterIP: {{ quote . }}{{ end }}
{{- end }}

こんにちは@bacongobbler 、値が提供されない場合でもclusterIP: ""てしまうので、値ファイルに完全にコメントアウトされた値clusterIP: ""方が良いと思います。 これにより、設定時にレンダリングされたマニフェストからそれが省略され、将来の頭痛の種を減らすことができます。 ただし、helm3を使用していて、現在のhelm状態にclusterIP: ""設定されている場合は、値ファイルにclusterIPアドレスをハードコーディングする必要があります。

この場合、 --set controller.service.omitClusterIP=true機能するのもこのためです。

TL; DRは、サービステンプレートでこれを行いません。

clusterIP: ""

それ以外の場合、HelmはサービスのclusterIPを自動生成されたIPアドレスから空の文字列に変更しようとするため、エラーメッセージが表示されます。

お役に立てれば！

@bacongobblerさん、 type: ClusterIPを使用しますが、 ClusterIPをまったく省略すると、次のようになります。

Error: UPGRADE FAILED: failed to replace object: Service "dummy" is invalid: spec.clusterIP: Invalid value: "": field is immutable

ヘルムテンプレートにspec.clusterIP:がありませんが、ヘルム2to3を介してリリースを移行した後、このエラーが発生しました

サービステンプレート：

apiVersion: v1
kind: Service
metadata:
  name: {{ .Release.Name }}
  labels:
    app: {{ .Values.image.name }}
    chart: {{ .Chart.Name }}-{{ .Chart.Version | replace "+" "-" }}
    cluster: {{ default "unknown" .Values.cluster }}
    region: {{ default "unknown" .Values.region }}
    datacenter: {{ default "unknown" .Values.datacenter }}
    release: {{ .Release.Name }}
    heritage: {{ .Release.Service }}
spec:
  type: ClusterIP
  ports:
    - port: {{ .Values.service.port }}
      targetPort: {{ .Values.service.port }}
      protocol: TCP
      name: http
  selector:
    app: {{ .Values.image.name }}
    release: {{ .Release.Name }}

ここでも同じ問題があります。 問題は、サービスに触れていないということです。 アップグレード前に変更されたのはIngressです。

helm upgrade --installから--forceフラグを削除し、不変フィールドに触れない場合は、不変フィールドを持つリソースに影響します。すべてが正常に機能します。 しかし、あなたがリソースのバンプアピバージョンが必要な場合は??? リソースを再作成する必要がありますが、helm3はリソースをアップグレードしません。
@bacongobbler ^^^

helm3による新しいapiVersionでhpaを更新しようとしました。
Error: UPGRADE FAILED: rendered manifests contain a new resource that already exists. Unable to continue with update: existing resource conflict: kind: HorizontalPodAutoscaler, namespace: stage, name: dummy-stage

@bacongobblerと@ kritcher722の親指をclusterIP: ""を含めることをお勧めします。

Microsoftはプロジェクトのメンターのようです。 スタイルが見えます。 :)

再開してください。 問題は修正されていません。 nasseemkullahによって提案されたこの「ハック」は適切ではありません。 人々に頭をジャンプするように頼まないでください。 修正するだけです。 移行パスが非常に貧弱です。 ヘルムは吸う。

@antonakv今年を始めるにはどうですか:)
チャートで構成可能な値としてclusterIPを提供する場合、一般的に私たちは火遊びをしていると思います。特に1つのツール/人/ PRを完全に非難することはできません。
clusterIPを構成可能な値にする必要がある場合、デフォルトではレンダリングされたテンプレートに含めるべきではありません。これは、 https：//github.com/helm/charts/blob/270172836fd8cf56d787cf7d04d938856de0c794/stableのように値ファイルにコメントアウトするという考え方です

これは、私が間違っていなければ、その変更の時点でチャートをインストールする人にとって、将来の頭痛の種を防ぐはずです。 しかし、以前にインストールしてからhelm3に移行したことがある私たち（私自身を含む）の場合、値ファイルの現在のclusterIP値をハードコードするか、チャートをアンインストールして再インストールする（ダウンタイムが発生する）のが唯一のオプションです。見る。

意見は私自身のものです。私は舵取りに取り組むためにお金を払っていません。あなたのようなエンドユーザーだけです。 このフルタイムで働くためにお金を払っている人は、より多くの洞察を提供することができるかもしれません。

明けましておめでとうございます！ 舵をあきらめないでください、一緒に私たちはそれをより良くすることができます。

@bacongobblerさん、 type: ClusterIPを使用しますが、 ClusterIPをまったく省略すると、次のようになります。

Error: UPGRADE FAILED: failed to replace object: Service "dummy" is invalid: spec.clusterIP: Invalid value: "": field is immutable

ヘルムテンプレートにspec.clusterIP:がありませんが、ヘルム2to3を介してリリースを移行した後、このエラーが発生しました

サービステンプレート：

apiVersion: v1
kind: Service
metadata:
  name: {{ .Release.Name }}
  labels:
    app: {{ .Values.image.name }}
    chart: {{ .Chart.Name }}-{{ .Chart.Version | replace "+" "-" }}
    cluster: {{ default "unknown" .Values.cluster }}
    region: {{ default "unknown" .Values.region }}
    datacenter: {{ default "unknown" .Values.datacenter }}
    release: {{ .Release.Name }}
    heritage: {{ .Release.Service }}
spec:
  type: ClusterIP
  ports:
    - port: {{ .Values.service.port }}
      targetPort: {{ .Values.service.port }}
      protocol: TCP
      name: http
  selector:
    app: {{ .Values.image.name }}
    release: {{ .Release.Name }}

同じ問題があります。 チャートではclusterIPをまったく定義しておらず、最終的なテンプレートには存在しません。 ただし、同じエラーが発生し、 --forceフラグのみが発生します。

同じ問題が発生しています：

apiVersion: v1
kind: Service
{{ include "mde.metadata" $ }}
spec:
  ports:
  - name: {{ include "mde.portName" $ | quote }}
    port: {{ include "mde.port" $ }}
    protocol: TCP
    targetPort: {{ include "mde.port" $ }}
  selector:
    app: {{ include "mde.name" $ }}
  sessionAffinity: None
  type: ClusterIP

spec.clusterIPはサービステンプレートの一部ではありませんが、Helm 3.0.2とhelm upgrade ... --force --install呼び出しを使用すると、次のように表示されます。

エラー：アップグレードに失敗しました：オブジェクトの置き換えに失敗しました：サービス "ダミー"が無効です：spec.clusterIP：無効な値： ""：フィールドは不変です

再度開いてください。

@ tomcruise81 --forceのスレッドについては、 https： //github.com/helm/helm/issues/7350を参照してください。 その結果、同じエラーが発生しますが、これはkubectl replaceがどのように機能しているかが原因です。 これは、ここで説明しているものとは別の問題であり、これはサービスclusterIPsに関係し、3ウェイマージパッチ戦略（ helm upgradeなし--forceフラグ）。

@ bacongobbler-迅速な対応と説明に感謝します。 見つめている：

https://github.com/helm/helm/blob/a963736f6675e972448bf7a5fd141628fd0ae4df/pkg/kube/client.go#L405 -L411

https://github.com/kubernetes/cli-runtime/blob/master/pkg/resource/helper.go#L155 -L181を利用している場合、 helper.Replaceへの呼び出しはそうではないようですkubectl replace -f ... --forceと同じです（最後の--forceに注意してください）。

これは多くの混乱があるところだと思います。

私はhelm upgrade ... --force期待を知っており、それはkubectl replace -f ... --forceと同じことをするという代替戦略を使用しています。

@bacongobblerさん、 type: ClusterIPを使用しますが、 ClusterIPをまったく省略すると、次のようになります。
Error: UPGRADE FAILED: failed to replace object: Service "dummy" is invalid: spec.clusterIP: Invalid value: "": field is immutable
ヘルムテンプレートにspec.clusterIP:がありませんが、ヘルム2to3を介してリリースを移行した後、このエラーが発生しました
サービステンプレート：

apiVersion: v1
kind: Service
metadata:
  name: {{ .Release.Name }}
  labels:
    app: {{ .Values.image.name }}
    chart: {{ .Chart.Name }}-{{ .Chart.Version | replace "+" "-" }}
    cluster: {{ default "unknown" .Values.cluster }}
    region: {{ default "unknown" .Values.region }}
    datacenter: {{ default "unknown" .Values.datacenter }}
    release: {{ .Release.Name }}
    heritage: {{ .Release.Service }}
spec:
  type: ClusterIP
  ports:
    - port: {{ .Values.service.port }}
      targetPort: {{ .Values.service.port }}
      protocol: TCP
      name: http
  selector:
    app: {{ .Values.image.name }}
    release: {{ .Release.Name }}

同じ問題があります。 チャートではclusterIPをまったく定義しておらず、最終的なテンプレートには存在しません。 ただし、同じエラーが発生し、 --forceフラグのみが発生します。

また、リリースマニフェストにclusterIPがないことも確認しました。

$ helm get manifest paywall-api-ee | grep clusterIP
$

ここでも同じです- ClusterIPどこにも定義していませんが、それでもエラーが表示されます

これをもう少しいじって、私はそれを観察しました：

• helm upgrade ... --force --install -結果は_サービス "ダミー"はです_
• helm template ... | kubectl apply -f - -動作します
• helm template ... | kubectl replace -f - -結果は_サービス "ダミー"はです_
• helm template ... | kubectl replace --force -f - -動作します

kubectlバージョン-1.14.6
ヘルムバージョン-3.0.2

@ tomcruise81 helmプラグイン2to3を使用して、helm2からhelm3リリースに移行し、以前に使用した場合は--forceを削除できます。
それは私たちのための仕事です。
私に関しては、他の人のように見えます--forceは誤動作をしており、私と同じように不変のフィールドでこのケースを処理する必要があります

@ alexandrsemak-推薦してくれてありがとう。 私の例では、helm3を使用してのみインストールまたはアップグレードされたチャートにこれが表示されています。

私にとっても同じ問題です！ 使用する

$ helm install my-release xxxxx
$ helm upgrade --install --force my-release xxxxx

私の場合、チャートで使用されているサービスのいずれにもClusterIPを定義していませんが、同じ問題に直面しています（以下の仕様を参照）。

spec:
  type: {{ .Values.service.type }}
  {{- if and (eq .Values.service.type "LoadBalancer") (not (empty .Values.service.loadBalancerIP)) }}
  loadBalancerIP: {{ .Values.service.loadBalancerIP }}
  {{- end }}
  ports:
    - name: htttp-XXX
      port: {{ .Values.service.port }}
      targetPort: XXX
      {{- if and (or (eq .Values.service.type "NodePort") (eq .Values.service.type "LoadBalancer")) (not (empty .Values.service.nodePort)) }}
      nodePort: {{ .Values.service.nodePort }}
      {{- else if eq .Values.service.type "ClusterIP" }}
      nodePort: null
      {{- end }}
  selector:
    app.kubernetes.io/name: XXX
    app.kubernetes.io/instance: {{ .Release.Name }}

他のユーザーが以前に言ったように、その理由は、KubernetesがサービスにクラスターIPを最初に自動割り当てし（例： clusterIP: 10.96.26.65 ）、アップグレードしようとするとclusterIP: ""と競合するためです。 テンプレートではこれを生成していないことに注意してください： clusterIP: ""

この@bacongobblerを再度開いてください

同じ問題があります。

@ juan131 @Ronsevet ： remove -- force意味が変わりました。

カスタムチャートで同じ問題に直面しています。
clusteripはどこにも定義していません。
ヘルムv3.0.2
kubectl 1.14.8

問題は、ポッドが作成されて実行されていても、チャートが失敗した状態のままになることがあることです。 同じリリースをアップグレードしようとすると、強制的に機能しません。
ポッドが実行されているため、リリースを削除して再作成することはできません。
「力」を使う方法が必要です

私も同じです-サービスにラベルを追加したところ、このエラーが発生しました。 また、ClusterIPをどこにも定義していません-問題を再度開いてください

@bacongobblerチャートの一部としてStorageClassesをデプロイしており、StorageClassのパラメーターは不変です。 したがって、次のリリースでは、いくつかのStorageClassパラメーターの値を更新すると、 helm upgrade --forceも失敗します。
StorageClassesの更新でこのケースを処理する方法がわかりません。 助言がありますか？

Error: UPGRADE FAILED: failed to replace object: StorageClass.storage.k8s.io "ibmc-s3fs-standard-cross-region" is invalid: parameters: Forbidden: updates to parameters are forbidden.

helm upgrade --force StorageClassの強制削除と再作成に使用されたため、helmV2では正常に機能していました。

https://github.com/helm/helm/issues/6378#issuecomment -557746499に記載されている説明の結果ではない症状が発生している場合は、新しい問題を開いて、調査結果と再現方法を教えてください。私たちの側でそれ？

OPによって発生した問題は、チャートがインストール時にClusterIPを空の文字列に設定する上記のシナリオが原因でした。 --forceフラグを使用して言及した他のシナリオなど、この特定のケースが発生する可能性のある他のシナリオが存在する可能性は十分にあります。 診断と解決策は以前に提供されたアドバイスとは異なる可能性があるため、これらのケースは個別に議論する必要があります。

ありがとう！

@mssachanは、ユースケースについて＃7082と＃ helm install —forceの動作に似たkubectl replace —forceを実装することを目的としています。

@mssachanは、ユースケースについて＃7082と＃ helm install —forceの動作に似たkubectl replace —forceを実装することを目的としています。

これが起こっているのは良いことです。 --forceフラグを省略しても、チャートをアップグレードするときにエラーが発生します。 たとえば、 cert-manager ：

2020-03-05 12:15:19 CRITICAL: Command returned [ 1 ] exit code and error message [ Error: UPGRADE FAILED: cannot patch "cert-manager-cainjector" with kind Deployment: Deployment.apps "cert-manager-cainjector" is invalid: spec.selector: Invalid value: v1.LabelSelector{MatchLabels:map[string]string{"app":"cainjector", "app.kubernetes.io/instance":"cert-manager", "app.kubernetes.io/managed-by":"Helm", "app.kubernetes.io/name":"cainjector"}, MatchExpressions:[]v1.LabelSelectorRequirement(nil)}: field is immutable && cannot patch "cert-manager" with kind Deployment: Deployment.apps "cert-manager" is invalid: spec.selector: Invalid value: v1.LabelSelector{MatchLabels:map[string]string{"app":"cert-manager", "app.kubernetes.io/instance":"cert-manager", "app.kubernetes.io/managed-by":"Helm", "app.kubernetes.io/name":"cert-manager"}, MatchExpressions:[]v1.LabelSelectorRequirement(nil)}: field is immutable && cannot patch "cert-manager-webhook" with kind Deployment: Deployment.apps "cert-manager-webhook" is invalid: spec.selector: Invalid value: v1.LabelSelector{MatchLabels:map[string]string{"app":"webhook", "app.kubernetes.io/instance":"cert-manager", "app.kubernetes.io/managed-by":"Helm", "app.kubernetes.io/name":"webhook"}, MatchExpressions:[]v1.LabelSelectorRequirement(nil)}: field is immutable

@mssachanは、ユースケースについて＃7082と＃ helm install —forceの動作に似たkubectl replace —forceを実装することを目的としています。

これが起こっているのは良いことです。 --forceフラグを省略しても、チャートをアップグレードするときにエラーが発生します。 たとえば、 cert-manager ：

2020-03-05 12:15:19 CRITICAL: Command returned [ 1 ] exit code and error message [ Error: UPGRADE FAILED: cannot patch "cert-manager-cainjector" with kind Deployment: Deployment.apps "cert-manager-cainjector" is invalid: spec.selector: Invalid value: v1.LabelSelector{MatchLabels:map[string]string{"app":"cainjector", "app.kubernetes.io/instance":"cert-manager", "app.kubernetes.io/managed-by":"Helm", "app.kubernetes.io/name":"cainjector"}, MatchExpressions:[]v1.LabelSelectorRequirement(nil)}: field is immutable && cannot patch "cert-manager" with kind Deployment: Deployment.apps "cert-manager" is invalid: spec.selector: Invalid value: v1.LabelSelector{MatchLabels:map[string]string{"app":"cert-manager", "app.kubernetes.io/instance":"cert-manager", "app.kubernetes.io/managed-by":"Helm", "app.kubernetes.io/name":"cert-manager"}, MatchExpressions:[]v1.LabelSelectorRequirement(nil)}: field is immutable && cannot patch "cert-manager-webhook" with kind Deployment: Deployment.apps "cert-manager-webhook" is invalid: spec.selector: Invalid value: v1.LabelSelector{MatchLabels:map[string]string{"app":"webhook", "app.kubernetes.io/instance":"cert-manager", "app.kubernetes.io/managed-by":"Helm", "app.kubernetes.io/name":"webhook"}, MatchExpressions:[]v1.LabelSelectorRequirement(nil)}: field is immutable

@ sc250024ヘルムv2をv3にアップグレードした後、まったく同じ問題が発生します。 アップグレードの進行はスムーズでエラーはありませんでした。その後、cert-managerをhelmからアップグレードしようとしましたが、同じ出力で失敗しました。

# helm upgrade cert-manager jetstack/cert-manager --namespace cert-manager --atomic --cleanup-on-fail

# helm version
version.BuildInfo{Version:"v3.1.1", GitCommit:"afe70585407b420d0097d07b21c47dc511525ac8", GitTreeState:"clean", GoVersion:"go1.13.8"}

--forceが使用されていない場合、またはclusterIP周りにオプションが設定されていない場合の回避策。 これは私のサービスマニフェストです：

apiVersion: v1
kind: Service
metadata:
  name: "{{ .Values.deploymentBaseName }}-{{ .Values.skaffoldUser }}"
  labels:
    name: "{{ .Values.deploymentBaseName }}-{{ .Values.skaffoldUser }}"
spec:
  ports:
    - port: {{ .Values.servicePort }}
      targetPort: {{ .Values.containerPort }}
      protocol: TCP
      name: http
    - name: debugger-http
      port: {{ .Values.debuggerPort }}
      targetPort: {{ .Values.debuggerPort }}
      protocol: TCP
  selector:
    app: "{{ .Values.deploymentBaseName }}-{{ .Values.skaffoldUser }}"
  type: ClusterIP

@davidfernandezmこれに対する解決策を見つけたことがありますか？ 私の側でも同じことがわかり、私のサービスはあなたのサービスとまったく同じように定義されています。 clusterIPオプションは設定されていませんが、Helmはアップグレードに失敗します。

こっちも一緒

これも取得して、上記の2つのコメントを再確認してください。

詳細情報を提供してください。 原因や、この問題がどのように発生するかを理解せずにお手伝いすることはできません。 ありがとう。

@antonakvこの問題は7956と重複しています
@bacongobbler詳細

helm update --installコマンドで--forceオプションを使用すると、helm v3.0.0-rc.2でサービスタイプまたはclusterIPを設定しなくても、同じ問題が発生します。 --forceがないと、正常に機能します

涼しい！ 私はあなたの答えからインスピレーションを得ました。helmfileyamlのforce: ..行にコメントする必要があります。

helmDefaults:
  tillerless: true
  verify: false
  wait: true
  timeout: 600
  # force: true <---- THI ONE IS COMMENTED

それは動作します🎉

私は上記のすべてを試しましたが、どれもうまくいきませんでした。 チャートからnginx-ingressを無効にし、アップグレードを実行し、再度有効にしてから、再度アップグレードする必要がありました。 これにより、クラウドプロバイダーによって割り当てられたIPアドレスが変更されましたが、害はありませんでした。

helm update --installコマンドで--forceオプションを使用すると、helm v3.0.0-rc.2でサービスタイプまたはclusterIPを設定しなくても、同じ問題が発生します。 --forceがないと、正常に機能します

最善の解決策、それは私のために働きます、ありがとう！

同じ問題が発生しており、回避策を見つけることができませんでした。
再現するのはとても簡単です

helm install in stable/inbucket 
helm upgrade in stable/inbucket 
Error: UPGRADE FAILED: cannot patch "in-inbucket" with kind Service: Service "in-inbucket" is invalid: spec.clusterIP: Invalid value: "": field is immutable

なぜ私は思っていた--force 、ここでは動作しません、それが想定されていないforce resource updates through a replacement strategyこれは、サービスを除去交換する必要があり、交換の戦略がある場合は？

@bacongobbler https://github.com/helm/helm/issues/7956を確認した後、このスレッドに

以前のすべてのコメント投稿者と同様に、テンプレートには「clusterIP」がまったくありませんが、-forceフラグが使用されている場合、最新のHelmではエラーが発生します。

ヘルムバージョン：3.4.1

「helm-nkube-system getmanifest CHART_NAME | grepclusterIP」は結果を表示しません。

エラー：
field is immutable && failed to replace object: Service "SERVICE_NAME" is invalid: spec.clusterIP: Invalid value: "": field is immutable

https://github.com/helm/helm/issues/6378#issuecomment -557746499で提供されているのと同じ説明が、@ nick4fakeの場合にも当てはまります。 違いは、 --forceを使用すると、完全にレンダリングされたマニフェストを取得して、現在のライブオブジェクトを強制的に上書きするようにKubernetesに要求していることです。 マニフェストにはclusterIPフィールドが含まれていないため、Kubernetesはそれを取得し、ライブオブジェクトからclusterIPフィールドを削除しようとしていると想定します。したがって、エラーInvalid value: "": field is immutable ます。

@bacongobblerここで何かを見逃してしまったら、本当に申し訳ありません

「テンプレートの出力を変更することをお勧めします。値としてclusterIPが提供されていない場合は、値を空の文字列に設定しないでください...フィールドを完全に省略してください。」

それで、解決策は何ですか？ これは、clusterIPフィールドが静的な値に設定されていない場合、「-force」フラグをまったく使用できないことを意味しますか？

Kubernetesに関する限り、はい。

私の理解によると、これはKubernetesの問題です。これは、「強制的に上書きする」ことは「削除して再作成する」ことと同じように動作しないためです。 アップストリームのバグはありますか？

一方、Helmも誤解を招く可能性があります。これは、 --forceが「置換戦略を通じてリソースの更新を強制する」と説明されているためです。 実際には置換は行われませんが、リソースを強制的に上書きしようとするだけです（フラグに--force-overwriteという名前を付ける方がよいでしょう）。 強制的な置換は、削除して再作成するように見えます（フラグ--force-recreateがある可能性があります）。 もちろん、 --force-recreateリソースに使用するのは少し危険かもしれませんが、常に成功します。

とにかく、Helmはそのようなタイプの問題に対するフォールバック回避策を実装することができます。 現在の動作（ --force-overwriteとして記述）が失敗し、不変のフィールドエラーを検出した場合、リソースを削除して再作成する必要があります（ --force-recreate ）。