<p>ヘルムのアップグレードがspec.clusterIPで失敗する：無効な値： ""：フィールドは不変です</p>

再現するのに十分な情報が提供されていません。 再現可能なチャートの作成方法と、使用したHelmコマンドを教えてください。

こんにちは、ここに再現手順があります
以下のように2つのサービスyamlファイルがあります。

nginx.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
  labels:
    app: nginx
spec:
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:1.14.2
        ports:
        - containerPort: 80

prometheus.yaml

apiVersion: apps/v1beta1
kind: Deployment
metadata:
  name: prometheus
spec:
  template:
    metadata:
      labels:
        app: prometheus
    spec:
      containers:
      - image: prom/prometheus
        name: prometheus
        ports:
        - containerPort: 9090
        imagePullPolicy: Always
      hostname: prometheus
      restartPolicy: Always
---
apiVersion: v1
kind: Service
metadata:
  name: prometheus
spec:
  selector:
    app: prometheus
  clusterIP: None
  ports:
  - name: headless
    port: 9090
    targetPort: 0

次に、helm1 / templates /に2つのファイルを配置してインストールします。 これは、prometheusサービスがclusterIPを使用し、nginxバージョンが1.14.2であることを示しています

# helm upgrade --install test helm1
Release "test" does not exist. Installing it now.
NAME: test
LAST DEPLOYED: Tue Apr 21 20:42:55 2020
NAMESPACE: default
STATUS: deployed
REVISION: 1
TEST SUITE: None

# kubectl get svc
NAME         TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)    AGE
kubernetes   ClusterIP   10.96.0.1    <none>        443/TCP    35d
prometheus   ClusterIP   None         <none>        9090/TCP   7s

# kubectl describe deployment nginx |grep Image
    Image:        nginx:1.14.2

次に、nginx.yamlのセクションを新しいバージョン1.16に更新します

        image: nginx:1.16

そしてprometheus.yamlをLoadBalancerに変更します。

spec:
  selector:
    app: prometheus
  ports:
  - name: "9090"
    port: 9090
    protocol: TCP
    targetPort: 9090
  type: LoadBalancer

次に、それらをhelm2として配置し、アップグレードを実行します。 次に、アップグレードでいくつかのエラーがスローされることがわかりますが、nginxサービスは新しいバージョンにアップグレードすることで通過しますが、プロメテウスはまだクラスターIPを使用しているため、アップグレードされません。

# helm upgrade --install test helm2
Error: UPGRADE FAILED: cannot patch "prometheus" with kind Service: Service "prometheus" is invalid: spec.clusterIP: Invalid value: "": field is immutable

# kubectl get svc
NAME         TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)    AGE
kubernetes   ClusterIP   10.96.0.1    <none>        443/TCP    35d
prometheus   ClusterIP   None         <none>        9090/TCP   5m34s

# kubectl describe deployment nginx |grep Image
    Image:        nginx:1.16

ヘルムリストは

# helm list
NAME    NAMESPACE   REVISION    UPDATED                                 STATUS  CHART                                       APP VERSION
test    default     2           2020-04-21 20:48:20.133644429 -0700 PDT failed  

ヘルムの歴史

# helm history test
REVISION    UPDATED                     STATUS      CHART       APP VERSION DESCRIPTION                                                                                                                                               
1           Tue Apr 21 20:42:55 2020    deployed    helm-helm   1.0.0.6     Install complete                                                                                                                                          
2           Tue Apr 21 20:48:20 2020    failed      helm-helm   1.0.0.6     Upgrade "test" failed: cannot patch "prometheus" with kind Service: Service "prometheus" is invalid: spec.clusterIP: Invalid value: "": field is immutable

v3.2.0でも同じ動作があり、v3.1.3へのダウングレードは一時的な修正です

Helm 2-> 3の移行で、これがたくさんあります。 変換されたリリースを初めてアップグレードしようとすると、これがたくさん発生します。 これは、これまでのNginx Ingress、Prometheus Operator、Graylog、およびJaegerチャート用です。 それらのほとんどは、サービスを削除してHelmに再作成させるだけで満足していますが、NginxIngressの場合これはオプションではありません...

私の場合の問題を説明しているこのhttps://github.com/helm/helm/issues/6378#issuecomment-557746499を見つけました。

＃6378の複製として締めくくります。 @cablespaghettiは、この動作のより深い説明を見つけました。これは非常に詳細に説明されています。

それがうまくいかない場合はお知らせください。

@GaramNickなぜダウングレードでこれが修正されるのですか？ ダウングレードによって修正された「何」について詳しく説明していただけますか？

@bacongobblerあなたがここにいる間。 リリースを削除して再デプロイせずにこの状況を修正する方法はありますか？ ヘルム2または3でそれを行う方法はないようです。既存のリリースデータをハックしたいので、ヘルムはclusterIPが常に省略されていると考え、パッチは必要ありません。

kubectl editを試しましたか？

同じ問題があり、 3.1.3ダウングレードすると、問題が修正されました。 私の推測では、これはCreateであり、更新ではなく、空に設定しようとしていることを考慮して、 https：//github.com/helm/helm/pull/7649/commits/d829343c1514db17bee7a90624d06cdfbffde963の新しいロジックに関係していると思います。 IPと入力されたものを再利用しない

興味深い発見。 調査していただきありがとうございます。

@jlegroneこれを調べる時間があるかもしれませんか？

@bacongobbler CI / CDパイプラインは、Helmを使用して、ClusterIPタイプのサービスを含むアプリケーションを更新します。 コマンド：

helm upgrade --install --force \
        --wait \
        --set image.repository="$CI_REGISTRY_IMAGE" \
        --set image.tag="$CI_COMMIT_REF_NAME-$CI_COMMIT_SHA" \
        --set image.pullPolicy=IfNotPresent \
        --namespace="$KUBE_NAMESPACE" \
        "$APP_NAME" \
        ./path/to/charts/

v3.2.0では、このコマンドはService "service-name" is invalid: spec.clusterIP: Invalid value: "": field is immutable失敗します

v3.1.3では、これは正常に機能します。

さらに詳しい情報が必要な場合はお知らせください。

こっちも一緒。 次のservice.yamlがhelm2で何ヶ月も正常に動作していました。
移行後、helm 3.2 helm upgradeコマンドが上記の保存エラーで失敗しました。 3.1.3にダウングレードすると解決しました。

apiVersion: v1
kind: Service
metadata:
  name: {{ .Values.global.name }}
  namespace: {{ index .Values.global.namespace .Values.global.env }}
  labels:
     microservice: {{ .Values.global.name }}
spec:
   type: ClusterIP
   ports:
   - port: 8080
   selector:
      microservice: {{ .Values.global.name }}

同じ問題があり、3.1.3にダウングレードすると修正されました。 私の推測では、これは更新ではなく作成であり、空のIPを設定しようとし、入力されたIPを再利用しないことを考慮して、d829343の新しいロジックに関係していると思います。

@ n1kooこれが問題の原因であると思う理由を説明できますか？ これはインストールコードであり、アップグレードコードではないため、3.1のcreateあり、機能します。

@adamreeseで問題を確認していますが、 @ n1kooが特定したパッチであると_ 。 Createメソッドは、サービスの通常の3方向差分をバイパスします。これにより、サービスのclusterIPがKubernetesによって入力された値ではなく「」に設定されます。 その結果、APIサーバーに送信されたマニフェストはクラスターIPをリセットしているように見えますが、これはサービスでは違法です（ユーザーが意図したものではありません）。

これについてはまだ調査中です。詳細がわかり次第、更新します。

したがって、 https： //github.com/helm/helm/issues/6378#issuecomment-557746499は正しいです。 この問題を続行する前に、それをお読みください。 clusterIP: ""が設定されている場合、KubernetesはIPを割り当てます。 次のHelmアップグレードで、 clusterIP:""再度実行すると、IPをリセットしようとしているように見えるため、上記のエラーが発生します。 （はい、Kubernetesはサービスのspec:セクションを変更します！）

Createメソッドが3方向の差分をバイパスする場合、Kubernetesによって割り当てられたIPアドレスに設定する代わりに、 clusterIP: ""を設定します。

再現するには：

$ helm create issue7956
$ # edit issue7956/templates/service.yaml and add `clusterIP: ""` under `spec:`
$ helm upgrade --install issue7956 issue7956
...
$ helm upgrade issue7956 issue7956
Error: UPGRADE FAILED: cannot patch "issue-issue7956" with kind Service: Service "issue-issue7956" is invalid: spec.clusterIP: Invalid value: "": field is immutable

2回目にアップグレードを実行すると、失敗します。

@IdanAdarのケースをmaster再現できません。

@GaramNickは、エラーを再現するために使用しているサービスに関する十分な情報がありません。

私の状況：
version.BuildInfo{Version:"v3.2.0", GitCommit:"e11b7ce3b12db2941e90399e874513fbd24bcb71", GitTreeState:"clean", GoVersion:"go1.13.10"}
また、w /でテスト済み
version.BuildInfo{Version:"v3.2.1", GitCommit:"fe51cd1e31e6a202cba7dead9552a6d418ded79a", GitTreeState:"clean", GoVersion:"go1.13.10"}

次のサービステンプレートが与えられます。

apiVersion: v1
kind: Service
metadata:
  name: {{ include "app.fullname" . }}
  labels:
    {{- include "app.labels" . | nindent 4 }}
  annotations:
    getambassador.io/config: |
      ---
      apiVersion: ambassador/v1
      kind: Mapping
      name: {{ include "app.fullname" . }}_mapping
      prefix: /{{ include "app.fullname" . }}
      host: "^{{ include "app.fullname" . }}.*"
      host_regex: true
      service: {{ include "app.fullname" . }}.{{ .Release.Namespace }}
      rewrite: ""
      timeout_ms: 60000
      bypass_auth: true
      cors:
        origins: "*"
        methods: POST, GET, OPTIONS
        headers:
        - Content-Type
        - Authorization
        - x-client-id
        - x-client-secret
        - x-client-trace-id
        - x-flow-proto
      ---
      apiVersion: ambassador/v1
      kind: Mapping
      name: {{ include "app.fullname" . }}_swagger_mapping
      ambassador_id: corp
      prefix: /swagger
      host: "^{{ include "app.fullname" . }}.corp.*"
      host_regex: true
      service: {{ include "app.fullname" . }}.{{ .Release.Namespace }}
      rewrite: ""
      bypass_auth: true
      cors:
        origins: "*"
        methods: POST, GET, OPTIONS
        headers:
        - Content-Type
        - x-client-id
        - x-client-secret
        - Authorization
        - x-flow-proto
  namespace: {{ .Release.Namespace }}
spec:
  type: {{ .Values.service.type }}
  selector:
    {{- include "app.selectorLabels" . | nindent 4 }}
  ports:
  - port: {{ .Values.service.port }}
    name: http-rest-hub
    targetPort: http-rest
  - port: {{ .Values.service.healthPort }}
    name: http-health
    targetPort : http-health

これにより、 upgrade --install後に次のようになります。

apiVersion: v1
kind: Service
metadata:
  annotations:
    getambassador.io/config: |
      ---
      apiVersion: ambassador/v1
      kind: Mapping
      name: hub-alt-bor_mapping
      prefix: /hub-alt-bor
      host: "^hub-alt-bor.*"
      host_regex: true
      service: hub-alt-bor.brett
      rewrite: ""
      timeout_ms: 60000
      bypass_auth: true
      cors:
        origins: "*"
        methods: POST, GET, OPTIONS
        headers:
        - Content-Type
        - Authorization
        - x-client-id
        - x-client-secret
        - x-client-trace-id
        - x-flow-proto
      ---
      apiVersion: ambassador/v1
      kind: Mapping
      name: hub-alt-bor_swagger_mapping
      ambassador_id: corp
      prefix: /swagger
      host: "^hub-alt-bor.corp.*"
      host_regex: true
      service: hub-alt-bor.brett
      rewrite: ""
      bypass_auth: true
      cors:
        origins: "*"
        methods: POST, GET, OPTIONS
        headers:
        - Content-Type
        - x-client-id
        - x-client-secret
        - Authorization
        - x-flow-proto
    meta.helm.sh/release-name: alt-bor
    meta.helm.sh/release-namespace: brett
  creationTimestamp: ...
  labels:
    app: hub
    app.kubernetes.io/instance: alt-bor
    app.kubernetes.io/managed-by: Helm
    app.kubernetes.io/name: hub
    app.kubernetes.io/version: v1.6.0-rc.26
    deploy.xevo.com/stackname: bor-v0.1-test
    helm.sh/chart: hub-0.0.4
    owner: gateway
    ownerSlack: TODOunknown
  name: hub-alt-bor
  namespace: brett
  resourceVersion: ...
  selfLink: ...
  uid: ...
spec:
  clusterIP: 172.20.147.13
  ports:
  - name: http-rest-hub
    port: 80
    protocol: TCP
    targetPort: http-rest
  - name: http-health
    port: 90
    protocol: TCP
    targetPort: http-health
  selector:
    app.kubernetes.io/instance: alt-bor
    app.kubernetes.io/name: hub
  sessionAffinity: None
  type: ClusterIP
status:
  loadBalancer: {}

次に、バージョン0.0.5およびupgrade --installとまったく同じチャートを再度アップロードすると、次のようになります。
Error: UPGRADE FAILED: failed to replace object: Service "hub-alt-bor" is invalid: spec.clusterIP: Invalid value: "": field is immutable

唯一の違いは、 helm.sh/chartラベルの値であり、現在はhub-0.0.5値になっています。

これは巨大なブロッカーです。

@GaramNickは、エラーを再現するために使用しているサービスに関する十分な情報がありません。

@technosophos何が必要ですか？ 詳細をお知らせします。

更新！ helm upgrade --install w / --forceを使用している場合にのみ、更新は失敗します。 ブロッカーが減りました。

ああ！ それは面白いね。 これにより、エラーの追跡が容易になります。

こんにちは@ technosophos @ bacongobbler同じ2つの問題があります：

version.BuildInfo{Version:"v3.2.1", GitCommit:"fe51cd1e31e6a202cba7dead9552a6d418ded79a", GitTreeState:"clean", GoVersion:"go1.13.10"}

1. 問題
   clusterIPないServiceテンプレートがありますが、kubernetesはclusterIP自動的に割り当てます。

apiVersion: v1
kind: Service
metadata:
  name: {{ .Release.Name }}
  labels:
    app: {{ .Values.image.name }}
    release: {{ .Release.Name }}
spec:
  type: ClusterIP
  ports:
    - port: {{ .Values.service.port }}
      targetPort: {{ .Values.service.port }}
      protocol: TCP
      name: http
  selector:
    app: {{ .Values.image.name }}
    release: {{ .Release.Name }}

helm 2to3 convertを使用してhelm 3に移行した後、同じリリースhelm3 upgrade --install --forceアップグレードしてみてください。

failed to replace object: Service "dummy-stage" is invalid: spec.clusterIP: Invalid value: "": field is immutable

--forceなしで同じことをする場合-> helm3 upgrade --installエラーなしで正常に動作します。

1. 問題
   --forceない不変フィールドであるDeploymentのspec.selector.matchLabelsを変更したい場合、エラーが発生します。

cannot patch "dummy-stage" with kind Deployment: Deployment.apps "dummy-stage" is invalid: spec.selector: Invalid value: v1.LabelSelector{MatchLabels:map[string]string{"app.kubernetes.io/name":"web-nerf-dummy-app"}, MatchExpressions:[]v1.LabelSelectorRequirement(nil)}: field is immutable

--force同じことをすると、エラーが発生します。

failed to replace object: Deployment.apps "dummy-stage" is invalid: spec.selector: Invalid value: v1.LabelSelector{MatchLabels:map[string]string{"app.kubernetes.io/name":"web-nerf-dummy-app"}, MatchExpressions:[]v1.LabelSelectorRequirement(nil)}: field is immutable

--forceに対してhelm 2と同じ動作を実装することは可能ですか？エラーなしで不変のファイルをアップグレードできるからですか？

apiVersion: v1
kind: Service
metadata:
  name: zipkin-proxy
  namespace: monitoring
spec:
  ports:
  - port: 9411
    targetPort: 9411
  selector:
    app: zipkin-proxy
  type: ClusterIP

---

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: zipkin-proxy
  namespace: monitoring
spec:
  replicas: {{ .Values.zipkinProxy.replicaCount }}
  template:
    metadata:
      labels:
        app: zipkin-proxy
      annotations:
        prometheus.io/scrape: 'true'
    spec:
      containers:
      - image: {{ .Values.image.repository }}/zipkin-proxy
        name: zipkin-proxy
        env:
        - name: STORAGE_TYPE
          value: stackdriver

helm upgrade -i --debug --force --namespace monitoring zipkin-proxy --values ./values.yaml.tmp .

forceオプションを削除してみました。 v3.1.3、v3.2.0、v3.2.1でも同じ問題を試しました。

スタックトレース

history.go:52: [debug] getting history for release zipkin-proxy
upgrade.go:84: [debug] preparing upgrade for zipkin-proxy
upgrade.go:92: [debug] performing update for zipkin-proxy
upgrade.go:234: [debug] creating upgraded release for zipkin-proxy
client.go:163: [debug] checking 2 resources for changes
client.go:195: [debug] error updating the resource "zipkin-proxy":
         cannot patch "zipkin-proxy" with kind Service: Service "zipkin-proxy" is invalid: spec.clusterIP: Invalid value: "": field is immutable
client.go:403: [debug] Looks like there are no changes for Deployment "zipkin-proxy"
upgrade.go:293: [debug] warning: Upgrade "zipkin-proxy" failed: cannot patch "zipkin-proxy" with kind Service: Service "zipkin-proxy" is invalid: spec.clusterIP: Invalid value: "": field is immutable
Error: UPGRADE FAILED: cannot patch "zipkin-proxy" with kind Service: Service "zipkin-proxy" is invalid: spec.clusterIP: Invalid value: "": field is immutable
helm.go:75: [debug] cannot patch "zipkin-proxy" with kind Service: Service "zipkin-proxy" is invalid: spec.clusterIP: Invalid value: "": field is immutable
helm.sh/helm/v3/pkg/kube.(*Client).Update
        /home/circleci/helm.sh/helm/pkg/kube/client.go:208
helm.sh/helm/v3/pkg/action.(*Upgrade).performUpgrade
        /home/circleci/helm.sh/helm/pkg/action/upgrade.go:248
helm.sh/helm/v3/pkg/action.(*Upgrade).Run
        /home/circleci/helm.sh/helm/pkg/action/upgrade.go:93
main.newUpgradeCmd.func1
        /home/circleci/helm.sh/helm/cmd/helm/upgrade.go:137
github.com/spf13/cobra.(*Command).execute
        /go/pkg/mod/github.com/spf13/[email protected]/command.go:826
github.com/spf13/cobra.(*Command).ExecuteC
        /go/pkg/mod/github.com/spf13/[email protected]/command.go:914
github.com/spf13/cobra.(*Command).Execute
        /go/pkg/mod/github.com/spf13/[email protected]/command.go:864
main.main
        /home/circleci/helm.sh/helm/cmd/helm/helm.go:74
runtime.main
        /usr/local/go/src/runtime/proc.go:203
runtime.goexit
        /usr/local/go/src/runtime/asm_amd64.s:1357
UPGRADE FAILED
main.newUpgradeCmd.func1
        /home/circleci/helm.sh/helm/cmd/helm/upgrade.go:139
github.com/spf13/cobra.(*Command).execute
        /go/pkg/mod/github.com/spf13/[email protected]/command.go:826
github.com/spf13/cobra.(*Command).ExecuteC
        /go/pkg/mod/github.com/spf13/[email protected]/command.go:914
github.com/spf13/cobra.(*Command).Execute
        /go/pkg/mod/github.com/spf13/[email protected]/command.go:864
main.main
        /home/circleci/helm.sh/helm/cmd/helm/helm.go:74
runtime.main
        /usr/local/go/src/runtime/proc.go:203
runtime.goexit
        /usr/local/go/src/runtime/asm_amd64.s:1357

Helm Chartのバージョンが変更され、既存の展開がある場合、この問題が発生します。

HelmV3.2.0の使用

3.1.2へのダウングレードが機能することを確認できます。

@ gor181どうすればそれを再現できますか？ 3.2で壊れたが、3.1で動作したものは何ですか？ チャート（または少なくともsvcテンプレート）とコマンドは、何が変更されたかを把握できるようにするために必要なものです。

@azarudeena @ alexandrsemak-両方にとって、 --forceフラグがこれを引き起こしている原因です。 --forceを削除した場合、アップグレードは機能しますか？

@technosophosは力なしで試しましたが機能しませんでした。 3.1.2で試すことを計画している

@azarudeena問題を再現するための一連の手順を提供していただけますか？ サービスとデプロイメントテンプレートの出力をいくつか示しましたが、出力がわからないvalues.yaml.tmpもChart.yamlも参照しました。

問題を再現するために使用できるサンプルチャートを提供していただけますか？

@bacongobbler構造を共有しています。

Chart.yaml

apiVersion: v1
description: Deploys Stackdriver Trace Zipkin Proxy
name: zipkin-proxy
version: 1.0.0

テンプレートyamlを上に配置しました。

私の値yaml.tmpは以下の通りです

zipkinProxy:
  replicaCount: 1

image:
  repository: openzipkin/zipkin

ヘルムパッケージとしてパッケージ化します--versionアップグレードで同じものを使用します。 これが機能するかどうか教えてください。 3.1.2で試してみたら、ここで更新します

編集

3.1.2および3.1.1にダウングレードしてみました。 まだこれにパッチを当てることはできません。

私は同じ問題に直面しましたが、テラフォームヘルムプロバイダーを介してヘルムチャートをアップグレードしました。
force_update = trueをforce_update = false後、エラーはなくなりました。

Helm Chartのバージョンが変更され、既存の展開がある場合、この問題が発生します。

HelmV3.2.0の使用

--forceフラグを無効にすると機能します。

@technosophos --force 、helm3に移行するときにClusterIPの問題を解決します。helm2はhelm3がアップグレードするときにClusterIPをアップグレードしようとしないためです。
Helm 3は、 matchLabelsとして提出された不変の問題を解決できません

Kubernetesはサービスのspec:セクションを変更します

これは、根本的なKubernetesの設計上の欠陥と見なす必要がありますか？ https://kubernetes.io/docs/concepts/services-networking/service/#choosing -your-own-ip-addressは、この動作について言及していません。 割り当てられた値がstatusセクションに配置されることを期待していました。

（ Podの.spec.nodeNameにも同様の動作がありますが、Helmユーザーに影響を与える可能性はほとんどありません。）

v3.2.3：-forceで失敗し、-forceなしで渡されます。 チャートテンプレートにClusterIP:がありません。 https://github.com/helm/helm/pull/8000/filesで修正されるはずだったと思い

upgrade.go:121: [debug] preparing upgrade for eos-eve-srv-d1
upgrade.go:129: [debug] performing update for eos-eve-srv-d1
upgrade.go:308: [debug] creating upgraded release for eos-eve-srv-d1
client.go:173: [debug] checking 6 resources for changes
client.go:432: [debug] Replaced "eos-eve-srv-d1-fsnode" with kind ServiceAccount for kind ServiceAccount
client.go:432: [debug] Replaced "eos-eve-srv-d1-fsnode-imagepullsecret" with kind Secret for kind Secret
client.go:432: [debug] Replaced "eos-eve-srv-d1-fsnode-config" with kind ConfigMap for kind ConfigMap
client.go:205: [debug] error updating the resource "eos-eve-srv-d1-fsnode":
         failed to replace object: Service "eos-eve-srv-d1-fsnode" is invalid: spec.clusterIP: Invalid value: "": field is immutable
client.go:432: [debug] Replaced "eos-eve-srv-d1-fsnode" with kind Deployment for kind Deployment
client.go:432: [debug] Replaced "eos-eve-srv-d1-fsnode" with kind Ingress for kind Ingress
upgrade.go:367: [debug] warning: Upgrade "eos-eve-srv-d1" failed: failed to replace object: Service "eos-eve-srv-d1-fsnode" is invalid: spec.clusterIP: Invalid value: "": field is immutable
Error: UPGRADE FAILED: failed to replace object: Service "eos-eve-srv-d1-fsnode" is invalid: spec.clusterIP: Invalid value: "": field is immutable
helm.go:84: [debug] failed to replace object: Service "eos-eve-srv-d1-fsnode" is invalid: spec.clusterIP: Invalid value: "": field is immutable
helm.sh/helm/v3/pkg/kube.(*Client).Update
        /private/tmp/helm-20200608-50972-gq0j1j/src/helm.sh/helm/pkg/kube/client.go:218
helm.sh/helm/v3/pkg/action.(*Upgrade).performUpgrade
        /private/tmp/helm-20200608-50972-gq0j1j/src/helm.sh/helm/pkg/action/upgrade.go:322
helm.sh/helm/v3/pkg/action.(*Upgrade).Run
        /private/tmp/helm-20200608-50972-gq0j1j/src/helm.sh/helm/pkg/action/upgrade.go:130
main.newUpgradeCmd.func1
        /private/tmp/helm-20200608-50972-gq0j1j/src/helm.sh/helm/cmd/helm/upgrade.go:144
github.com/spf13/cobra.(*Command).execute
        /private/tmp/helm-20200608-50972-gq0j1j/pkg/mod/github.com/spf13/[email protected]/command.go:842
github.com/spf13/cobra.(*Command).ExecuteC
        /private/tmp/helm-20200608-50972-gq0j1j/pkg/mod/github.com/spf13/[email protected]/command.go:950
github.com/spf13/cobra.(*Command).Execute
        /private/tmp/helm-20200608-50972-gq0j1j/pkg/mod/github.com/spf13/[email protected]/command.go:887
main.main
        /private/tmp/helm-20200608-50972-gq0j1j/src/helm.sh/helm/cmd/helm/helm.go:83
runtime.main
        /usr/local/Cellar/[email protected]/1.13.12/libexec/src/runtime/proc.go:203
runtime.goexit
        /usr/local/Cellar/[email protected]/1.13.12/libexec/src/runtime/asm_amd64.s:1357
UPGRADE FAILED
main.newUpgradeCmd.func1
        /private/tmp/helm-20200608-50972-gq0j1j/src/helm.sh/helm/cmd/helm/upgrade.go:146
github.com/spf13/cobra.(*Command).execute
        /private/tmp/helm-20200608-50972-gq0j1j/pkg/mod/github.com/spf13/[email protected]/command.go:842
github.com/spf13/cobra.(*Command).ExecuteC
        /private/tmp/helm-20200608-50972-gq0j1j/pkg/mod/github.com/spf13/[email protected]/command.go:950
github.com/spf13/cobra.(*Command).Execute
        /private/tmp/helm-20200608-50972-gq0j1j/pkg/mod/github.com/spf13/[email protected]/command.go:887
main.main
        /private/tmp/helm-20200608-50972-gq0j1j/src/helm.sh/helm/cmd/helm/helm.go:83
runtime.main
        /usr/local/Cellar/[email protected]/1.13.12/libexec/src/runtime/proc.go:203
runtime.goexit
        /usr/local/Cellar/[email protected]/1.13.12/libexec/src/runtime/asm_amd64.s:1357

私はこの問題を3.2.3観察していますが、 3.2.0観察していません。 力を無効にすることも、使用可能な回避策でした。

参考までに、OPによって提起された問題と、ここで提起された--forceに関するコメントは、個別の個別の問題です。 ここでOPの問題に焦点を当ててみましょう。

明確にするために、OPが説明している問題は、 https： //github.com/helm/helm/issues/7956#issuecomment-620749552で特定された潜在的なリグレッション@ n1kooです。 それは正当なバグのようです。

彼らのために働いている--forceの削除に言及している他のコメントは、Kubernetesの観点から意図的で予想される動作です。 --forceを使用すると、HelmにKubernetesに対してPUTリクエストを行うように要求します。 事実上、Kubernetesにターゲットマニフェスト（チャートでhelm upgradeからレンダリングされたテンプレート）を真理のソースとして取得し、クラスター内のリソースをレンダリングされたマニフェストで上書きするように要求しています。 これはkubectl apply --overwriteと同じです。

ほとんどの場合、テンプレートはクラスターIPを指定していません。つまり、 helm upgrade --forceはサービスのクラスターIPを削除（または変更）するように要求しています。 これは、Kubernetesの観点からは違法な操作です。

これは＃7082にも記載されています。

これが--force削除が機能する理由でもあります。HelmはPATCH操作を行い、ライブ状態とは異なり、クラスターIPをパッチ適用されたマニフェストにマージし、アップグレード後もクラスターIPを保持します。

Helm 2で行われたように、オブジェクトを強制的に削除して再作成する場合は、＃7431を参照してください。

これが物事を明らかにすることを願っています。

今後は、ここでOPの問題に焦点を当ててみましょう。

既知の回避策はありますか？ https://github.com/helm/charts/tree/master/stable/rabbitmq-haを1.34.1から1.46.4にアップグレードしようとしたときに、同じ問題に直面しました。 明らかに、 --forceまたはヘルムの3.1.3へのダウングレードは役に立ちませんでした。問題のサービスを削除すると、 helm upgradeが役に立ちました。

@EvgeniGordeevこれは、わずかなダウンタイムでうまくいった

これもnginxincのイングレスチャートでヒットしました。 通常は--forceを使用します。

この問題はまだ開いているので、これに対処するための何らかの修正の計画はありますか、それともこれは設計どおりに機能していると見なされますか（これと同じ動作で開かれた他の問題と区別するのは難しいです）？ これはチャート自体の問題であり、 clusterIP: ""は使用せず、代わりに値を完全に省略する必要があるという説明を1つ読みました。

これは、チャート開発者と一緒に追いかけるべきものですか？

@ cdunford-提案されたhttps://github.com/helm/helm/issues/7956#issuecomment-643432099のように、 --force使用を停止するように修正することを提案しました。

このPRは、この問題にも対処できます：＃7431（そのコメントでも提案されています）...

この問題はN回発生し、パイプラインでも--forceフラグを使用しています。

元の問題はhelm2に付随していたので、helm2でも修正されますか？ @bacongobbler

@bacongobbler 「力」を提供することは、それを取り除くかダウングレードすることが役立つ場合、なぜ問題とは異なると言うのですか？

つまり、Helm 3.3.4、 https：//artifacthub.io/packages/helm/bitnami/nginxチャートで問題が発生したばかりで、値は変更されていません。 GCP / GKE、Azure / AKS、AWS / EKSの3つの異なるクラウドでテストされましたが、3つすべてで失敗しました。

Helmを3.1.3にダウングレードした直後に動作し、「-force」フラグなしで3.3.4にも動作しました。

以前のコメントで、ユーザーにこのエラーが表示される可能性のある2つの別個の固有のケースがあることをかなり明確にしたと思いました。 1つはOPの場合です。 もう1つは、-forceの使用によるものです。 ここではOPの問題に焦点を当てています。

OPと同じ問題が発生している人々を尊重するため、このスレッドのハイジャックをやめて--forceについて話してください。 OPの問題を解決する方法について話し合っています。 OPが説明した問題とは関係のないトピックについて話したい場合は、新しいチケットを開くか、以前に行った提案を確認してください。

ヘルム2のこれを修正することに関して@tibetsam ：いいえ。 Helm 2のバグ修正は提供されなくなりました。詳細については、 https：//helm.sh/blog/helm-v2-deprecation-timeline/を参照してください。

ジュピサーハブヘルムチャートでOPの問題を再現できたと思います。
うまくいけば、以下の手順で、問題を再現することができます。

重要
Jupyterhubヘルムチャートのサービス仕様にはspec.clusterIPフィールドが含まれていません。これは、たとえば、 https ： ます。 /jupyterhub/templates/hub/service.yaml#L17 -L29

私は問題を再現するために舵と種類を使用しています：

➜ helm version
version.BuildInfo{Version:"v3.4.0", GitCommit:"7090a89efc8a18f3d8178bf47d2462450349a004", GitTreeState:"clean", GoVersion:"go1.14.10"}

➜ kind version
kind v0.9.0 go1.15.2 linux/amd64

➜ kubectl version
Client Version: version.Info{Major:"1", Minor:"18", GitVersion:"v1.18.2", GitCommit:"52c56ce7a8272c798dbc29846288d7cd9fbae032", GitTreeState:"clean", BuildDate:"2020-04-16T11:56:40Z", GoVersion:"go1.13.9", Compiler:"gc", Platform:"linux/amd64"}
Server Version: version.Info{Major:"1", Minor:"19", GitVersion:"v1.19.1", GitCommit:"206bcadf021e76c27513500ca24182692aabd17e", GitTreeState:"clean", BuildDate:"2020-09-14T07:30:52Z", GoVersion:"go1.15", Compiler:"gc", Platform:"linux/amd64"}

再現する方法

1. 新しい種類のクラスターを作成する

kind create cluster

1. 次のコンテンツ（ランダムに生成された16進数）を含むconfig.yamlというファイルを作成します。

proxy:
  secretToken: "3a4bbf7405dfe1096ea2eb9736c0df299299f94651fe0605cfb1c6c5700a6786"

参考までに、ヘルムファイルのインストール手順に従っています（リンク）

1. ヘルムリポジトリを追加する

helm repo add jupyterhub https://jupyterhub.github.io/helm-chart/
helm repo update

1. チャートをインストールします（ --forceオプション付き）

RELEASE=jhub
NAMESPACE=jhub

helm upgrade --cleanup-on-fail --force \
  --install $RELEASE jupyterhub/jupyterhub \
  --namespace $NAMESPACE \
  --create-namespace \
  --version=0.9.0 \
  --values config.yaml

1. 手順5を繰り返します

エラー：

Error: UPGRADE FAILED: failed to replace object: PersistentVolumeClaim "hub-db-dir" is invalid: spec: Forbidden: spec is immutable after creation except resources.requests for bound claims
  core.PersistentVolumeClaimSpec{
        AccessModes:      []core.PersistentVolumeAccessMode{"ReadWriteOnce"},
        Selector:         nil,
        Resources:        core.ResourceRequirements{Requests: core.ResourceList{s"storage": {i: resource.int64Amount{value: 1073741824}, s: "1Gi", Format: "BinarySI"}}},
-       VolumeName:       "",
+       VolumeName:       "pvc-c614de5c-4749-4755-bd3a-6e603605c44e",
-       StorageClassName: nil,
+       StorageClassName: &"standard",
        VolumeMode:       &"Filesystem",
        DataSource:       nil,
  }
 && failed to replace object: Service "hub" is invalid: spec.clusterIP: Invalid value: "": field is immutable && failed to replace object: Service "proxy-api" is invalid: spec.clusterIP: Invalid value: "": field is immutable && failed to replace object: Service "proxy-public" is invalid: spec.clusterIP: Invalid value: "": field is immutable

私は舵取り3.3.4にいますが、これはまだ問題です

Helm 2.14.1の問題は、 --forceなしのいずれかで発生します

回避策： type.spec: NodePort切り替えると、ヘルムチャートのアップグレードが修正されました。

--forceフラグを使用したv3.4.1でも同じ問題が発生します。

@bacongobbler OPの問題（＃6378とは別）がハイジャックされないように

エラーメッセージ「エラー：アップグレードに失敗しました： _replace_ ...に失敗し_-- forceを

エラーメッセージ「エラー：アップグレードに失敗しました： _patch_できませ使用していませんか？ 再現方法をこの号に投稿してください。

@zpittmansf

helm3 upgrade concourse concourse/concourse -f temp.yaml  --force
Error: UPGRADE FAILED: failed to replace object: Service "concourse-web" is invalid: spec.clusterIP: Invalid value: "None": field is immutable && failed to replace object: Service "concourse-web-prometheus" is invalid: spec.clusterIP: Invalid value: "": field is immutable && failed to replace object: Service "concourse-web-worker-gateway" is invalid: spec.clusterIP: Invalid value: "": field is immutable

helm3 upgrade concourse concourse/concourse -f temp.yaml
Error: UPGRADE FAILED: cannot patch "concourse-web" with kind Service: Service "concourse-web" is invalid: spec.clusterIP: Invalid value: "None": field is immutable

Helm3.4.2でも同じ問題が発生しています。 デプロイメント、サービスアカウント、およびサービスを作成するヘルムチャートを実行します。 展開時にチャートの既存のラベルセットにラベルを追加しましたが、アップグレードを拒否しました。

helm upgrade test-whale charts/app-template/ --install --values values.yaml --namespace whale --force
Error: UPGRADE FAILED: failed to replace object: Service "test-whale" is invalid: spec.clusterIP: Invalid value: "": field is immutable && failed to replace object: Deployment.apps "test-whale-canary" is invalid: spec.selector: Invalid value: v1.LabelSelector{MatchLabels:map[string]string{"app":"test-whale", "app-id":"302040", "environment":"test", "version":"latest"}, MatchExpressions:[]v1.LabelSelectorRequirement(nil)}: field is immutable && failed to replace object: Deployment.apps "test-whale" is invalid: spec.selector: Invalid value: v1.LabelSelector{MatchLabels:map[string]string{"app":"test-whale", "app-id":"302040", "environment":"test", "version":"latest"}, MatchExpressions:[]v1.LabelSelectorRequirement(nil)}: field is immutable

基本的に、最初のヘルム展開を超えてラベルを追加することはできないようです。

ひどいように聞こえますが、Helmは特別な扱いを受ける「不変フィールド」のリストを実装できますか？

この場合、「不変フィールド」はサービスオブジェクトのspec.clusterIP -Helmはそれを不変と見なし、a）置き換えを試みない、b）削除を試みないようなAPIリクエストを生成します。 、c）更新しようとしないでください。

実際には、Helmは不変フィールドの現在の値を探し、その値をAPIリクエストのペイロードに含めます。 その結果、k8s APIサーバーは、Helmのリクエストを「OK、このフィールドを変更しようとはしていません」と見なします。

現在の状況では、Helmは特定のリソースの真実を保持していると想定しているため、Helmは特にサービスリソースに対して非常に信頼性が低くなっています。 これは、Helmが認識していないサーバー側の新しいプロパティをリソースが受け取った可能性があるため、この問題の問題につながる誤った仮定です。 したがって、Helmは、k8sに準拠する市民になるために、どのフィールドに特別な処理が必要かを知る必要があります。

PS。 また、 kubectlは、クライアント側で多くのロジックを実装しているため、 kubectlはこれらの暗黙的な要件で実行できます。

@ jbilliau-rcd

--forceを使用しないでください

@pre

三者マージで何かおかしなことが起こっていると思います。 おそらく、最後に適用された注釈が何らかの理由で不適切に記録されています。

私はそれを理解することになった。 どうやらDeploymentとポッドスペックでラベルを変更できますが、マッチセレクターでは変更できません...... Kubernetesはそれを好みません。 これは私には奇妙です。 たとえば、カナリア展開中にversion "v2"のポッドのみを選択するように展開を変更するには、他にどのような方法がありますか？ 現在、私にはそれを行う方法がないので、その部分で混乱しています。

ヘルムバージョン3.5.0にアップグレードすると、問題が解決しました。

ヘルムバージョン3.5.0にアップグレードすると、問題が解決しました。

どのくらい正確に？

ヘルムバージョン3.5.0にアップグレードすると、問題が解決しました。

Helmバージョン3.5.0はまだ機能しません。
しかし、 --forceなしで動作します。

ヘルム3.5.2でこれを打つ

--forceを削除しようとしましたが、それでも同じ問題が発生します。

Upgrade "gateway" failed: failed to replace object: Service "ingress"
    is invalid: spec.clusterIPs[0]: Invalid value: []string(nil): primary clusterIP
    can not be unset

これまでのところ、妥当な回避策が見つかりました- --reuse-valuesフラグ。 私の場合はうまくいきます。

3.5.2でもこの問題が発生し、-reuse-valuesの有無にかかわらず

3.5.3にもこれがあります：/