Kubernetes: 구역 불균형이있을 때 일부 노드는 스케줄링에서 고려되지 않습니다.

/ 시그 스케줄링

서버에서 검색된 노드, 데몬 셋, 예제 포드 및 포함하는 네임 스페이스의 전체 yaml을 제공 할 수 있습니까?

마디:
https://gist.github.com/zetaab/2a7e8d3fe6cb42a617e17abc0fa375f7

데몬 셋 :
https://gist.github.com/zetaab/31bb406c8bd622b3017bf4f468d0154f

예제 포드 (작동 중) :
https://gist.github.com/zetaab/814871bec6f2879e371f5bbdc6f2e978

예제 포드 (일정이 아님) :
https://gist.github.com/zetaab/f3488d65486c745af78dbe2e6173fd42

네임 스페이스 :
https://gist.github.com/zetaab/4625b759f4e21b50757c79e5072cd7d9

단일 노드와 만 일치하는 nodeAffinity 선택기로 DaemonSet pod 일정을 예약하므로 "13 개 중 12 개가 일치하지 않음"메시지가 예상됩니다.

스케줄러가 포드 / 노드 콤보에 만족하지 않는 이유를 알 수 없습니다. 포드 스펙에서 충돌 할 수있는 포트가없고 노드가 예약 불가능하거나 오염되지 않았으며 충분한 리소스가 있습니다.

좋습니다. 3 개의 스케줄러를 모두 다시 시작했습니다 (흥미로운 것을 볼 수 있으면 loglevel을 4로 변경했습니다). 그러나 문제가 해결되었습니다.

% kubectl get ds --all-namespaces
NAMESPACE     NAME                       DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR                     AGE
falco         falco-daemonset            13        13        13      13           13          <none>                            338d
kube-system   audit-webhook-deployment   3         3         3       3            3           node-role.kubernetes.io/master=   175d
kube-system   calico-node                13        13        13      13           13          kubernetes.io/os=linux            36d
kube-system   kops-controller            3         3         3       3            3           node-role.kubernetes.io/master=   194d
kube-system   metricbeat                 6         6         6       6            6           <none>                            36d
kube-system   openstack-cloud-provider   3         3         3       3            3           node-role.kubernetes.io/master=   338d
logging       fluent-bit                 13        13        13      13           13          <none>                            338d
monitoring    node-exporter              13        13        13      13           13          kubernetes.io/os=linux            59d
volume        csi-cinder-nodeplugin      6         6         6       6            6           <none>                            239d
weave         weave-scope-agent          13        13        13      13           13          <none>                            194d
weave         weavescope-iowait-plugin   6         6         6       6            6           <none>                            194d

이제 모든 데몬 셋이 올바르게 프로비저닝됩니다. 어쨋든 스케줄러에 문제가있는 것 같습니다.

cc @ kubernetes / sig-scheduling-bugs @ ahg-g

v1.18.3에서도 동일한 문제가 발생합니다. 하나의 노드를 데몬 셋 포드로 예약 할 수 없습니다.
다시 시작 스케줄러가 도움이됩니다.

[root@tesla-cb0434-csfp1-csfp1-control-03 ~]# kubectl get pod -A|grep Pending
kube-system   coredns-vc5ws                                                 0/1     Pending   0          2d16h
kube-system   local-volume-provisioner-mwk88                                0/1     Pending   0          2d16h
kube-system   svcwatcher-ltqb6                                              0/1     Pending   0          2d16h
ncms          bcmt-api-hfzl6                                                0/1     Pending   0          2d16h
ncms          bcmt-yum-repo-589d8bb756-5zbvh                                0/1     Pending   0          2d16h
[root@tesla-cb0434-csfp1-csfp1-control-03 ~]# kubectl get ds -A
NAMESPACE     NAME                       DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR                   AGE
kube-system   coredns                    3         3         2       3            2           is_control=true                 2d16h
kube-system   danmep-cleaner             0         0         0       0            0           cbcs.nokia.com/danm_node=true   2d16h
kube-system   kube-proxy                 8         8         8       8            8           <none>                          2d16h
kube-system   local-volume-provisioner   8         8         7       8            7           <none>                          2d16h
kube-system   netwatcher                 0         0         0       0            0           cbcs.nokia.com/danm_node=true   2d16h
kube-system   sriov-device-plugin        0         0         0       0            0           sriov=enabled                   2d16h
kube-system   svcwatcher                 3         3         2       3            2           is_control=true                 2d16h
ncms          bcmt-api                   3         3         0       3            0           is_control=true                 2d16h
[root@tesla-cb0434-csfp1-csfp1-control-03 ~]# kubectl get node
NAME                                  STATUS   ROLES    AGE     VERSION
tesla-cb0434-csfp1-csfp1-control-01   Ready    <none>   2d16h   v1.18.3
tesla-cb0434-csfp1-csfp1-control-02   Ready    <none>   2d16h   v1.18.3
tesla-cb0434-csfp1-csfp1-control-03   Ready    <none>   2d16h   v1.18.3
tesla-cb0434-csfp1-csfp1-edge-01      Ready    <none>   2d16h   v1.18.3
tesla-cb0434-csfp1-csfp1-edge-02      Ready    <none>   2d16h   v1.18.3
tesla-cb0434-csfp1-csfp1-worker-01    Ready    <none>   2d16h   v1.18.3
tesla-cb0434-csfp1-csfp1-worker-02    Ready    <none>   2d16h   v1.18.3
tesla-cb0434-csfp1-csfp1-worker-03    Ready    <none>   2d16h   v1.18.3

감소 방법을 모르면 디버깅하기가 어렵습니다. 팟 (Pod)을 예약하지 못한 것에 대한 스케줄러 로그가 있습니까?

알겠습니다. 스케줄러 3 개를 모두 다시 시작했습니다.

그중 하나만 default-scheduler 라고 가정합니다. 맞습니까?

흥미로운 것을 볼 수 있다면 loglevel을 4로 변경했습니다.

당신이 발견 한 것을 공유 할 수 있습니까?

loglevel을 9로 설정했지만 더 흥미로운 것은없는 것 같습니다. 아래 로그가 루핑됩니다.

I0601 01:45:05.039373       1 generic_scheduler.go:290] Preemption will not help schedule pod kube-system/coredns-vc5ws on any node.
I0601 01:45:05.039437       1 factory.go:462] Unable to schedule kube-system/coredns-vc5ws: no fit: 0/8 nodes are available: 7 node(s) didn't match node selector.; waiting
I0601 01:45:05.039494       1 scheduler.go:776] Updating pod condition for kube-system/coredns-vc5ws to (PodScheduled==False, Reason=Unschedulable)

그래 같은 줄 이상은 볼 수 없었어

no fit: 0/8 nodes are available: 7 node(s) didn't match node selector.; waiting

이상한 점은 https://github.com/kubernetes/kubernetes/issues/91340 에보고 된 문제와 같이 로그 메시지에 7 개의 노드에 대한 결과 만 표시된다는 것입니다.

/ cc @damemi

@ ahg-g 이것은 내가 거기에보고 한 것과 동일한 문제처럼 보입니다. 항상 오류를보고하지 않는 필터 플러그인이 있거나 추측 해야하는 경우 자동으로 실패하는 다른 조건이있는 것 같습니다.

내 문제에서 스케줄러를 다시 시작하면 수정되었습니다 (이 스레드에서도 언급했듯이 https://github.com/kubernetes/kubernetes/issues/91601#issuecomment-636360092).

내 것도 데몬 셋에 관한 것이기 때문에 이것이 중복이라고 생각합니다. 이 경우 https://github.com/kubernetes/kubernetes/issues/91340 에서 토론을 계속할 수 있습니다.

어쨌든 스케줄러에는 더 자세한 로깅 옵션이 필요하며, 수행하는 작업에 대한 로그가 없으면 이러한 문제를 디버깅 할 수 없습니다.

@zetaab +1, 스케줄러는 현재 로깅 기능을 크게 개선 할 수 있습니다. 그것은 제가 한동안 다루려고했던 업그레이드이고 마침내 여기에 문제를 열었습니다 : https://github.com/kubernetes/kubernetes/issues/91633

/양수인

나는 이것을 조사하고있다. 케이스 범위를 좁히는 데 도움이되는 몇 가지 질문입니다. 나는 아직 재생산하지 못했습니다.

• 먼저 생성 된 것은 무엇입니까 : 데몬 셋 또는 노드?
• 기본 프로필을 사용하고 있습니까?

• 익스텐더가 있습니까?

데몬 셋 이전에 노드가 생성되었습니다.
기본 프로필을 사용했다고 가정 해 보겠습니다. 어떤 프로필을 의미하며 확인하는 방법은 무엇입니까?
익스텐더가 없습니다.

    command:
    - /usr/local/bin/kube-scheduler
    - --address=127.0.0.1
    - --kubeconfig=/etc/kubernetes/kube-scheduler.kubeconfig
    - --profiling=false
    - --v=1

영향을 줄 수있는 또 다른 점은 디스크 성능이 etcd에 좋지 않다는 것입니다. etcd는 느린 작업에 대해 불평합니다.

예, 이러한 플래그는 스케줄러를 기본 프로필로 실행합니다. 계속 찾아 볼게요. 나는 여전히 번식 할 수 없었다.

여전히 아무것도 ... 영향을 줄 수 있다고 생각되는 다른 사용중인 것이 있습니까? 오염물, 항구, 기타 자원?

이와 관련하여 몇 가지 시도를했습니다. 문제가 발생하면 포드를 노드에 계속 예약 할 수 있습니다 (정의없이 또는 "nodeName"선택기를 사용하여).

Affinity / Antiaffinity를 사용하려고하면 포드가 노드에 예약되지 않습니다.

문제가있을 때 작업 :

apiVersion: v1
kind: Pod
metadata:
  creationTimestamp: null
  labels:
    run: nginx
  name: nginx
spec:
  nodeName: master-zone-3-1-1-test-cluster-k8s-local
  containers:
    - image: nginx
      name: nginx
      resources: {}
  dnsPolicy: ClusterFirst
  restartPolicy: Always

동시에 작동하지 않음 :

apiVersion: v1
kind: Pod
metadata:
  creationTimestamp: null
  labels:
    run: nginx
  name: nginx
spec:
  affinity:
    nodeAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
        nodeSelectorTerms:
          - matchExpressions:
              - key: kubernetes.io/hostname
                operator: In
                values:
                  - master-zone-3-1-1-test-cluster-k8s-local
  containers:
    - image: nginx
      name: nginx
      resources: {}
  dnsPolicy: ClusterFirst
  restartPolicy: Always

또한 후자의 경우에도 매우 흥미로 웠습니다.

Warning  FailedScheduling  4m37s (x17 over 26m)  default-scheduler  0/9 nodes are available: 8 node(s) didn't match node selector.
Warning  FailedScheduling  97s (x6 over 3m39s)   default-scheduler  0/8 nodes are available: 8 node(s) didn't match node selector.
Warning  FailedScheduling  53s                   default-scheduler  0/8 nodes are available: 8 node(s) didn't match node selector.
Warning  FailedScheduling  7s (x5 over 32s)      default-scheduler  0/9 nodes are available: 1 node(s) had taint {node-role.kubernetes.io/master: }, that the pod didn't tolerate, 7 node(s) didn't match node selector.

• 첫 번째 이벤트는 매니페스트가 방금 적용된 경우입니다 (예약 할 수없는 노드에는 아무 작업도 수행되지 않음).
• 두 번째와 세 번째는 kubectl로 노드를 제거한 후 다시 시작했을 때였습니다.
• 네 번째는 노드가 복구되었을 때 발생했습니다. 문제가있는 노드가 마스터이므로 노드가 거기에 가지 않았습니다 (하지만 노드가 이전 이벤트 3 개에서 발견되지 않았 음을 보여줍니다). 네 번째 이벤트에서 흥미로운 점은 하나의 노드에서 여전히 정보가 누락되어 있다는 것입니다. 이벤트는 0/9 개의 노드를 사용할 수 있지만 설명은 8 개에서만 제공됩니다.

"nodeName"은 선택기가 아닙니다. nodeName을 사용하면 스케줄링을 우회합니다.

네 번째는 노드가 복구되었을 때 발생했습니다. 문제가있는 노드가 마스터이므로 노드가 거기에 가지 않았습니다 (하지만 노드가 이전 이벤트 3 개에서 발견되지 않았 음을 보여줍니다). 네 번째 이벤트에서 흥미로운 점은 하나의 노드에서 여전히 정보가 누락되어 있다는 것입니다. 이벤트는 0/9 개의 노드를 사용할 수 있지만 설명은 8 개에서만 제공됩니다.

누락 된 노드에서 포드가 예약되지 않아야하는 이유는 마스터 였기 때문이라는 것입니다.

8 node(s) didn't match node selector 가 7로 이동하는 것을보고 있습니다.이 시점에서 노드가 제거되지 않았다고 가정합니다. 맞습니까?

"nodeName"은 선택기가 아닙니다. nodeName을 사용하면 스케줄링을 우회합니다.

"NodeName"은 해당 노드를 사용할 수 있으며 원할 경우 포드가 거기에 도착합니다. 따라서 노드가 포드를 시작할 수없는 것은 아닙니다.

네 번째는 노드가 복구되었을 때 발생했습니다. 문제가있는 노드가 마스터이므로 노드가 거기에 가지 않았습니다 (하지만 노드가 이전 이벤트 3 개에서 발견되지 않았 음을 보여줍니다). 네 번째 이벤트에서 흥미로운 점은 하나의 노드에서 여전히 정보가 누락되어 있다는 것입니다. 이벤트는 0/9 개의 노드를 사용할 수 있지만 설명은 8 개에서만 제공됩니다.

누락 된 노드에서 포드가 예약되지 않아야하는 이유는 마스터 였기 때문이라는 것입니다.

8 node(s) didn't match node selector 가 7로 이동하는 것을보고 있습니다.이 시점에서 노드가 제거되지 않았다고 가정합니다. 맞습니까?

테스트 클러스터에는 9 개의 노드가 있습니다. 3 명의 주인과 6 명의 노동자. 작동하지 않는 노드가 성공적으로 시작되기 전에 이벤트는 사용 가능한 모든 노드에 대한 정보를 알려줍니다. 0/8 nodes are available: 8 node(s) didn't match node selector. . 그러나 노드 선택자와 일치하는 노드가 나타 났을 때 이벤트는 0/9 nodes are available: 1 node(s) had taint {node-role.kubernetes.io/master: }, that the pod didn't tolerate, 7 node(s) didn't match node selector. 라고 말했습니다. 설명은 일치하지 않는 8 개가 있다고 말하지만 9 번째 (이전 이벤트에서 확인 됨)에 대해서는 아무 것도 말하지 않습니다.

따라서 이벤트 상태 :

• 첫 번째 이벤트 : 9 개의 노드 사용 가능, daemonset에서 오류 발견
• 2 차 및 3 차 이벤트 : 8 개 노드 사용 가능. 포드를 수신하지 않은 것이 다시 시작되었습니다.
• 네 번째 이벤트 : 9 개의 노드 사용 가능 (다시 시작된 노드가 시작됨).

마지막에 테스트 포드는 오염으로 인해 일치하는 노드에서 시작되지 않았지만 다른 이야기입니다.

"NodeName"은 해당 노드를 사용할 수 있으며 원할 경우 포드가 거기에 도착합니다. 따라서 노드가 포드를 시작할 수없는 것은 아닙니다.

노드 오버 커밋을 방지하는 것은 없지만 스케줄러는 없습니다. 따라서 이것은 실제로 많이 표시되지 않습니다.

마지막에 테스트 포드는 오염으로 인해 일치하는 노드에서 시작되지 않았지만 다른 이야기입니다.

내 질문은 : 9 번째 노드가 처음부터 오염 되었습니까? 나는 (1) 상태에 도달하기 위해 재현 가능한 단계 또는 (2) 버그가있을 수있는 위치를 찾으려고합니다.

내 질문은 : 9 번째 노드가 처음부터 오염 되었습니까? 나는 (1) 상태에 도달하기 위해 재현 가능한 단계 또는 (2) 버그가있을 수있는 위치를 찾으려고합니다.

예, 수신하지 않는 노드가 마스터이기 때문에이 경우에는 항상 오염이있었습니다. 그러나 우리는 주인과 노동자 모두에게 동일한 문제를 보았습니다.

여전히 문제가 어디에서 왔는지 알 수 없으며, 적어도 노드를 다시 만들고 노드를 다시 시작하면 문제가 해결되는 것 같습니다. 그러나 이것들은 문제를 고치는 약간 "어려운"방법입니다.

롱샷,하지만 다시 만나면 ... 표시되지 않는 노드에 지정된 포드가 있는지 확인할 수 있습니까?

가능한 시나리오를 생각하면서 질문을 게시하고 있습니다.

• 클러스터에 다른 마스터 노드가 있습니까?
• 익스텐더가 있습니까?

* Do you have other master nodes in your cluster?

모든 cluser에는 3 개의 마스터가 있습니다 (따라서 다시 시작하는 것이 쉽습니다).

* Do you have extenders?

아니.

오늘 주목 한 한 가지 흥미로운 점은 하나의 마스터가 DaemonSet에서 포드를받지 못하는 클러스터가 있다는 것입니다. 작업자 노드 중 하나를 종료 한 ChaosMonkey가 사용 중입니다. 흥미 롭습니다. 이것은 포드를 이전에받지 않은 마스터에게로 이동하도록 만들었습니다. 그래서 어떻게 든 문제가있는 노드가 아닌 다른 노드를 제거하면 그 시점에서 문제가 해결되는 것처럼 보였습니다.

그 "수정"때문에 나는 지명 된 포드에 대해 대답 할 수 있도록 문제가 다시 발생할 때까지 기다려야합니다.

지금 혼란 스러워요 ... 데몬 셋이 마스터 노드에 대한 오염을 허용합니까? 다시 말해서 ... 당신의 버그는 단지 스케줄링 이벤트입니까, 아니면 포드가 스케줄링되어야한다는 사실입니까?

문제는 적어도 하나의 일치 선호도 (또는 반 친화도) 설정이 있어도 스케줄러에서 해당 노드를 찾을 수 없다는 것입니다.

그렇기 때문에 taint 오류가 예상되며 첫 번째 이벤트에 이미 있어야한다고 말했습니다 (taint는 선호도 기준의 일부가 아니므로).

알겠습니다. 내가 누락 된 것이 없는지 확인하기 위해 설정을 확인하려고했습니다.

스케줄러에 의해 노드가 "보이지 않는다"고 생각하지 않습니다. 0/9 nodes are available 이 표시되면 노드가 실제로 캐시에 있다는 결론을 내릴 수 있습니다. 예상치 못한 이유가 어딘가에서 잃어버린 것과 비슷하므로 이벤트에 포함하지 않습니다.

사실, 총 개수는 항상 실제 노드 개수와 일치합니다. 더 설명적인 이벤트 텍스트가 모든 노드에 제공되는 것은 아니지만 언급했듯이 별도의 문제가 될 수 있습니다.

kube-scheduler 로그를 볼 수 있습니까? 관련이있는 것 같은데?

@zetaab이 성공하지 않고 그것을

가능하면 1.18.5도 실행하여 실수로 문제를 해결 한 경우를 대비하십시오.

더 이상 로그가 필요한 경우 테스트 클러스터에서 안정적으로 재현 할 수 있습니다.

@dilyevsky 재현 단계를 공유하십시오. 실패한 필터가 무엇인지 어떻게 든 식별 할 수 있습니까?

ds 포드에 대한 노드의 metadata.name 인 것 같습니다. 이상합니다. pod yaml은 다음과 같습니다.

apiVersion: v1
kind: Pod
metadata:
  annotations:
    scheduler.alpha.kubernetes.io/critical-pod: ""
  creationTimestamp: "2020-07-09T23:17:53Z"
  generateName: cilium-
  labels:
    controller-revision-hash: 6c94db8bb8
    k8s-app: cilium
    pod-template-generation: "1"
  managedFields:
    # managed fields crap
  name: cilium-d5n4f
  namespace: kube-system
  ownerReferences:
  - apiVersion: apps/v1
    blockOwnerDeletion: true
    controller: true
    kind: DaemonSet
    name: cilium
    uid: 0f00e8af-eb19-4985-a940-a02fa84fcbc5
  resourceVersion: "2840"
  selfLink: /api/v1/namespaces/kube-system/pods/cilium-d5n4f
  uid: e3f7d566-ee5b-4557-8d1b-f0964cde2f22
spec:
  affinity:
    nodeAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
        nodeSelectorTerms:
        - matchFields:
          - key: metadata.name
            operator: In
            values:
            - us-central1-dilyevsky-master-qmwnl
  containers:
  - args:
    - --config-dir=/tmp/cilium/config-map
    command:
    - cilium-agent
    env:
    - name: K8S_NODE_NAME
      valueFrom:
        fieldRef:
          apiVersion: v1
          fieldPath: spec.nodeName
    - name: CILIUM_K8S_NAMESPACE
      valueFrom:
        fieldRef:
          apiVersion: v1
          fieldPath: metadata.namespace
    - name: CILIUM_FLANNEL_MASTER_DEVICE
      valueFrom:
        configMapKeyRef:
          key: flannel-master-device
          name: cilium-config
          optional: true
    - name: CILIUM_FLANNEL_UNINSTALL_ON_EXIT
      valueFrom:
        configMapKeyRef:
          key: flannel-uninstall-on-exit
          name: cilium-config
          optional: true
    - name: CILIUM_CLUSTERMESH_CONFIG
      value: /var/lib/cilium/clustermesh/
    - name: CILIUM_CNI_CHAINING_MODE
      valueFrom:
        configMapKeyRef:
          key: cni-chaining-mode
          name: cilium-config
          optional: true
    - name: CILIUM_CUSTOM_CNI_CONF
      valueFrom:
        configMapKeyRef:
          key: custom-cni-conf
          name: cilium-config
          optional: true
    image: docker.io/cilium/cilium:v1.7.6
    imagePullPolicy: IfNotPresent
    lifecycle:
      postStart:
        exec:
          command:
          - /cni-install.sh
          - --enable-debug=false
      preStop:
        exec:
          command:
          - /cni-uninstall.sh
    livenessProbe:
      exec:
        command:
        - cilium
        - status
        - --brief
      failureThreshold: 10
      initialDelaySeconds: 120
      periodSeconds: 30
      successThreshold: 1
      timeoutSeconds: 5
    name: cilium-agent
    readinessProbe:
      exec:
        command:
        - cilium
        - status
        - --brief
      failureThreshold: 3
      initialDelaySeconds: 5
      periodSeconds: 30
      successThreshold: 1
      timeoutSeconds: 5
    resources: {}
    securityContext:
      capabilities:
        add:
        - NET_ADMIN
        - SYS_MODULE
      privileged: true
    terminationMessagePath: /dev/termination-log
    terminationMessagePolicy: File
    volumeMounts:
    - mountPath: /var/run/cilium
      name: cilium-run
    - mountPath: /host/opt/cni/bin
      name: cni-path
    - mountPath: /host/etc/cni/net.d
      name: etc-cni-netd
    - mountPath: /var/lib/cilium/clustermesh
      name: clustermesh-secrets
      readOnly: true
    - mountPath: /tmp/cilium/config-map
      name: cilium-config-path
      readOnly: true
    - mountPath: /lib/modules
      name: lib-modules
      readOnly: true
    - mountPath: /run/xtables.lock
      name: xtables-lock
    - mountPath: /var/run/secrets/kubernetes.io/serviceaccount
      name: cilium-token-j74lr
      readOnly: true
  dnsPolicy: ClusterFirst
  enableServiceLinks: true
  hostNetwork: true
  initContainers:
  - command:
    - /init-container.sh
    env:
    - name: CILIUM_ALL_STATE
      valueFrom:
        configMapKeyRef:
          key: clean-cilium-state
          name: cilium-config
          optional: true
    - name: CILIUM_BPF_STATE
      valueFrom:
        configMapKeyRef:
          key: clean-cilium-bpf-state
          name: cilium-config
          optional: true
    - name: CILIUM_WAIT_BPF_MOUNT
      valueFrom:
        configMapKeyRef:
          key: wait-bpf-mount
          name: cilium-config
          optional: true
    image: docker.io/cilium/cilium:v1.7.6
    imagePullPolicy: IfNotPresent
    name: clean-cilium-state
    resources: {}
    securityContext:
      capabilities:
        add:
        - NET_ADMIN
      privileged: true
    terminationMessagePath: /dev/termination-log
    terminationMessagePolicy: File
    volumeMounts:
    - mountPath: /var/run/cilium
      name: cilium-run
    - mountPath: /var/run/secrets/kubernetes.io/serviceaccount
      name: cilium-token-j74lr
      readOnly: true
  priority: 2000001000
  priorityClassName: system-node-critical
  restartPolicy: Always
  schedulerName: default-scheduler
  securityContext: {}
  serviceAccount: cilium
  serviceAccountName: cilium
  terminationGracePeriodSeconds: 1
  tolerations:
  - operator: Exists
  - effect: NoExecute
    key: node.kubernetes.io/not-ready
    operator: Exists
  - effect: NoExecute
    key: node.kubernetes.io/unreachable
    operator: Exists
  - effect: NoSchedule
    key: node.kubernetes.io/disk-pressure
    operator: Exists
  - effect: NoSchedule
    key: node.kubernetes.io/memory-pressure
    operator: Exists
  - effect: NoSchedule
    key: node.kubernetes.io/pid-pressure
    operator: Exists
  - effect: NoSchedule
    key: node.kubernetes.io/unschedulable
    operator: Exists
  - effect: NoSchedule
    key: node.kubernetes.io/network-unavailable
    operator: Exists
  volumes:
  - hostPath:
      path: /var/run/cilium
      type: DirectoryOrCreate
    name: cilium-run
  - hostPath:
      path: /opt/cni/bin
      type: DirectoryOrCreate
    name: cni-path
  - hostPath:
      path: /etc/cni/net.d
      type: DirectoryOrCreate
    name: etc-cni-netd
  - hostPath:
      path: /lib/modules
      type: ""
    name: lib-modules
  - hostPath:
      path: /run/xtables.lock
      type: FileOrCreate
    name: xtables-lock
  - name: clustermesh-secrets
    secret:
      defaultMode: 420
      optional: true
      secretName: cilium-clustermesh
  - configMap:
      defaultMode: 420
      name: cilium-config
    name: cilium-config-path
  - name: cilium-token-j74lr
    secret:
      defaultMode: 420
      secretName: cilium-token-j74lr
status:
  conditions:
  - lastProbeTime: null
    lastTransitionTime: "2020-07-09T23:17:53Z"
    message: '0/6 nodes are available: 5 node(s) didn''t match node selector.'
    reason: Unschedulable
    status: "False"
    type: PodScheduled
  phase: Pending
  qosClass: BestEffort

이를 재현하는 방법은 3 개의 마스터와 3 개의 작업자 노드 (클러스터 API 사용)로 새 클러스터를 회전시키고 Cilium 1.7.6을 적용하는 것입니다.

---
# Source: cilium/charts/agent/templates/serviceaccount.yaml
apiVersion: v1
kind: ServiceAccount
metadata:
  name: cilium
  namespace: kube-system
---
# Source: cilium/charts/operator/templates/serviceaccount.yaml
apiVersion: v1
kind: ServiceAccount
metadata:
  name: cilium-operator
  namespace: kube-system
---
# Source: cilium/charts/config/templates/configmap.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: cilium-config
  namespace: kube-system
data:

  # Identity allocation mode selects how identities are shared between cilium
  # nodes by setting how they are stored. The options are "crd" or "kvstore".
  # - "crd" stores identities in kubernetes as CRDs (custom resource definition).
  #   These can be queried with:
  #     kubectl get ciliumid
  # - "kvstore" stores identities in a kvstore, etcd or consul, that is
  #   configured below. Cilium versions before 1.6 supported only the kvstore
  #   backend. Upgrades from these older cilium versions should continue using
  #   the kvstore by commenting out the identity-allocation-mode below, or
  #   setting it to "kvstore".
  identity-allocation-mode: crd

  # If you want to run cilium in debug mode change this value to true
  debug: "false"

  # Enable IPv4 addressing. If enabled, all endpoints are allocated an IPv4
  # address.
  enable-ipv4: "true"

  # Enable IPv6 addressing. If enabled, all endpoints are allocated an IPv6
  # address.
  enable-ipv6: "false"

  # If you want cilium monitor to aggregate tracing for packets, set this level
  # to "low", "medium", or "maximum". The higher the level, the less packets
  # that will be seen in monitor output.
  monitor-aggregation: medium

  # The monitor aggregation interval governs the typical time between monitor
  # notification events for each allowed connection.
  #
  # Only effective when monitor aggregation is set to "medium" or higher.
  monitor-aggregation-interval: 5s

  # The monitor aggregation flags determine which TCP flags which, upon the
  # first observation, cause monitor notifications to be generated.
  #
  # Only effective when monitor aggregation is set to "medium" or higher.
  monitor-aggregation-flags: all

  # ct-global-max-entries-* specifies the maximum number of connections
  # supported across all endpoints, split by protocol: tcp or other. One pair
  # of maps uses these values for IPv4 connections, and another pair of maps
  # use these values for IPv6 connections.
  #
  # If these values are modified, then during the next Cilium startup the
  # tracking of ongoing connections may be disrupted. This may lead to brief
  # policy drops or a change in loadbalancing decisions for a connection.
  #
  # For users upgrading from Cilium 1.2 or earlier, to minimize disruption
  # during the upgrade process, comment out these options.
  bpf-ct-global-tcp-max: "524288"
  bpf-ct-global-any-max: "262144"

  # bpf-policy-map-max specified the maximum number of entries in endpoint
  # policy map (per endpoint)
  bpf-policy-map-max: "16384"

  # Pre-allocation of map entries allows per-packet latency to be reduced, at
  # the expense of up-front memory allocation for the entries in the maps. The
  # default value below will minimize memory usage in the default installation;
  # users who are sensitive to latency may consider setting this to "true".
  #
  # This option was introduced in Cilium 1.4. Cilium 1.3 and earlier ignore
  # this option and behave as though it is set to "true".
  #
  # If this value is modified, then during the next Cilium startup the restore
  # of existing endpoints and tracking of ongoing connections may be disrupted.
  # This may lead to policy drops or a change in loadbalancing decisions for a
  # connection for some time. Endpoints may need to be recreated to restore
  # connectivity.
  #
  # If this option is set to "false" during an upgrade from 1.3 or earlier to
  # 1.4 or later, then it may cause one-time disruptions during the upgrade.
  preallocate-bpf-maps: "false"

  # Regular expression matching compatible Istio sidecar istio-proxy
  # container image names
  sidecar-istio-proxy-image: "cilium/istio_proxy"

  # Encapsulation mode for communication between nodes
  # Possible values:
  #   - disabled
  #   - vxlan (default)
  #   - geneve
  tunnel: vxlan

  # Name of the cluster. Only relevant when building a mesh of clusters.
  cluster-name: default

  # DNS Polling periodically issues a DNS lookup for each `matchName` from
  # cilium-agent. The result is used to regenerate endpoint policy.
  # DNS lookups are repeated with an interval of 5 seconds, and are made for
  # A(IPv4) and AAAA(IPv6) addresses. Should a lookup fail, the most recent IP
  # data is used instead. An IP change will trigger a regeneration of the Cilium
  # policy for each endpoint and increment the per cilium-agent policy
  # repository revision.
  #
  # This option is disabled by default starting from version 1.4.x in favor
  # of a more powerful DNS proxy-based implementation, see [0] for details.
  # Enable this option if you want to use FQDN policies but do not want to use
  # the DNS proxy.
  #
  # To ease upgrade, users may opt to set this option to "true".
  # Otherwise please refer to the Upgrade Guide [1] which explains how to
  # prepare policy rules for upgrade.
  #
  # [0] http://docs.cilium.io/en/stable/policy/language/#dns-based
  # [1] http://docs.cilium.io/en/stable/install/upgrade/#changes-that-may-require-action
  tofqdns-enable-poller: "false"

  # wait-bpf-mount makes init container wait until bpf filesystem is mounted
  wait-bpf-mount: "false"

  masquerade: "true"
  enable-xt-socket-fallback: "true"
  install-iptables-rules: "true"
  auto-direct-node-routes: "false"
  kube-proxy-replacement:  "probe"
  enable-host-reachable-services: "false"
  enable-external-ips: "false"
  enable-node-port: "false"
  node-port-bind-protection: "true"
  enable-auto-protect-node-port-range: "true"
  enable-endpoint-health-checking: "true"
  enable-well-known-identities: "false"
  enable-remote-node-identity: "true"
---
# Source: cilium/charts/agent/templates/clusterrole.yaml
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: cilium
rules:
- apiGroups:
  - networking.k8s.io
  resources:
  - networkpolicies
  verbs:
  - get
  - list
  - watch
- apiGroups:
  - discovery.k8s.io
  resources:
  - endpointslices
  verbs:
  - get
  - list
  - watch
- apiGroups:
  - ""
  resources:
  - namespaces
  - services
  - nodes
  - endpoints
  verbs:
  - get
  - list
  - watch
- apiGroups:
  - ""
  resources:
  - pods
  - nodes
  verbs:
  - get
  - list
  - watch
  - update
- apiGroups:
  - ""
  resources:
  - nodes
  - nodes/status
  verbs:
  - patch
- apiGroups:
  - apiextensions.k8s.io
  resources:
  - customresourcedefinitions
  verbs:
  - create
  - get
  - list
  - watch
  - update
- apiGroups:
  - cilium.io
  resources:
  - ciliumnetworkpolicies
  - ciliumnetworkpolicies/status
  - ciliumclusterwidenetworkpolicies
  - ciliumclusterwidenetworkpolicies/status
  - ciliumendpoints
  - ciliumendpoints/status
  - ciliumnodes
  - ciliumnodes/status
  - ciliumidentities
  - ciliumidentities/status
  verbs:
  - '*'
---
# Source: cilium/charts/operator/templates/clusterrole.yaml
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: cilium-operator
rules:
- apiGroups:
  - ""
  resources:
  # to automatically delete [core|kube]dns pods so that are starting to being
  # managed by Cilium
  - pods
  verbs:
  - get
  - list
  - watch
  - delete
- apiGroups:
  - discovery.k8s.io
  resources:
  - endpointslices
  verbs:
  - get
  - list
  - watch
- apiGroups:
  - ""
  resources:
  # to automatically read from k8s and import the node's pod CIDR to cilium's
  # etcd so all nodes know how to reach another pod running in in a different
  # node.
  - nodes
  # to perform the translation of a CNP that contains `ToGroup` to its endpoints
  - services
  - endpoints
  # to check apiserver connectivity
  - namespaces
  verbs:
  - get
  - list
  - watch
- apiGroups:
  - cilium.io
  resources:
  - ciliumnetworkpolicies
  - ciliumnetworkpolicies/status
  - ciliumclusterwidenetworkpolicies
  - ciliumclusterwidenetworkpolicies/status
  - ciliumendpoints
  - ciliumendpoints/status
  - ciliumnodes
  - ciliumnodes/status
  - ciliumidentities
  - ciliumidentities/status
  verbs:
  - '*'
---
# Source: cilium/charts/agent/templates/clusterrolebinding.yaml
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: cilium
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: cilium
subjects:
- kind: ServiceAccount
  name: cilium
  namespace: kube-system
---
# Source: cilium/charts/operator/templates/clusterrolebinding.yaml
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: cilium-operator
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: cilium-operator
subjects:
- kind: ServiceAccount
  name: cilium-operator
  namespace: kube-system
---
# Source: cilium/charts/agent/templates/daemonset.yaml
apiVersion: apps/v1
kind: DaemonSet
metadata:
  labels:
    k8s-app: cilium
  name: cilium
  namespace: kube-system
spec:
  selector:
    matchLabels:
      k8s-app: cilium
  template:
    metadata:
      annotations:
        # This annotation plus the CriticalAddonsOnly toleration makes
        # cilium to be a critical pod in the cluster, which ensures cilium
        # gets priority scheduling.
        # https://kubernetes.io/docs/tasks/administer-cluster/guaranteed-scheduling-critical-addon-pods/
        scheduler.alpha.kubernetes.io/critical-pod: ""
      labels:
        k8s-app: cilium
    spec:
      containers:
      - args:
        - --config-dir=/tmp/cilium/config-map
        command:
        - cilium-agent
        livenessProbe:
          exec:
            command:
            - cilium
            - status
            - --brief
          failureThreshold: 10
          # The initial delay for the liveness probe is intentionally large to
          # avoid an endless kill & restart cycle if in the event that the initial
          # bootstrapping takes longer than expected.
          initialDelaySeconds: 120
          periodSeconds: 30
          successThreshold: 1
          timeoutSeconds: 5
        readinessProbe:
          exec:
            command:
            - cilium
            - status
            - --brief
          failureThreshold: 3
          initialDelaySeconds: 5
          periodSeconds: 30
          successThreshold: 1
          timeoutSeconds: 5
        env:
        - name: K8S_NODE_NAME
          valueFrom:
            fieldRef:
              apiVersion: v1
              fieldPath: spec.nodeName
        - name: CILIUM_K8S_NAMESPACE
          valueFrom:
            fieldRef:
              apiVersion: v1
              fieldPath: metadata.namespace
        - name: CILIUM_FLANNEL_MASTER_DEVICE
          valueFrom:
            configMapKeyRef:
              key: flannel-master-device
              name: cilium-config
              optional: true
        - name: CILIUM_FLANNEL_UNINSTALL_ON_EXIT
          valueFrom:
            configMapKeyRef:
              key: flannel-uninstall-on-exit
              name: cilium-config
              optional: true
        - name: CILIUM_CLUSTERMESH_CONFIG
          value: /var/lib/cilium/clustermesh/
        - name: CILIUM_CNI_CHAINING_MODE
          valueFrom:
            configMapKeyRef:
              key: cni-chaining-mode
              name: cilium-config
              optional: true
        - name: CILIUM_CUSTOM_CNI_CONF
          valueFrom:
            configMapKeyRef:
              key: custom-cni-conf
              name: cilium-config
              optional: true
        image: "docker.io/cilium/cilium:v1.7.6"
        imagePullPolicy: IfNotPresent
        lifecycle:
          postStart:
            exec:
              command:
              - "/cni-install.sh"
              - "--enable-debug=false"
          preStop:
            exec:
              command:
              - /cni-uninstall.sh
        name: cilium-agent
        securityContext:
          capabilities:
            add:
            - NET_ADMIN
            - SYS_MODULE
          privileged: true
        volumeMounts:
        - mountPath: /var/run/cilium
          name: cilium-run
        - mountPath: /host/opt/cni/bin
          name: cni-path
        - mountPath: /host/etc/cni/net.d
          name: etc-cni-netd
        - mountPath: /var/lib/cilium/clustermesh
          name: clustermesh-secrets
          readOnly: true
        - mountPath: /tmp/cilium/config-map
          name: cilium-config-path
          readOnly: true
          # Needed to be able to load kernel modules
        - mountPath: /lib/modules
          name: lib-modules
          readOnly: true
        - mountPath: /run/xtables.lock
          name: xtables-lock
      hostNetwork: true
      initContainers:
      - command:
        - /init-container.sh
        env:
        - name: CILIUM_ALL_STATE
          valueFrom:
            configMapKeyRef:
              key: clean-cilium-state
              name: cilium-config
              optional: true
        - name: CILIUM_BPF_STATE
          valueFrom:
            configMapKeyRef:
              key: clean-cilium-bpf-state
              name: cilium-config
              optional: true
        - name: CILIUM_WAIT_BPF_MOUNT
          valueFrom:
            configMapKeyRef:
              key: wait-bpf-mount
              name: cilium-config
              optional: true
        image: "docker.io/cilium/cilium:v1.7.6"
        imagePullPolicy: IfNotPresent
        name: clean-cilium-state
        securityContext:
          capabilities:
            add:
            - NET_ADMIN
          privileged: true
        volumeMounts:
        - mountPath: /var/run/cilium
          name: cilium-run
      restartPolicy: Always
      priorityClassName: system-node-critical
      serviceAccount: cilium
      serviceAccountName: cilium
      terminationGracePeriodSeconds: 1
      tolerations:
      - operator: Exists
      volumes:
        # To keep state between restarts / upgrades
      - hostPath:
          path: /var/run/cilium
          type: DirectoryOrCreate
        name: cilium-run
      # To install cilium cni plugin in the host
      - hostPath:
          path:  /opt/cni/bin
          type: DirectoryOrCreate
        name: cni-path
        # To install cilium cni configuration in the host
      - hostPath:
          path: /etc/cni/net.d
          type: DirectoryOrCreate
        name: etc-cni-netd
        # To be able to load kernel modules
      - hostPath:
          path: /lib/modules
        name: lib-modules
        # To access iptables concurrently with other processes (e.g. kube-proxy)
      - hostPath:
          path: /run/xtables.lock
          type: FileOrCreate
        name: xtables-lock
        # To read the clustermesh configuration
      - name: clustermesh-secrets
        secret:
          defaultMode: 420
          optional: true
          secretName: cilium-clustermesh
        # To read the configuration from the config map
      - configMap:
          name: cilium-config
        name: cilium-config-path
  updateStrategy:
    rollingUpdate:
      maxUnavailable: 2
    type: RollingUpdate
---
# Source: cilium/charts/operator/templates/deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    io.cilium/app: operator
    name: cilium-operator
  name: cilium-operator
  namespace: kube-system
spec:
  replicas: 1
  selector:
    matchLabels:
      io.cilium/app: operator
      name: cilium-operator
  strategy:
    rollingUpdate:
      maxSurge: 1
      maxUnavailable: 1
    type: RollingUpdate
  template:
    metadata:
      annotations:
      labels:
        io.cilium/app: operator
        name: cilium-operator
    spec:
      containers:
      - args:
        - --debug=$(CILIUM_DEBUG)
        - --identity-allocation-mode=$(CILIUM_IDENTITY_ALLOCATION_MODE)
        - --synchronize-k8s-nodes=true
        command:
        - cilium-operator
        env:
        - name: CILIUM_K8S_NAMESPACE
          valueFrom:
            fieldRef:
              apiVersion: v1
              fieldPath: metadata.namespace
        - name: K8S_NODE_NAME
          valueFrom:
            fieldRef:
              apiVersion: v1
              fieldPath: spec.nodeName
        - name: CILIUM_DEBUG
          valueFrom:
            configMapKeyRef:
              key: debug
              name: cilium-config
              optional: true
        - name: CILIUM_CLUSTER_NAME
          valueFrom:
            configMapKeyRef:
              key: cluster-name
              name: cilium-config
              optional: true
        - name: CILIUM_CLUSTER_ID
          valueFrom:
            configMapKeyRef:
              key: cluster-id
              name: cilium-config
              optional: true
        - name: CILIUM_IPAM
          valueFrom:
            configMapKeyRef:
              key: ipam
              name: cilium-config
              optional: true
        - name: CILIUM_DISABLE_ENDPOINT_CRD
          valueFrom:
            configMapKeyRef:
              key: disable-endpoint-crd
              name: cilium-config
              optional: true
        - name: CILIUM_KVSTORE
          valueFrom:
            configMapKeyRef:
              key: kvstore
              name: cilium-config
              optional: true
        - name: CILIUM_KVSTORE_OPT
          valueFrom:
            configMapKeyRef:
              key: kvstore-opt
              name: cilium-config
              optional: true
        - name: AWS_ACCESS_KEY_ID
          valueFrom:
            secretKeyRef:
              key: AWS_ACCESS_KEY_ID
              name: cilium-aws
              optional: true
        - name: AWS_SECRET_ACCESS_KEY
          valueFrom:
            secretKeyRef:
              key: AWS_SECRET_ACCESS_KEY
              name: cilium-aws
              optional: true
        - name: AWS_DEFAULT_REGION
          valueFrom:
            secretKeyRef:
              key: AWS_DEFAULT_REGION
              name: cilium-aws
              optional: true
        - name: CILIUM_IDENTITY_ALLOCATION_MODE
          valueFrom:
            configMapKeyRef:
              key: identity-allocation-mode
              name: cilium-config
              optional: true
        image: "docker.io/cilium/operator:v1.7.6"
        imagePullPolicy: IfNotPresent
        name: cilium-operator
        livenessProbe:
          httpGet:
            host: '127.0.0.1'
            path: /healthz
            port: 9234
            scheme: HTTP
          initialDelaySeconds: 60
          periodSeconds: 10
          timeoutSeconds: 3
      hostNetwork: true
      restartPolicy: Always
      serviceAccount: cilium-operator
      serviceAccountName: cilium-operator

다음은 스케줄러 로그입니다.
I0709 23:08:22.055830 1 registry.go:150] Registering EvenPodsSpread predicate and priority function I0709 23:08:22.056081 1 registry.go:150] Registering EvenPodsSpread predicate and priority function I0709 23:08:23.137451 1 serving.go:313] Generated self-signed cert in-memory W0709 23:08:33.843509 1 authentication.go:297] Error looking up in-cluster authentication configuration: etcdserver: request timed out W0709 23:08:33.843671 1 authentication.go:298] Continuing without authentication configuration. This may treat all requests as anonymous. W0709 23:08:33.843710 1 authentication.go:299] To require authentication configuration lookup to succeed, set --authentication-tolerate-lookup-failure=false I0709 23:08:33.911805 1 registry.go:150] Registering EvenPodsSpread predicate and priority function I0709 23:08:33.911989 1 registry.go:150] Registering EvenPodsSpread predicate and priority function W0709 23:08:33.917999 1 authorization.go:47] Authorization is disabled W0709 23:08:33.918162 1 authentication.go:40] Authentication is disabled I0709 23:08:33.918238 1 deprecated_insecure_serving.go:51] Serving healthz insecurely on [::]:10251 I0709 23:08:33.925860 1 configmap_cafile_content.go:202] Starting client-ca::kube-system::extension-apiserver-authentication::client-ca-file I0709 23:08:33.926013 1 shared_informer.go:223] Waiting for caches to sync for client-ca::kube-system::extension-apiserver-authentication::client-ca-file I0709 23:08:33.930685 1 secure_serving.go:178] Serving securely on 127.0.0.1:10259 I0709 23:08:33.936198 1 tlsconfig.go:240] Starting DynamicServingCertificateController I0709 23:08:34.026382 1 shared_informer.go:230] Caches are synced for client-ca::kube-system::extension-apiserver-authentication::client-ca-file I0709 23:08:34.036998 1 leaderelection.go:242] attempting to acquire leader lease kube-system/kube-scheduler... I0709 23:08:50.597201 1 leaderelection.go:252] successfully acquired lease kube-system/kube-scheduler E0709 23:08:50.658551 1 factory.go:503] pod: kube-system/coredns-66bff467f8-9rjvd is already present in the active queue E0709 23:12:27.673854 1 factory.go:503] pod kube-system/cilium-vv466 is already present in the backoff queue E0709 23:12:58.099432 1 leaderelection.go:320] error retrieving resource lock kube-system/kube-scheduler: etcdserver: leader changed

스케줄러 포드를 다시 시작하면 보류중인 포드가 즉시 예약됩니다.

어떤 포드 이벤트를 받습니까? 노드에 오염이 있는지 알고 있습니까?
예약되지 않은 곳은 어디입니까? 마스터 노드 또는 모든
노드? 노드에 충분한 공간이 있습니까?

2020 년 7 월 9 일 목요일 오후 7:49 dilyevsky, [email protected]
썼다 :

ds 포드에 대한 노드의 metadata.name 일 뿐인 것 같습니다.
기묘한. pod yaml은 다음과 같습니다.

apiVersion : v1kind : Podmetadata :
주석 :
scheduler.alpha.kubernetes.io/critical-pod : ""
creationTimestamp : "2020-07-09T23 : 17 : 53Z"
generateName : 섬모-
라벨 :
컨트롤러 수정 해시 : 6c94db8bb8
k8s-app : 섬모
pod-template-generation : "1"
managedFields :
# 관리 필드 쓰레기
이름 : cilium-d5n4f
네임 스페이스 : kube-system
ownerReferences :

• apiVersion : apps / v1
  blockOwnerDeletion : true
  컨트롤러 : 참
  종류 : DaemonSet
  이름 : cilium
  uid : 0f00e8af-eb19-4985-a940-a02fa84fcbc5
  resourceVersion : "2840"
  selfLink : / api / v1 / namespaces / kube-system / pods / cilium-d5n4f
  uid : e3f7d566-ee5b-4557-8d1b-f0964cde2f22spec :
  유연:
  nodeAffinity :
  requiredDuringSchedulingIgnoredDuringExecution :
  nodeSelectorTerms :
  -matchFields :
  -키 : metadata.name
  연산자 : In
  값 :
  -us-central1-dilyevsky-master-qmwnl
  용기 :
• 인수 :
  
  
  
  • --config-dir = / tmp / cilium / config-map
    
    명령:
  
  
  • 섬모 제
    
    env :
  
  
  • 이름 : K8S_NODE_NAME
    
    valueFrom :
    
    fieldRef :
    
    apiVersion : v1
    
    fieldPath : spec.nodeName
  
  
  • 이름 : CILIUM_K8S_NAMESPACE
    
    valueFrom :
    
    fieldRef :
    
    apiVersion : v1
    
    fieldPath : metadata.namespace
  
  
  • 이름 : CILIUM_FLANNEL_MASTER_DEVICE
    
    valueFrom :
    
    configMapKeyRef :
    
    키 : 플란넬 마스터 장치
    
    이름 : cilium-config
    
    선택 사항 : true
  
  
  • 이름 : CILIUM_FLANNEL_UNINSTALL_ON_EXIT
    
    valueFrom :
    
    configMapKeyRef :
    
    키 : flannel-uninstall-on-exit
    
    이름 : cilium-config
    
    선택 사항 : true
  
  
  • 이름 : CILIUM_CLUSTERMESH_CONFIG
    
    값 : / var / lib / cilium / clustermesh /
  
  
  • 이름 : CILIUM_CNI_CHAINING_MODE
    
    valueFrom :
    
    configMapKeyRef :
    
    키 : cni-chaining-mode
    
    이름 : cilium-config
    
    선택 사항 : true
  
  
  • 이름 : CILIUM_CUSTOM_CNI_CONF
    
    valueFrom :
    
    configMapKeyRef :
    
    키 : custom-cni-conf
    
    이름 : cilium-config
    
    선택 사항 : true
    
    이미지 : docker.io/cilium/cilium:v1.7.6
    
    imagePullPolicy : IfNotPresent
    
    수명주기 :
    
    postStart :
    
    exec :
    
    명령:
    
    
    
    
    
    • /cni-install.sh
    
    
    
    • --enable-debug = false
      
      
      preStop :
      
      
      exec :
      
      
      명령:
    
    
    
    • /cni-uninstall.sh
      
      
      livenessProbe :
      
      
      exec :
      
      
      명령:
      
      
      
      
      
      
      
      • 섬모
      
      
      
      
      • 상태
      
      
      
      
      • --간결한
        
        
        
        failureThreshold : 10
        
        
        
        initialDelaySeconds : 120
        
        
        
        periodSeconds : 30
        
        
        
        successThreshold : 1
        
        
        
        timeoutSeconds : 5
        
        
        
        이름 : cilium-agent
        
        
        
        readinessProbe :
        
        
        
        exec :
        
        
        
        명령:
      
      
      
      
      • 섬모
      
      
      
      
      • 상태
      
      
      
      
      • --간결한
        
        
        
        failureThreshold : 3
        
        
        
        initialDelaySeconds : 5
        
        
        
        periodSeconds : 30
        
        
        
        successThreshold : 1
        
        
        
        timeoutSeconds : 5
        
        
        
        리소스 : {}
        
        
        
        securityContext :
        
        
        
        기능 :
        
        
        
        더하다:
      
      
      
      
      • NET_ADMIN
      
      
      
      
      • SYS_MODULE
        
        
        
        특권 : 참
        
        
        
        TerminationMessagePath : / dev / termination-log
        
        
        
        shutdownMessagePolicy : 파일
        
        
        
        volumeMounts :
      
      
      
      
    
    
    
  
  
  • mountPath : / var / run / cilium
    
    이름 : cilium-run
  
  
  • mountPath : / host / opt / cni / bin
    
    이름 : cni-path
  
  
  • mountPath : /host/etc/cni/net.d
    
    이름 : etc-cni-netd
  
  
  • mountPath : / var / lib / cilium / clustermesh
    
    이름 : clustermesh-secrets
    
    readOnly : true
  
  
  • mountPath : / tmp / cilium / config-map
    
    이름 : cilium-config-path
    
    readOnly : true
  
  
  • mountPath : / lib / modules
    
    이름 : lib-modules
    
    readOnly : true
  
  
  • mountPath : /run/xtables.lock
    
    이름 : xtables-lock
  
  
  • mountPath : /var/run/secrets/kubernetes.io/serviceaccount
    
    이름 : cilium-token-j74lr
    
    readOnly : true
    
    dnsPolicy : ClusterFirst
    
    enableServiceLinks : true
    
    hostNetwork : true
    
    initContainers :
  
  
• 명령:
  
  
  
  • /init-container.sh
    
    env :
  
  
  • 이름 : CILIUM_ALL_STATE
    
    valueFrom :
    
    configMapKeyRef :
    
    키 : 깨끗한 실륨 상태
    
    이름 : cilium-config
    
    선택 사항 : true
  
  
  • 이름 : CILIUM_BPF_STATE
    
    valueFrom :
    
    configMapKeyRef :
    
    키 : clean-cilium-bpf-state
    
    이름 : cilium-config
    
    선택 사항 : true
  
  
  • 이름 : CILIUM_WAIT_BPF_MOUNT
    
    valueFrom :
    
    configMapKeyRef :
    
    키 : wait-bpf-mount
    
    이름 : cilium-config
    
    선택 사항 : true
    
    이미지 : docker.io/cilium/cilium:v1.7.6
    
    imagePullPolicy : IfNotPresent
    
    이름 : clean-cilium-state
    
    리소스 : {}
    
    securityContext :
    
    기능 :
    
    더하다:
    
    
    
    
    
    • NET_ADMIN
      
      
      특권 : 참
      
      
      TerminationMessagePath : / dev / termination-log
      
      
      shutdownMessagePolicy : 파일
      
      
      volumeMounts :
    
    
    
  
  
  • mountPath : / var / run / cilium
    
    이름 : cilium-run
  
  
  • mountPath : /var/run/secrets/kubernetes.io/serviceaccount
    
    이름 : cilium-token-j74lr
    
    readOnly : true
    
    우선 순위 : 2000001000
    
    priorityClassName : 시스템 노드 중요
    
    restartPolicy : 항상
    
    schedulerName : 기본 스케줄러
    
    securityContext : {}
    
    serviceAccount : cilium
    
    serviceAccountName : cilium
    
    terminateGracePeriodSeconds : 1
    
    관용 :
  
  
• 연산자 : 존재
• 효과 : NoExecute
  키 : node.kubernetes.io/not-ready
  연산자 : 존재
• 효과 : NoExecute
  키 : node.kubernetes.io/unreachable
  연산자 : 존재
• 효과 : NoSchedule
  키 : node.kubernetes.io/disk-pressure
  연산자 : 존재
• 효과 : NoSchedule
  키 : node.kubernetes.io/memory-pressure
  연산자 : 존재
• 효과 : NoSchedule
  키 : node.kubernetes.io/pid-pressure
  연산자 : 존재
• 효과 : NoSchedule
  키 : node.kubernetes.io/unschedulable
  연산자 : 존재
• 효과 : NoSchedule
  키 : node.kubernetes.io/network-unavailable
  연산자 : 존재
  볼륨 :
• hostPath :
  경로 : / var / run / cilium
  유형 : DirectoryOrCreate
  이름 : cilium-run
• hostPath :
  경로 : / opt / cni / bin
  유형 : DirectoryOrCreate
  이름 : cni-path
• hostPath :
  경로 : /etc/cni/net.d
  유형 : DirectoryOrCreate
  이름 : etc-cni-netd
• hostPath :
  경로 : / lib / modules
  유형 : ""
  이름 : lib-modules
• hostPath :
  경로 : /run/xtables.lock
  유형 : FileOrCreate
  이름 : xtables-lock
• 이름 : clustermesh-secrets
  비밀:
  defaultMode : 420
  선택 사항 : true
  secretName : cilium-clustermesh
• configMap :
  defaultMode : 420
  이름 : cilium-config
  이름 : cilium-config-path
• 이름 : cilium-token-j74lr
  비밀:
  defaultMode : 420
  secretName : cilium-token-j74lrstatus :
  정황:
• lastProbeTime : null
  lastTransitionTime : "2020-07-09T23 : 17 : 53Z"
  메시지 : '0/6 개의 노드를 사용할 수 있습니다 : 5 개의 노드가 노드 선택기와 일치하지 않습니다.'
  이유 : 예약 불가
  상태 : "False"
  유형 : PodScheduled
  단계 : 보류 중
  qosClass : BestEffort

이것을 재현하는 방법은 2 개의 마스터로 새 클러스터를 회전시키고
3 개의 작업자 노드 (클러스터 API 사용) 및 Cilium 1.7.6 적용 :

--- # 출처 : cilium / charts / agent / templates / serviceaccount.yamlapi 버전 : v1kind : ServiceAccountmetadata :
이름 : cilium
네임 스페이스 : kube-system
--- # 출처 : cilium / charts / operator / templates / serviceaccount.yamlapi 버전 : v1kind : ServiceAccountmetadata :
이름 : cilium-operator
네임 스페이스 : kube-system
--- # 소스 : cilium / charts / config / templates / configmap.yamlapi 버전 : v1kind : ConfigMapmetadata :
이름 : cilium-config
네임 스페이스 : kube-systemdata :

# 신원 할당 모드는 섬모간에 신원을 공유하는 방법을 선택합니다
저장 방법을 설정하여 노드 # 개. 옵션은 "crd"또는 "kvstore"입니다.
#- "crd"는 kubernetes의 ID를 CRD (커스텀 리소스 정의)로 저장합니다.
# 다음과 같이 쿼리 할 수 ​​있습니다.
# kubectl get ciliumid
#- "kvstore"는 kvstore, etcd 또는 consul에 ID를 저장합니다.
# 아래에 구성되었습니다. 1.6 이전의 Cilium 버전은 kvstore 만 지원
# 백엔드. 이러한 오래된 cilium 버전의 업그레이드는 계속해서
# 아래의 identity-allocation-mode를 주석 처리하여 kvstore 또는
# "kvstore"로 설정합니다.
신원 할당 모드 : crd

# 디버그 모드에서 cilium을 실행하려면이 값을 true로 변경하십시오.
디버그 : "false"

# IPv4 주소 지정을 활성화합니다. 활성화되면 모든 엔드 포인트에 IPv4가 할당됩니다.
# 주소.
enable-ipv4 : "true"

# IPv6 주소 지정을 활성화합니다. 활성화되면 모든 엔드 포인트에 IPv6가 할당됩니다.
# 주소.
enable-ipv6 : "거짓"

# cilium 모니터가 패킷 추적을 집계하도록하려면이 수준을 설정하십시오.
#- "낮음", "중간"또는 "최대". 레벨이 높을수록 적은 패킷
# 모니터 출력에 표시됩니다.
모니터 집계 : 중간

# 모니터 집계 간격은 모니터 간의 일반적인 시간을 제어합니다.
허용 된 각 연결에 대한 알림 이벤트 # 개.
#
# 모니터 집계가 "중간"이상으로 설정된 경우에만 유효합니다.
모니터 집계 간격 : 5 초

# 모니터 집계 플래그는 어떤 TCP 플래그를
# 첫 번째 관찰, 모니터 알림이 생성되도록합니다.
#
# 모니터 집계가 "중간"이상으로 설정된 경우에만 유효합니다.
모니터 집계 플래그 : 모두

# ct-global-max-entries- *는 최대 연결 수를 지정합니다.
# 모든 엔드 포인트에서 지원되며 프로토콜별로 분할 : tcp 또는 기타. 한 쌍
맵 수는 IPv4 연결 및 다른 맵 쌍에이 값을 사용합니다.
# IPv6 연결에이 값을 사용합니다.
#
#이 값이 수정되면 다음 Cilium 시작 동안
# 진행중인 연결 추적이 중단 될 수 있습니다. 이것은 간략하게 이어질 수 있습니다
# 정책 삭제 또는 연결에 대한 부하 분산 결정의 변경.
#
# Cilium 1.2 또는 이전 버전에서 업그레이드하는 사용자의 경우 중단을 최소화하기 위해
# 업그레이드 프로세스 중에 이러한 옵션을 주석 처리하십시오.
bpf-ct-global-tcp-max : "524288"
bpf-ct-global-any-max : "262144"

# bpf-policy-map-max는 엔드 포인트의 최대 항목 수를 지정했습니다.
# 정책 맵 (엔드 포인트 당)
bpf-policy-map-max : "16384"

# 맵 항목의 사전 할당을 통해 패킷 당 대기 시간을 줄일 수 있습니다.
# 맵의 항목에 대한 선행 메모리 할당 비용. 그만큼
# 아래의 기본값은 기본 설치에서 메모리 사용량을 최소화합니다.
# 지연에 민감한 사용자는 이것을 "true"로 설정하는 것을 고려할 수 있습니다.
#
#이 옵션은 Cilium 1.4에서 도입되었습니다. Cilium 1.3 및 이전 버전 무시
#이 옵션은 "true"로 설정된 것처럼 작동합니다.
#
#이 값이 수정되면 다음 Cilium 시작 동안 복원
기존 엔드 포인트 수와 진행중인 연결 추적이 중단 될 수 있습니다.
# 이로 인해 정책이 삭제되거나로드 밸런싱 결정이 변경 될 수 있습니다.
# 한동안 연결되었습니다. 복원하려면 끝점을 다시 만들어야 할 수 있습니다.
# 연결.
#
# 1.3 이전 버전에서 다음으로 업그레이드하는 동안이 옵션이 "false"로 설정된 경우
# 1.4 이상인 경우 업그레이드 중에 일회성 중단이 발생할 수 있습니다.
preallocate-bpf-maps : "false"

# 호환되는 Istio 사이드카 istio-proxy와 일치하는 정규 표현식
# 컨테이너 이미지 이름
sidecar-istio-proxy-image : "cilium / istio_proxy"

# 노드 간 통신을위한 캡슐화 모드
# 가능한 값 :
#-비활성화 됨
#-vxlan (기본값)
#-제네바
터널 : vxlan

# 클러스터의 이름. 클러스터 메시를 구축 할 때만 관련됩니다.
클러스터 이름 : 기본값

# DNS 폴링은 각 matchName 에 대해 정기적으로 DNS 조회를 발행합니다.
# 섬모 제. 결과는 끝점 정책을 다시 생성하는 데 사용됩니다.
# DNS 조회는 5 초 간격으로 반복되며
# A (IPv4) 및 AAAA (IPv6) 주소. 조회가 실패하면 가장 최근의 IP
# 데이터가 대신 사용됩니다. IP 변경은 Cilium의 재생을 트리거합니다
# 각 엔드 포인트에 대한 정책 및 cilium-agent 별 정책 증가
# 저장소 개정.
#
#이 옵션은 1.4.x 버전부터 기본적으로 비활성화되어 있습니다.
보다 강력한 DNS 프록시 기반 구현의 #, 자세한 내용은 [0]을 참조하십시오.
# FQDN 정책을 사용하고 싶지만 사용하고 싶지 않은 경우이 옵션을 활성화합니다.
# DNS 프록시.
#
# 쉽게 업그레이드하기 위해 사용자는이 옵션을 "true"로 설정할 수 있습니다.
# 그렇지 않으면 방법을 설명하는 업그레이드 가이드 [1]을 참조하십시오.
# 업그레이드를위한 정책 규칙을 준비합니다.
#
# [0] http://docs.cilium.io/en/stable/policy/language/#dns 기반
# [1] http://docs.cilium.io/en/stable/install/upgrade/#changes-that-may-require-action
tofqdns-enable-poller : "false"

# wait-bpf-mount는 init 컨테이너가 bpf 파일 시스템이 마운트 될 때까지 기다리게합니다.
wait-bpf-mount : "거짓"

가장 무도회 : "true"
enable-xt-socket-fallback : "true"
install-iptables-rules : "true"
auto-direct-node-routes : "false"
kube-proxy-replacement : "프로브"
enable-host-reachable-services : "false"
enable-external-ips : "false"
enable-node-port : "false"
node-port-bind-protection : "true"
enable-auto-protect-node-port-range : "true"
enable-endpoint-health-checking : "true"
enable-well-known-identities : "false"
enable-remote-node-identity : "true"
--- # 출처 : cilium / charts / agent / templates / clusterrole.yamlapi 버전 : rbac.authorization.k8s.io/v1kind : ClusterRolemetadata :
이름 : ciliumrules :

• apiGroups :
  
  
  
  • network.k8s.io
    
    자원:
  
  
  • 네트워크 정책
    
    동사 :
  
  
  • 가져 오기
  
  
  • 명부
  
  
  • 손목 시계
  
  
• apiGroups :
  
  
  
  • discovery.k8s.io
    
    자원:
  
  
  • 끝점
    
    동사 :
  
  
  • 가져 오기
  
  
  • 명부
  
  
  • 손목 시계
  
  
• apiGroups :
  
  
  
  • ""
    
    자원:
  
  
  • 네임 스페이스
  
  
  • 서비스
  
  
  • 노드
  
  
  • 끝점
    
    동사 :
  
  
  • 가져 오기
  
  
  • 명부
  
  
  • 손목 시계
  
  
• apiGroups :
  
  
  
  • ""
    
    자원:
  
  
  • 포드
  
  
  • 노드
    
    동사 :
  
  
  • 가져 오기
  
  
  • 명부
  
  
  • 손목 시계
  
  
  • 최신 정보
  
  
• apiGroups :
  
  
  
  • ""
    
    자원:
  
  
  • 노드
  
  
  • 노드 / 상태
    
    동사 :
  
  
  • 반점
  
  
• apiGroups :
  
  
  
  • apiextensions.k8s.io
    
    자원:
  
  
  • customresourcedefinitions
    
    동사 :
  
  
  • 창조하다
  
  
  • 가져 오기
  
  
  • 명부
  
  
  • 손목 시계
  
  
  • 최신 정보
  
  
• apiGroups :
  
  
  
  • cilium.io
    
    자원:
  
  
  • ciliumnetworkpolicies
  
  
  • ciliumnetwork 정책 / 상태
  
  
  • 섬모 클러스터 전체 네트워크 정책
  
  
  • cilium 클러스터 전체 네트워크 정책 / 상태
  
  
  • 섬모 종점
  
  
  • ciliumendpoints / status
  
  
  • 섬모 노드
  
  
  • 섬모 절 / 상태
  
  
  • 섬모 정체성
  
  
  • ciliumidentities / status
    
    동사 :
  
  
  • '*'
    
    --- # 출처 : cilium / charts / operator / templates / clusterrole.yamlapi 버전 : rbac.authorization.k8s.io/v1kind : ClusterRolemetadata :
    
    이름 : cilium-operatorrules :
  
  
• apiGroups :
  
  
  
  • ""
    
    자원:
    
    # [core | kube] dns 포드를 자동으로 삭제하여
    
    # Cilium에서 관리
  
  
  • 포드
    
    동사 :
  
  
  • 가져 오기
  
  
  • 명부
  
  
  • 손목 시계
  
  
  • 지우다
  
  
• apiGroups :
  
  
  
  • discovery.k8s.io
    
    자원:
  
  
  • 끝점
    
    동사 :
  
  
  • 가져 오기
  
  
  • 명부
  
  
  • 손목 시계
  
  
• apiGroups :
  
  
  
  • ""
    
    자원:
    
    # k8s에서 자동으로 읽고 노드의 pod CIDR을 cilium의
    
    # etcd 그래서 모든 노드는 다른 곳에서 실행되는 다른 포드에 도달하는 방법을 알고
    
    # 노드.
  
  
  • 노드
    
    # ToGroup 가 포함 된 CNP를 끝점으로 변환합니다.
  
  
  • 서비스
  
  
  • 끝점
    
    # apiserver 연결 확인
  
  
  • 네임 스페이스
    
    동사 :
  
  
  • 가져 오기
  
  
  • 명부
  
  
  • 손목 시계
  
  
• apiGroups :
  
  
  
  • cilium.io
    
    자원:
  
  
  • ciliumnetworkpolicies
  
  
  • ciliumnetwork 정책 / 상태
  
  
  • 섬모 클러스터 전체 네트워크 정책
  
  
  • cilium 클러스터 전체 네트워크 정책 / 상태
  
  
  • 섬모 종점
  
  
  • ciliumendpoints / status
  
  
  • 섬모 노드
  
  
  • 섬모 절 / 상태
  
  
  • 섬모 정체성
  
  
  • ciliumidentities / status
    
    동사 :
  
  
  • '*'
    
    --- # 출처 : cilium / charts / agent / templates / clusterrolebinding.yamlapi 버전 : rbac.authorization.k8s.io/v1kind : ClusterRoleBindingmetadata :
    
    이름 : ciliumroleRef :
    
    apiGroup : rbac.authorization.k8s.io
    
    종류 : ClusterRole
    
    이름 : ciliumsubjects :
  
  
• 종류 : ServiceAccount
  이름 : cilium
  네임 스페이스 : kube-system
  --- # 출처 : cilium / charts / operator / templates / clusterrolebinding.yamlapi 버전 : rbac.authorization.k8s.io/v1kind : ClusterRoleBindingmetadata :
  이름 : cilium-operatorroleRef :
  apiGroup : rbac.authorization.k8s.io
  종류 : ClusterRole
  이름 : cilium-operatorsubjects :
• 종류 : ServiceAccount
  이름 : cilium-operator
  네임 스페이스 : kube-system
  --- # 출처 : cilium / charts / agent / templates / daemonset.yamlapi 버전 : apps / v1kind : DaemonSetmetadata :
  라벨 :
  k8s-app : 섬모
  이름 : cilium
  네임 스페이스 : kube-systemspec :
  선택자:
  matchLabels :
  k8s-app : 섬모
  주형:
  메타 데이터 :
  주석 :
  #이 주석과 CriticalAddonsOnly 허용 오차는
  # 섬모는 섬모를 보장하는 클러스터의 중요한 꼬투리가됩니다.
  # 우선 예약을 가져옵니다.
  # https://kubernetes.io/docs/tasks/administer-cluster/guaranteed-scheduling-critical-addon-pods/
  scheduler.alpha.kubernetes.io/critical-pod : ""
  라벨 :
  k8s-app : 섬모
  투기:
  용기 :
  
  
  
  • 인수 :
    
    
    
    
    
    • --config-dir = / tmp / cilium / config-map
      
      
      명령:
    
    
    
    • 섬모 제
      
      
      livenessProbe :
      
      
      exec :
      
      
      명령:
      
      
      
      
      
      
      
      • 섬모
      
      
      
      
      • 상태
      
      
      
      
      • --간결한
        
        
        
        failureThreshold : 10
        
        
        
        # 활성 상태 프로브의 초기 지연은 의도적으로
        
        
        
        # 끝없는 종료 및 재시작주기를 피하십시오.
        
        
        
        # 부트 스트래핑이 예상보다 오래 걸립니다.
        
        
        
        initialDelaySeconds : 120
        
        
        
        periodSeconds : 30
        
        
        
        successThreshold : 1
        
        
        
        timeoutSeconds : 5
        
        
        
        readinessProbe :
        
        
        
        exec :
        
        
        
        명령:
      
      
      
      
      • 섬모
      
      
      
      
      • 상태
      
      
      
      
      • --간결한
        
        
        
        failureThreshold : 3
        
        
        
        initialDelaySeconds : 5
        
        
        
        periodSeconds : 30
        
        
        
        successThreshold : 1
        
        
        
        timeoutSeconds : 5
        
        
        
        env :
      
      
      
      
    
    
    
    • 이름 : K8S_NODE_NAME
      
      
      valueFrom :
      
      
      fieldRef :
      
      
      apiVersion : v1
      
      
      fieldPath : spec.nodeName
    
    
    
    • 이름 : CILIUM_K8S_NAMESPACE
      
      
      valueFrom :
      
      
      fieldRef :
      
      
      apiVersion : v1
      
      
      fieldPath : metadata.namespace
    
    
    
    • 이름 : CILIUM_FLANNEL_MASTER_DEVICE
      
      
      valueFrom :
      
      
      configMapKeyRef :
      
      
      키 : 플란넬 마스터 장치
      
      
      이름 : cilium-config
      
      
      선택 사항 : true
    
    
    
    • 이름 : CILIUM_FLANNEL_UNINSTALL_ON_EXIT
      
      
      valueFrom :
      
      
      configMapKeyRef :
      
      
      키 : flannel-uninstall-on-exit
      
      
      이름 : cilium-config
      
      
      선택 사항 : true
    
    
    
    • 이름 : CILIUM_CLUSTERMESH_CONFIG
      
      
      값 : / var / lib / cilium / clustermesh /
    
    
    
    • 이름 : CILIUM_CNI_CHAINING_MODE
      
      
      valueFrom :
      
      
      configMapKeyRef :
      
      
      키 : cni-chaining-mode
      
      
      이름 : cilium-config
      
      
      선택 사항 : true
    
    
    
    • 이름 : CILIUM_CUSTOM_CNI_CONF
      
      
      valueFrom :
      
      
      configMapKeyRef :
      
      
      키 : custom-cni-conf
      
      
      이름 : cilium-config
      
      
      선택 사항 : true
      
      
      이미지 : "docker.io/cilium/cilium:v1.7.6"
      
      
      imagePullPolicy : IfNotPresent
      
      
      수명주기 :
      
      
      postStart :
      
      
      exec :
      
      
      명령:
      
      
      
      
      
      
      
      • "/cni-install.sh"
      
      
      
      
      • "--enable-debug = false"
        
        
        
        preStop :
        
        
        
        exec :
        
        
        
        명령:
      
      
      
      
      • /cni-uninstall.sh
        
        
        
        이름 : cilium-agent
        
        
        
        securityContext :
        
        
        
        기능 :
        
        
        
        더하다:
        
        
        
        
        
        
        
        
        
        • NET_ADMIN
        
        
        
        
        
        • SYS_MODULE
          
          
          
          
          특권 : 참
          
          
          
          
          volumeMounts :
        
        
        
        
        
      
      
      
      
    
    
    
    • mountPath : / var / run / cilium
      
      
      이름 : cilium-run
    
    
    
    • mountPath : / host / opt / cni / bin
      
      
      이름 : cni-path
    
    
    
    • mountPath : /host/etc/cni/net.d
      
      
      이름 : etc-cni-netd
    
    
    
    • mountPath : / var / lib / cilium / clustermesh
      
      
      이름 : clustermesh-secrets
      
      
      readOnly : true
    
    
    
    • mountPath : / tmp / cilium / config-map
      
      
      이름 : cilium-config-path
      
      
      readOnly : true
      
      
      # 커널 모듈을로드 할 수 있어야합니다.
    
    
    
    • mountPath : / lib / modules
      
      
      이름 : lib-modules
      
      
      readOnly : true
    
    
    
    • mountPath : /run/xtables.lock
      
      
      이름 : xtables-lock
      
      
      hostNetwork : true
      
      
      initContainers :
    
    
    
  
  
  • 명령:
    
    
    
    
    
    • /init-container.sh
      
      
      env :
    
    
    
    • 이름 : CILIUM_ALL_STATE
      
      
      valueFrom :
      
      
      configMapKeyRef :
      
      
      키 : 깨끗한 실륨 상태
      
      
      이름 : cilium-config
      
      
      선택 사항 : true
    
    
    
    • 이름 : CILIUM_BPF_STATE
      
      
      valueFrom :
      
      
      configMapKeyRef :
      
      
      키 : clean-cilium-bpf-state
      
      
      이름 : cilium-config
      
      
      선택 사항 : true
    
    
    
    • 이름 : CILIUM_WAIT_BPF_MOUNT
      
      
      valueFrom :
      
      
      configMapKeyRef :
      
      
      키 : wait-bpf-mount
      
      
      이름 : cilium-config
      
      
      선택 사항 : true
      
      
      이미지 : "docker.io/cilium/cilium:v1.7.6"
      
      
      imagePullPolicy : IfNotPresent
      
      
      이름 : clean-cilium-state
      
      
      securityContext :
      
      
      기능 :
      
      
      더하다:
      
      
      
      
      
      
      
      • NET_ADMIN
        
        
        
        특권 : 참
        
        
        
        volumeMounts :
      
      
      
      
    
    
    
    • mountPath : / var / run / cilium
      
      
      이름 : cilium-run
      
      
      restartPolicy : 항상
      
      
      priorityClassName : 시스템 노드 중요
      
      
      serviceAccount : cilium
      
      
      serviceAccountName : cilium
      
      
      terminateGracePeriodSeconds : 1
      
      
      관용 :
    
    
    
  
  
  • 연산자 : 존재
    
    볼륨 :
    
    # 재시작 / 업그레이드 사이에 상태 유지
  
  
  • hostPath :
    
    경로 : / var / run / cilium
    
    유형 : DirectoryOrCreate
    
    이름 : cilium-run
    
    # 호스트에 cilium cni 플러그인을 설치하려면
  
  
  • hostPath :
    
    경로 : / opt / cni / bin
    
    유형 : DirectoryOrCreate
    
    이름 : cni-path
    
    # 호스트에 cilium cni 구성을 설치하려면
  
  
  • hostPath :
    
    경로 : /etc/cni/net.d
    
    유형 : DirectoryOrCreate
    
    이름 : etc-cni-netd
    
    # 커널 모듈을로드하려면
  
  
  • hostPath :
    
    경로 : / lib / modules
    
    이름 : lib-modules
    
    # 다른 프로세스 (예 : kube-proxy)와 동시에 iptable에 액세스하려면
  
  
  • hostPath :
    
    경로 : /run/xtables.lock
    
    유형 : FileOrCreate
    
    이름 : xtables-lock
    
    # clustermesh 구성을 읽으려면
  
  
  • 이름 : clustermesh-secrets
    
    비밀:
    
    defaultMode : 420
    
    선택 사항 : true
    
    secretName : cilium-clustermesh
    
    # 구성 맵에서 구성을 읽으려면
  
  
  • configMap :
    
    이름 : cilium-config
    
    이름 : cilium-config-path
    
    updateStrategy :
    
    rollingUpdate :
    
    maxUnavailable : 2
    
    유형 : RollingUpdate
    
    --- # 출처 : cilium / charts / operator / templates / deployment.yamlapi 버전 : apps / v1kind : Deploymentmetadata :
    
    라벨 :
    
    io.cilium / app : 연산자
    
    이름 : cilium-operator
    
    이름 : cilium-operator
    
    네임 스페이스 : kube-systemspec :
    
    복제본 : 1
    
    선택자:
    
    matchLabels :
    
    io.cilium / app : 연산자
    
    이름 : cilium-operator
    
    전략:
    
    rollingUpdate :
    
    maxSurge : 1
    
    maxUnavailable : 1
    
    유형 : RollingUpdate
    
    주형:
    
    메타 데이터 :
    
    주석 :
    
    라벨 :
    
    io.cilium / app : 연산자
    
    이름 : cilium-operator
    
    투기:
    
    용기 :
  
  
  • 인수 :
    
    
    
    
    
    • --debug = $ (CILIUM_DEBUG)
    
    
    
    • --identity-allocation-mode = $ (CILIUM_IDENTITY_ALLOCATION_MODE)
    
    
    
    • --synchronize-k8s-nodes = true
      
      
      명령:
    
    
    
    • 섬모 연산자
      
      
      env :
    
    
    
    • 이름 : CILIUM_K8S_NAMESPACE
      
      
      valueFrom :
      
      
      fieldRef :
      
      
      apiVersion : v1
      
      
      fieldPath : metadata.namespace
    
    
    
    • 이름 : K8S_NODE_NAME
      
      
      valueFrom :
      
      
      fieldRef :
      
      
      apiVersion : v1
      
      
      fieldPath : spec.nodeName
    
    
    
    • 이름 : CILIUM_DEBUG
      
      
      valueFrom :
      
      
      configMapKeyRef :
      
      
      키 : 디버그
      
      
      이름 : cilium-config
      
      
      선택 사항 : true
    
    
    
    • 이름 : CILIUM_CLUSTER_NAME
      
      
      valueFrom :
      
      
      configMapKeyRef :
      
      
      키 : 클러스터 이름
      
      
      이름 : cilium-config
      
      
      선택 사항 : true
    
    
    
    • 이름 : CILIUM_CLUSTER_ID
      
      
      valueFrom :
      
      
      configMapKeyRef :
      
      
      키 : 클러스터 ID
      
      
      이름 : cilium-config
      
      
      선택 사항 : true
    
    
    
    • 이름 : CILIUM_IPAM
      
      
      valueFrom :
      
      
      configMapKeyRef :
      
      
      키 : ipam
      
      
      이름 : cilium-config
      
      
      선택 사항 : true
    
    
    
    • 이름 : CILIUM_DISABLE_ENDPOINT_CRD
      
      
      valueFrom :
      
      
      configMapKeyRef :
      
      
      키 : disable-endpoint-crd
      
      
      이름 : cilium-config
      
      
      선택 사항 : true
    
    
    
    • 이름 : CILIUM_KVSTORE
      
      
      valueFrom :
      
      
      configMapKeyRef :
      
      
      키 : kvstore
      
      
      이름 : cilium-config
      
      
      선택 사항 : true
    
    
    
    • 이름 : CILIUM_KVSTORE_OPT
      
      
      valueFrom :
      
      
      configMapKeyRef :
      
      
      키 : kvstore-opt
      
      
      이름 : cilium-config
      
      
      선택 사항 : true
    
    
    
    • 이름 : AWS_ACCESS_KEY_ID
      
      
      valueFrom :
      
      
      secretKeyRef :
      
      
      키 : AWS_ACCESS_KEY_ID
      
      
      이름 : cilium-aws
      
      
      선택 사항 : true
    
    
    
    • 이름 : AWS_SECRET_ACCESS_KEY
      
      
      valueFrom :
      
      
      secretKeyRef :
      
      
      키 : AWS_SECRET_ACCESS_KEY
      
      
      이름 : cilium-aws
      
      
      선택 사항 : true
    
    
    
    • 이름 : AWS_DEFAULT_REGION
      
      
      valueFrom :
      
      
      secretKeyRef :
      
      
      키 : AWS_DEFAULT_REGION
      
      
      이름 : cilium-aws
      
      
      선택 사항 : true
    
    
    
    • 이름 : CILIUM_IDENTITY_ALLOCATION_MODE
      
      
      valueFrom :
      
      
      configMapKeyRef :
      
      
      키 : ID 할당 모드
      
      
      이름 : cilium-config
      
      
      선택 사항 : true
      
      
      이미지 : "docker.io/cilium/operator:v1.7.6"
      
      
      imagePullPolicy : IfNotPresent
      
      
      이름 : cilium-operator
      
      
      livenessProbe :
      
      
      httpGet :
      
      
      호스트 : '127.0.0.1'
      
      
      경로 : / healthz
      
      
      포트 : 9234
      
      
      체계 : HTTP
      
      
      initialDelaySeconds : 60
      
      
      periodSeconds : 10
      
      
      timeoutSeconds : 3
      
      
      hostNetwork : true
      
      
      restartPolicy : 항상
      
      
      serviceAccount : cilium-operator
      
      
      serviceAccountName : cilium-operator
    
    
    
  
  

—
당신이 할당 되었기 때문에 이것을 받고 있습니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/kubernetes/kubernetes/issues/91601#issuecomment-656404841 ,
또는 구독 취소
https://github.com/notifications/unsubscribe-auth/AAJ5E6BMTNCADT5K7D4PMF3R2ZJRVANCNFSM4NOTPEDA
.

로그 수준을 높이고 grep을 사용하여 노드를 필터링 해 주시겠습니까?
아니면 포드?

2020 년 7 월 9 일 목요일 오후 7:55 dilyevsky, [email protected]
썼다 :

다음은 스케줄러 로그입니다.

I0709 23 : 08 : 22.056081 1 registry.go : 150] EvenPodsSpread 술어 및 우선 순위 함수 등록
I0709 23 : 08 : 23.137451 1 serving.go : 313] 자체 서명 된 인증서 인 메모리 생성
W0709 23 : 08 : 33.843509 1 authentication.go : 297] 클러스터 내 인증 구성 조회 오류 : etcdserver : 요청 시간이 초과되었습니다.
W0709 23 : 08 : 33.843671 1 authentication.go : 298] 인증 구성없이 계속합니다. 모든 요청을 익명으로 처리 할 수 ​​있습니다.
W0709 23 : 08 : 33.843710 1 authentication.go : 299] 인증 구성 조회가 성공하도록 요구하려면 --authentication-tolerate-lookup-failure = false를 설정하십시오.
I0709 23 : 08 : 33.911805 1 registry.go : 150] EvenPodsSpread 술어 및 우선 순위 함수 등록
I0709 23 : 08 : 33.911989 1 registry.go : 150] EvenPodsSpread 술어 및 우선 순위 함수 등록
W0709 23 : 08 : 33.917999 1 authorization.go : 47] 인증이 비활성화되었습니다.
W0709 23 : 08 : 33.918162 1 authentication.go : 40] 인증이 비활성화되었습니다.
I0709 23 : 08 : 33.918238 1 deprecated_insecure_serving.go : 51] [::] : 10251에서 안전하지 않게 healthz 제공
I0709 23 : 08 : 33.925860 1 configmap_cafile_content.go : 202] client-ca :: kube-system :: extension-apiserver-authentication :: client-ca-file 시작
I0709 23 : 08 : 33.926013 1 shared_informer.go : 223] client-ca :: kube-system :: extension-apiserver-authentication :: client-ca-file에 대해 캐시가 동기화되기를 기다리는 중
I0709 23 : 08 : 33.930685 1 secure_serving.go : 178] 127.0.0.1:10259에서 안전하게 게재
I0709 23 : 08 : 33.936198 1 tlsconfig.go : 240] DynamicServingCertificateController 시작 중
I0709 23 : 08 : 34.026382 1 shared_informer.go : 230] 캐시가 client-ca :: kube-system :: extension-apiserver-authentication :: client-ca-file에 대해 동기화됩니다.
I0709 23 : 08 : 34.036998 1 leaderelection.go : 242] 리더 임대 kube-system / kube-scheduler를 취득하려고합니다 ...
I0709 23 : 08 : 50.597201 1 leaderelection.go : 252] kube-system / kube-scheduler 임대를 성공적으로 획득했습니다.
E0709 23 : 08 : 50.658551 1 factory.go : 503] pod : kube-system / coredns-66bff467f8-9rjvd가 이미 활성 대기열에 있습니다.
E0709 23 : 12 : 27.673854 1 factory.go : 503] pod kube-system / cilium-vv466이 이미 백 오프 대기열에 있습니다.
E0709 23 : 12 : 58.099432 1 leaderelection.go : 320] 리소스 잠금 검색 오류 kube-system / kube-scheduler : etcdserver : leader changed

스케줄러 포드를 다시 시작하면 보류중인 포드가 즉시 예약됩니다.

—
당신이 할당 되었기 때문에 이것을 받고 있습니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/kubernetes/kubernetes/issues/91601#issuecomment-656406215 ,
또는 구독 취소
https://github.com/notifications/unsubscribe-auth/AAJ5E6E4QPGNNBFUYSZEJC3R2ZKHDANCNFSM4NOTPEDA
.

다음은 이벤트입니다.
```이벤트 :
유형 이유 메시지의 나이
---- ------ ---- ---- -------
경고 FailedSchedulingdefault-scheduler 0/6 노드를 사용할 수 있습니다. 5 개의 노드가 노드 선택기와 일치하지 않습니다.
경고 FailedSchedulingdefault-scheduler 0/6 노드를 사용할 수 있습니다. 5 개의 노드가 노드 선택기와 일치하지 않습니다.

The node only has two taints but the pod tolerates all existing taints and yeah it seems to only happen on masters:

오염 : node-role.kubernetes.io/ master : NoSchedule
node.kubernetes.io/network-un 사용 가능 : NoSchedule

There is enough space and pod is best effort with no reservation anyway:
```  Resource                   Requests    Limits
  --------                   --------    ------
  cpu                        650m (32%)  0 (0%)
  memory                     70Mi (0%)   170Mi (2%)
  ephemeral-storage          0 (0%)      0 (0%)
  hugepages-1Gi              0 (0%)      0 (0%)
  hugepages-2Mi              0 (0%)      0 (0%)
  attachable-volumes-gce-pd  0           0

이제 스케줄러 로그 수준을 높여 보겠습니다.

포드 yaml에는 실제로 node-role.kubernetes.io/master 허용 오차가 없습니다. 따라서 마스터에서 예약하지 않아야합니다.

안녕하세요! 우리는 같은 문제에 직면하고 있습니다. 그러나 배포에서 동일한 문제가 발생합니다. 여기서 반친 화성을 사용하여 포드가 각 노드 또는 특정 노드를 대상으로하는 포드 선택기에서 예약되도록합니다.
실패한 노드의 호스트 이름과 일치하도록 설정된 노드 선택기로 포드를 만드는 것만으로도 예약이 실패 할 수 있습니다. 5 개의 노드가 선택자와 일치하지 않는다고 말했지만 6 번째 노드에 대해서는 아무것도 없습니다. 스케줄러를 다시 시작하면 문제가 해결되었습니다. 그것은 그 노드에 대해 무언가가 캐시되고 노드에서 스케줄링을 방해하는 것처럼 보입니다.
다른 사람들이 전에 말했듯이 우리는 실패에 대한 기록이 없습니다.

실패한 배포를 최소한으로 스트라이프했습니다 (실패한 마스터에서 오염을 제거했습니다).

apiVersion: apps/v1
kind: Deployment
metadata:
  name: test-deployment
  labels:
    app: nginx
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:1.14.2
      restartPolicy: Always
      schedulerName: default-scheduler
      nodeSelector:
        kubernetes.io/hostname: master-2

마스터가 오염을 받았을 때도 동일한 문제가 발생했고 배포시 오염에 대한 내성이있었습니다. 따라서 데몬 셋, 관용 또는 친 화성 / 반 친화 성과 관련이없는 것 같습니다. 오류가 발생하기 시작하면 특정 노드를 대상으로하는 아무것도 예약 할 수 없습니다. 1.18.2에서 1.18.5까지 문제가 발생합니다 (1.18.0 또는 .1로 시도하지 않음).

실패한 노드의 호스트 이름과 일치하도록 설정된 노드 선택기로 포드를 만드는 것만으로도 예약이 실패 할 수 있습니다.

그러한 포드를 만든 후 또는 이전에 실패하기 시작했는지 명확히 할 수 있습니까? 이 노드에는 포드가 허용하지 않는 오염이 없다고 가정합니다.

@nodo 는 재현하는 데 도움이 될 것입니다. NodeSelector의 코드를 볼 수 있습니까? 테스트하는 동안 추가 로그 행을 추가해야 할 수 있습니다. 캐시를 인쇄 할 수도 있습니다.

• kube-scheduler의 PID 가져 오기 : $ pidof kube-scheduler
• 트리거 큐 덤프 : $ sudo kill -SIGUSR2 <pid> . 이것은 스케줄러 프로세스를 종료하지 않습니다.
• 그런 다음 스케줄러 로그에서 "Dump of cached NodeInfo", "Dump of schedule queue"및 "cache comparer started"문자열을 검색합니다.

/ priority critical-urgent

/ 할당 해제

이 테스트 배포를 배포하기 전에 이미 일부 데몬 셋과 배포가 "보류 중"에 멈춰있는 것을 보았으므로 이미 실패했습니다. 오염 물질이 노드에서 제거되었습니다.
지금 우리는 문제가 더 이상 보이지 않도록 노드를 재부팅해야했기 때문에 이런 일이 발생한 환경을 잃었습니다. 재생산하자마자 더 많은 정보를 가지고 돌아올 것입니다.

이렇게하십시오. 나는 성공하지 못한 과거에 이것을 재현하려고 노력했습니다. 나는 첫 번째 실패 사례에 더 관심이 있습니다. 여전히 오염과 관련이있을 수 있습니다.

문제를 재현했습니다. 요청한 명령을 실행했습니다. 정보는 다음과 같습니다.

I0716 14:47:52.768362       1 factory.go:462] Unable to schedule default/test-deployment-558f47bbbb-4rt5t: no fit: 0/6 nodes are available: 5 node(s) didn't match node selector.; waiting
I0716 14:47:52.768683       1 scheduler.go:776] Updating pod condition for default/test-deployment-558f47bbbb-4rt5t to (PodScheduled==False, Reason=Unschedulable)
I0716 14:47:53.018781       1 httplog.go:90] verb="GET" URI="/healthz" latency=299.172µs resp=200 UserAgent="kube-probe/1.18" srcIP="127.0.0.1:57258": 
I0716 14:47:59.469828       1 comparer.go:42] cache comparer started
I0716 14:47:59.470936       1 comparer.go:67] cache comparer finished
I0716 14:47:59.471038       1 dumper.go:47] Dump of cached NodeInfo
I0716 14:47:59.471484       1 dumper.go:49] 
Node name: master-0-bug
Requested Resources: {MilliCPU:1100 Memory:52428800 EphemeralStorage:0 AllowedPodNumber:0 ScalarResources:map[]}
Allocatable Resources:{MilliCPU:2000 Memory:3033427968 EphemeralStorage:19290208634 AllowedPodNumber:110 ScalarResources:map[hugepages-1Gi:0 hugepages-2Mi:0]}
Scheduled Pods(number: 9):
...
I0716 14:47:59.472623       1 dumper.go:60] Dump of scheduling queue:
name: coredns-cd64c8d7c-29zjq, namespace: kube-system, uid: 938e8827-5d17-4db9-ac04-d229baf4534a, phase: Pending, nominated node: 
name: test-deployment-558f47bbbb-4rt5t, namespace: default, uid: fa19fda9-c8d6-4ffe-b248-8ddd24ed5310, phase: Pending, nominated node: 

불행히도 도움이되지 않는 것 같습니다.

캐시를 덤프하는 것은 디버깅을위한 것이며 아무것도 변경하지 않습니다. 덤프를 포함 해 주시겠습니까?

또한 이것이 첫 번째 오류라고 가정하면 pod yaml 및 노드를 포함 할 수 있습니까?

그것은 거의 버려진 모든 것입니다. 저는 다른 노드를 제거했습니다. 이것이 첫 번째 오류는 아니지만 덤프에서 coredns 포드를 볼 수 있습니다. 이것이 첫 번째 오류였습니다. 나는 당신이 쓰레기장에서 무엇을 요구하고 있는지 잘 모르겠습니다.
나는 yamls를 가져올거야

감사합니다. 관련 노드와 포드를 다듬 었다는 사실을 몰랐습니다.

그래도 해당 노드에 대해 예약 된 포드를 포함 할 수 있습니까? 리소스 사용량 계산에 버그가있는 경우를 대비하여.

Requested Resources: {MilliCPU:1100 Memory:52428800 EphemeralStorage:0 AllowedPodNumber:0 ScalarResources:map[]}

AllowedPodNumber: 0 이 이상해 보입니다.

해당 노드의 다른 포드는 다음과 같습니다.
` name: kube-controller-manager-master-0-bug, namespace: kube-system, uid: 095eebb0-4752-419b-aac7-245e5bc436b8, phase: Running, nominated node: name: kube-proxy-xwf6h, namespace: kube-system, uid: 16552eaf-9eb8-4584-ba3c-7dff6ce92592, phase: Running, nominated node: name: kube-apiserver-master-0-bug, namespace: kube-system, uid: 1d338e26-b0bc-4cef-9bad-86b7dd2b2385, phase: Running, nominated node: name: kube-multus-ds-amd64-tpkm8, namespace: kube-system, uid: d50c0c7f-599c-41d5-a029-b43352a4f5b8, phase: Running, nominated node: name: openstack-cloud-controller-manager-wrb8n, namespace: kube-system, uid: 17aeb589-84a1-4416-a701-db6d8ef60591, phase: Running, nominated node: name: kube-scheduler-master-0-bug, namespace: kube-system, uid: 52469084-3122-4e99-92f6-453e512b640f, phase: Running, nominated node: name: subport-controller-28j9v, namespace: kube-system, uid: a5a07ac8-763a-4ff2-bdae-91c6e9e95698, phase: Running, nominated node: name: csi-cinder-controllerplugin-0, namespace: kube-system, uid: 8b16d6c8-a871-454e-98a3-0aa545f9c9d0, phase: Running, nominated node: name: calico-node-d899t, namespace: kube-system, uid: e3672030-53b1-4356-a5df-0f4afd6b9237, phase: Running, nominated node:

모든 노드는 덤프의 요청 된 리소스에서 allowedPodNumber를 0으로 설정했지만 다른 노드는 예약 가능합니다.

yaml 노드 :

apiVersion: v1
kind: Node
metadata:
  annotations:
    kubeadm.alpha.kubernetes.io/cri-socket: /var/run/dockershim.sock
    node.alpha.kubernetes.io/ttl: "0"
    volumes.kubernetes.io/controller-managed-attach-detach: "true"
  creationTimestamp: "2020-07-16T09:59:48Z"
  labels:
    beta.kubernetes.io/arch: amd64
    beta.kubernetes.io/instance-type: 54019dbc-10d7-409c-8338-5556f61a9371
    beta.kubernetes.io/os: linux
    failure-domain.beta.kubernetes.io/region: regionOne
    failure-domain.beta.kubernetes.io/zone: nova
    kubernetes.io/arch: amd64
    kubernetes.io/hostname: master-0-bug
    kubernetes.io/os: linux
    node-role.kubernetes.io/master: ""
    node.kubernetes.io/instance-type: 54019dbc-10d7-409c-8338-5556f61a9371
    node.uuid: 00324054-405e-4fae-a3bf-d8509d511ded
    node.uuid_source: cloud-init
    topology.kubernetes.io/region: regionOne
    topology.kubernetes.io/zone: nova
  name: master-0-bug
  resourceVersion: "85697"
  selfLink: /api/v1/nodes/master-0-bug
  uid: 629b6ef3-3c76-455b-8b6b-196c4754fb0e
spec:
  podCIDR: 192.168.0.0/24
  podCIDRs:
  - 192.168.0.0/24
  providerID: openstack:///00324054-405e-4fae-a3bf-d8509d511ded
  taints:
  - effect: NoSchedule
    key: node-role.kubernetes.io/master
status:
  addresses:
  - address: 10.0.10.14
    type: InternalIP
  - address: master-0-bug
    type: Hostname
  allocatable:
    cpu: "2"
    ephemeral-storage: "19290208634"
    hugepages-1Gi: "0"
    hugepages-2Mi: "0"
    memory: 2962332Ki
    pods: "110"
  capacity:
    cpu: "2"
    ephemeral-storage: 20931216Ki
    hugepages-1Gi: "0"
    hugepages-2Mi: "0"
    memory: 3064732Ki
    pods: "110"
  conditions:
  - lastHeartbeatTime: "2020-07-16T10:02:20Z"
    lastTransitionTime: "2020-07-16T10:02:20Z"
    message: Calico is running on this node
    reason: CalicoIsUp
    status: "False"
    type: NetworkUnavailable
  - lastHeartbeatTime: "2020-07-16T15:46:11Z"
    lastTransitionTime: "2020-07-16T09:59:43Z"
    message: kubelet has sufficient memory available
    reason: KubeletHasSufficientMemory
    status: "False"
    type: MemoryPressure
  - lastHeartbeatTime: "2020-07-16T15:46:11Z"
    lastTransitionTime: "2020-07-16T09:59:43Z"
    message: kubelet has no disk pressure
    reason: KubeletHasNoDiskPressure
    status: "False"
    type: DiskPressure
  - lastHeartbeatTime: "2020-07-16T15:46:11Z"
    lastTransitionTime: "2020-07-16T09:59:43Z"
    message: kubelet has sufficient PID available
    reason: KubeletHasSufficientPID
    status: "False"
    type: PIDPressure
  - lastHeartbeatTime: "2020-07-16T15:46:11Z"
    lastTransitionTime: "2020-07-16T10:19:44Z"
    message: kubelet is posting ready status. AppArmor enabled
    reason: KubeletReady
    status: "True"
    type: Ready
  daemonEndpoints:
    kubeletEndpoint:
      Port: 10250
  nodeInfo:
    architecture: amd64
    bootID: fe410ed3-2825-4f94-a9f9-08dc5e6a955e
    containerRuntimeVersion: docker://19.3.11
    kernelVersion: 4.12.14-197.45-default
    kubeProxyVersion: v1.18.5
    kubeletVersion: v1.18.5
    machineID: 00324054405e4faea3bfd8509d511ded
    operatingSystem: linux
    systemUUID: 00324054-405e-4fae-a3bf-d8509d511ded

그리고 포드 :

apiVersion: v1
kind: Pod
metadata:
  creationTimestamp: "2020-07-16T10:13:35Z"
  generateName: pm-node-exporter-
  labels:
    controller-revision-hash: 6466d9c7b
    pod-template-generation: "1"
  name: pm-node-exporter-mn9vj
  namespace: monitoring
  ownerReferences:
  - apiVersion: apps/v1
    blockOwnerDeletion: true
    controller: true
    kind: DaemonSet
    name: pm-node-exporter
    uid: 5855a26f-a57e-4b0e-93f2-461c19c477e1
  resourceVersion: "5239"
  selfLink: /api/v1/namespaces/monitoring/pods/pm-node-exporter-mn9vj
  uid: 0db09c9c-1618-4454-94fa-138e55e5ebd7
spec:
  affinity:
    nodeAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
        nodeSelectorTerms:
        - matchFields:
          - key: metadata.name
            operator: In
            values:
            - master-0-bug
  containers:
  - args:
    - --path.procfs=/host/proc
    - --path.sysfs=/host/sys
    image: ***
    imagePullPolicy: IfNotPresent
    livenessProbe:
      failureThreshold: 3
      httpGet:
        path: /
        port: 9100
        scheme: HTTP
      initialDelaySeconds: 5
      periodSeconds: 5
      successThreshold: 1
      timeoutSeconds: 1
    name: pm-node-exporter
    ports:
    - containerPort: 9100
      hostPort: 9100
      name: metrics
      protocol: TCP
    resources:
      limits:
        cpu: 200m
        memory: 150Mi
      requests:
        cpu: 100m
        memory: 100Mi
    terminationMessagePath: /dev/termination-log
    terminationMessagePolicy: File
    volumeMounts:
    - mountPath: /host/proc
      name: proc
      readOnly: true
    - mountPath: /host/sys
      name: sys
      readOnly: true
    - mountPath: /var/run/secrets/kubernetes.io/serviceaccount
      name: pm-node-exporter-token-csllf
      readOnly: true
  dnsPolicy: ClusterFirst
  enableServiceLinks: true
  hostNetwork: true
  hostPID: true
  nodeSelector:
    node-role.kubernetes.io/master: ""
  priority: 0
  restartPolicy: Always
  schedulerName: default-scheduler
  securityContext: {}
  serviceAccount: pm-node-exporter
  serviceAccountName: pm-node-exporter
  terminationGracePeriodSeconds: 30
  tolerations:
  - effect: NoSchedule
    key: node-role.kubernetes.io/master
  - effect: NoExecute
    key: node.kubernetes.io/not-ready
    operator: Exists
  - effect: NoExecute
    key: node.kubernetes.io/unreachable
    operator: Exists
  - effect: NoSchedule
    key: node.kubernetes.io/disk-pressure
    operator: Exists
  - effect: NoSchedule
    key: node.kubernetes.io/memory-pressure
    operator: Exists
  - effect: NoSchedule
    key: node.kubernetes.io/pid-pressure
    operator: Exists
  - effect: NoSchedule
    key: node.kubernetes.io/unschedulable
    operator: Exists
  - effect: NoSchedule
    key: node.kubernetes.io/network-unavailable
    operator: Exists
  volumes:
  - hostPath:
      path: /proc
      type: ""
    name: proc
  - hostPath:
      path: /sys
      type: ""
    name: sys
  - name: pm-node-exporter-token-csllf
    secret:
      defaultMode: 420
      secretName: pm-node-exporter-token-csllf
status:
  conditions:
  - lastProbeTime: null
    lastTransitionTime: "2020-07-16T10:13:35Z"
    message: '0/6 nodes are available: 2 node(s) didn''t have free ports for the requested
      pod ports, 3 node(s) didn''t match node selector.'
    reason: Unschedulable
    status: "False"
    type: PodScheduled
  phase: Pending
  qosClass: Burstable

모든 정보에 감사드립니다. @nodo 가져갈 수 있습니까?

우리는 또한 https://github.com/Nordix/kubernetes/commit/5c00cdf195fa61316f963f59e73c6cafc2ad9bdc 를 사용하여 더 많은 정보를 얻으려고 노력하고

/도움

@maelk 는 버그를 발견하면 자유롭게 이것을 가지고 PR을 제출하십시오. 추가 한 로그 라인이 도움이 될 것입니다. 그렇지 않으면 기여자에게 열려 있습니다.

@alculquicondor :
이 요청은 기여자의 도움이 필요한 것으로 표시되었습니다.

요청이 여기에 나열된 요구 사항을 충족하는지 확인

이 요청이 더 이상 이러한 요구 사항을 충족하지 않으면 라벨을 삭제할 수 있습니다.
/remove-help 명령으로 주석 처리합니다.

/양수인

@maelk 이 문제가 처음 발생하는 타이밍에 특정한 것이 있습니까? 예를 들어 노드가 시작된 직후에 발생합니까?

아니요, 일정이 잡히고 잘 실행되는 포드가 꽤 있습니다. 그러나 문제가 발생하면 더 이상 예약 할 수 없습니다.

재현 가능한 케이스가 될 때까지 우선 순위를 낮 춥니 다.

추가 로그 항목이있는 스케줄러로 버그를 재현 할 수있었습니다. 우리가 보는 것은 마스터 중 하나가 반복되는 노드 목록에서 완전히 사라진다는 것입니다. 프로세스가 6 개의 노드 (스냅 샷에서)로 시작하는 것을 볼 수 있습니다.

I0720 13:58:28.246507       1 generic_scheduler.go:441] Looking for a node for kube-system/coredns-cd64c8d7c-tcxbq, going through []*nodeinfo.NodeInfo{(*nodeinfo.NodeInfo)(0xc000326a90), (*nodeinfo.NodeInfo)(0xc000952000), (*nodeinfo.NodeInfo)(0xc0007d08f0), (*nodeinfo.NodeInfo)(0xc0004f35f0), (*nodeinfo.NodeInfo)(0xc000607040), (*nodeinfo.NodeInfo)(0xc000952000)}

그러나 그 후에는 5 개 이상의 노드 만 반복하는 것을 볼 수 있으며 다음을 얻습니다.

I0720 13:58:28.247420       1 generic_scheduler.go:505] pod kube-system/coredns-cd64c8d7c-tcxbq : processed 5 nodes, 0 fit

따라서 노드 중 하나가 잠재적 노드 목록에서 제거됩니다. 안타깝게도 프로세스를 시작할 때 충분한 로깅이 없었지만 더 많은 정보를 얻으려고 노력할 것입니다.

로그 라인 별 코드 참조 :

1. https://github.com/Nordix/kubernetes/commit/5c00cdf195fa61316f963f59e73c6cafc2ad9bdc#diff -c237cdd9e4cb201118ca380732d7f361R441
2. https://github.com/Nordix/kubernetes/commit/5c00cdf195fa61316f963f59e73c6cafc2ad9bdc#diff -c237cdd9e4cb201118ca380732d7f361R505

@maelk
%v/%v on node %v, too many nodes fit 대한 줄이 있습니까?

그렇지 않으면 @pancernik 에서 workqueue.ParallelizeUntil(ctx, 16, len(allNodes), checkNode) 에서 버그를 확인할 수 있습니까?

아니요, 해당 로그는 나타나지 않았습니다. 또한 병렬화에 문제가 있거나 해당 노드가 더 일찍 필터링 될 수 있다고 생각합니다. 여기에 오류가 발생하여 실패한 경우 : https://github.com/Nordix/kubernetes/commit/5c00cdf195fa61316f963f59e73c6cafc2ad9bdc#diff -c237cdd9e4cb201118ca380732d7f361R464 로그 afaik에 특히 더 많은 디버그 항목을 추가하려고합니다. 함수와 병렬화.

한 노드가 필터링을 두 번 거치는 것을 방금 깨달았습니다!

로그는 다음과 같습니다.

I0720 13:58:28.246507       1 generic_scheduler.go:441] Looking for a node for kube-system/coredns-cd64c8d7c-tcxbq, going through []*nodeinfo.NodeInfo{(*nodeinfo.NodeInfo)(0xc000326a90), (*nodeinfo.NodeInfo)(0xc000952000), (*nodeinfo.NodeInfo)(0xc0007d08f0), (*nodeinfo.NodeInfo)(0xc0004f35f0), (*nodeinfo.NodeInfo)(0xc000607040), (*nodeinfo.NodeInfo)(0xc000952000)}
I0720 13:58:28.246793       1 generic_scheduler.go:469] pod kube-system/coredns-cd64c8d7c-tcxbq on node worker-pool1-60846k0y-scheduler, fits: false, status: &v1alpha1.Status{code:3, reasons:[]string{"node(s) didn't match node selector"}}
I0720 13:58:28.246970       1 generic_scheduler.go:483] pod kube-system/coredns-cd64c8d7c-tcxbq on node worker-pool1-60846k0y-scheduler : status is not success
I0720 13:58:28.246819       1 taint_toleration.go:71] Checking taints for pod kube-system/coredns-cd64c8d7c-tcxbq for node master-0-scheduler : taints : []v1.Taint{v1.Taint{Key:"node-role.kubernetes.io/master", Value:"", Effect:"NoSchedule", TimeAdded:(*v1.Time)(nil)}} and tolerations: []v1.Toleration{v1.Toleration{Key:"node-role.kubernetes.io/master", Operator:"Exists", Value:"", Effect:"NoSchedule", TolerationSeconds:(*int64)(nil)}, v1.Toleration{Key:"CriticalAddonsOnly", Operator:"Exists", Value:"", Effect:"NoSchedule", TolerationSeconds:(*int64)(nil)}, v1.Toleration{Key:"node-role.kubernetes.io/master", Operator:"Exists", Value:"", Effect:"NoExecute", TolerationSeconds:(*int64)(nil)}, v1.Toleration{Key:"node-role.kubernetes.io/not-ready", Operator:"Exists", Value:"", Effect:"NoSchedule", TolerationSeconds:(*int64)(nil)}, v1.Toleration{Key:"node.kubernetes.io/not-ready", Operator:"Exists", Value:"", Effect:"NoExecute", TolerationSeconds:(*int64)(0xc000d40d90)}, v1.Toleration{Key:"node.kubernetes.io/unreachable", Operator:"Exists", Value:"", Effect:"NoExecute", TolerationSeconds:(*int64)(0xc000d40db0)}}
I0720 13:58:28.247019       1 taint_toleration.go:71] Checking taints for pod kube-system/coredns-cd64c8d7c-tcxbq for node master-2-scheduler : taints : []v1.Taint{v1.Taint{Key:"node-role.kubernetes.io/master", Value:"", Effect:"NoSchedule", TimeAdded:(*v1.Time)(nil)}} and tolerations: []v1.Toleration{v1.Toleration{Key:"node-role.kubernetes.io/master", Operator:"Exists", Value:"", Effect:"NoSchedule", TolerationSeconds:(*int64)(nil)}, v1.Toleration{Key:"CriticalAddonsOnly", Operator:"Exists", Value:"", Effect:"NoSchedule", TolerationSeconds:(*int64)(nil)}, v1.Toleration{Key:"node-role.kubernetes.io/master", Operator:"Exists", Value:"", Effect:"NoExecute", TolerationSeconds:(*int64)(nil)}, v1.Toleration{Key:"node-role.kubernetes.io/not-ready", Operator:"Exists", Value:"", Effect:"NoSchedule", TolerationSeconds:(*int64)(nil)}, v1.Toleration{Key:"node.kubernetes.io/not-ready", Operator:"Exists", Value:"", Effect:"NoExecute", TolerationSeconds:(*int64)(0xc000d40d90)}, v1.Toleration{Key:"node.kubernetes.io/unreachable", Operator:"Exists", Value:"", Effect:"NoExecute", TolerationSeconds:(*int64)(0xc000d40db0)}}
I0720 13:58:28.247144       1 generic_scheduler.go:469] pod kube-system/coredns-cd64c8d7c-tcxbq on node master-2-scheduler, fits: false, status: &v1alpha1.Status{code:2, reasons:[]string{"node(s) didn't match pod affinity/anti-affinity", "node(s) didn't satisfy existing pods anti-affinity rules"}}
I0720 13:58:28.247172       1 generic_scheduler.go:483] pod kube-system/coredns-cd64c8d7c-tcxbq on node master-2-scheduler : status is not success
I0720 13:58:28.247210       1 generic_scheduler.go:469] pod kube-system/coredns-cd64c8d7c-tcxbq on node worker-pool1-7dt1xd4k-scheduler, fits: false, status: &v1alpha1.Status{code:3, reasons:[]string{"node(s) didn't match node selector"}}
I0720 13:58:28.247231       1 generic_scheduler.go:483] pod kube-system/coredns-cd64c8d7c-tcxbq on node worker-pool1-7dt1xd4k-scheduler : status is not success
I0720 13:58:28.247206       1 generic_scheduler.go:469] pod kube-system/coredns-cd64c8d7c-tcxbq on node worker-pool1-60846k0y-scheduler, fits: false, status: &v1alpha1.Status{code:3, reasons:[]string{"node(s) didn't match node selector"}}
I0720 13:58:28.247297       1 generic_scheduler.go:483] pod kube-system/coredns-cd64c8d7c-tcxbq on node worker-pool1-60846k0y-scheduler : status is not success
I0720 13:58:28.247246       1 generic_scheduler.go:469] pod kube-system/coredns-cd64c8d7c-tcxbq on node worker-pool1-hyk0hg7r-scheduler, fits: false, status: &v1alpha1.Status{code:3, reasons:[]string{"node(s) didn't match node selector"}}
I0720 13:58:28.247340       1 generic_scheduler.go:483] pod kube-system/coredns-cd64c8d7c-tcxbq on node worker-pool1-hyk0hg7r-scheduler : status is not success
I0720 13:58:28.247147       1 generic_scheduler.go:469] pod kube-system/coredns-cd64c8d7c-tcxbq on node master-0-scheduler, fits: false, status: &v1alpha1.Status{code:2, reasons:[]string{"node(s) didn't match pod affinity/anti-affinity", "node(s) didn't satisfy existing pods anti-affinity rules"}}
I0720 13:58:28.247375       1 generic_scheduler.go:483] pod kube-system/coredns-cd64c8d7c-tcxbq on node master-0-scheduler : status is not success
I0720 13:58:28.247420       1 generic_scheduler.go:505] pod kube-system/coredns-cd64c8d7c-tcxbq : processed 5 nodes, 0 fit
I0720 13:58:28.247461       1 generic_scheduler.go:430] pod kube-system/coredns-cd64c8d7c-tcxbq After scheduling, filtered: []*v1.Node{}, filtered nodes: v1alpha1.NodeToStatusMap{"master-0-scheduler":(*v1alpha1.Status)(0xc000d824a0), "master-2-scheduler":(*v1alpha1.Status)(0xc000b736c0), "worker-pool1-60846k0y-scheduler":(*v1alpha1.Status)(0xc000d825a0), "worker-pool1-7dt1xd4k-scheduler":(*v1alpha1.Status)(0xc000b737e0), "worker-pool1-hyk0hg7r-scheduler":(*v1alpha1.Status)(0xc000b738c0)}
I0720 13:58:28.247527       1 generic_scheduler.go:185] Pod kube-system/coredns-cd64c8d7c-tcxbq failed scheduling:
  nodes snapshot: &cache.Snapshot{nodeInfoMap:map[string]*nodeinfo.NodeInfo{"master-0-scheduler":(*nodeinfo.NodeInfo)(0xc000607040), "master-1-scheduler":(*nodeinfo.NodeInfo)(0xc0001071e0), "master-2-scheduler":(*nodeinfo.NodeInfo)(0xc000326a90), "worker-pool1-60846k0y-scheduler":(*nodeinfo.NodeInfo)(0xc000952000), "worker-pool1-7dt1xd4k-scheduler":(*nodeinfo.NodeInfo)(0xc0007d08f0), "worker-pool1-hyk0hg7r-scheduler":(*nodeinfo.NodeInfo)(0xc0004f35f0)}, nodeInfoList:[]*nodeinfo.NodeInfo{(*nodeinfo.NodeInfo)(0xc000326a90), (*nodeinfo.NodeInfo)(0xc000952000), (*nodeinfo.NodeInfo)(0xc0007d08f0), (*nodeinfo.NodeInfo)(0xc0004f35f0), (*nodeinfo.NodeInfo)(0xc000607040), (*nodeinfo.NodeInfo)(0xc000952000)}, havePodsWithAffinityNodeInfoList:[]*nodeinfo.NodeInfo{(*nodeinfo.NodeInfo)(0xc000326a90), (*nodeinfo.NodeInfo)(0xc000607040)}, generation:857} 
  statuses: v1alpha1.NodeToStatusMap{"master-0-scheduler":(*v1alpha1.Status)(0xc000d824a0), "master-2-scheduler":(*v1alpha1.Status)(0xc000b736c0), "worker-pool1-60846k0y-scheduler":(*v1alpha1.Status)(0xc000d825a0), "worker-pool1-7dt1xd4k-scheduler":(*v1alpha1.Status)(0xc000b737e0), "worker-pool1-hyk0hg7r-scheduler":(*v1alpha1.Status)(0xc000b738c0)} 

보시다시피 worker-pool1-60846k0y-scheduler 노드는 필터링을 두 번 수행합니다.

아니요, 해당 로그는 나타나지 않았습니다. 또한 병렬화에 문제가 있거나 해당 노드가 더 일찍 필터링 될 수 있다고 생각합니다. 여기에 오류가 발생하여 실패한 경우 : Nordix @ 5c00cdf # diff -c237cdd9e4cb201118ca380732d7f361R464 로그 afaik에서 볼 수 있으므로 특히 함수 및 병렬화 주위에 디버그 항목을 더 추가하려고합니다.

예, 오류는 포드 이벤트에서 예약 오류로 나타납니다.

한 노드가 필터링을 두 번 거치는 것을 방금 깨달았습니다!

솔직히 병렬화에 버그가 있다고 생각하지 않습니다 (여전히 확인할 가치가 있습니다). 노드 두 번. 상태는 맵이기 때문에 마지막 로그 라인에서 5 개의 노드 만 "보는"것이 합리적입니다.

이것은 코드입니다 (1.18 팁) https://github.com/kubernetes/kubernetes/blob/ec73e191f47b7992c2f40fadf1389446d6661d6d/pkg/scheduler/internal/cache/cache.go#L203

cc @ ahg-g

스케줄러의 캐시 부분, 특히 노드 추가 및 업데이트, 스냅 샷 주변에 많은 로그를 추가하려고합니다. 그러나 로그의 마지막 줄에서 스냅 샷이 실제로 올 바르고 모든 노드가 포함되어 있음을 알 수 있으므로 해당 스냅 샷에 대해 작업 할 때 어떤 일이 발생하든 나중에 발생하는 것처럼 보입니다.

캐시! = 스냅 샷

캐시는 이벤트에서 업데이트되는 살아있는 것입니다. 스냅 샷은 각 스케줄링주기 전에 캐시에서 업데이트되어 상태를 "잠금"합니다. 이 마지막 프로세스를 최대한 빨리 만들기 위해 최적화를 추가했습니다. 버그가있을 가능성이 있습니다.

감사합니다 @maelk! 이것은 매우 유용합니다. 로그에 따르면 병렬 코드가 실행되기 전에 (*nodeinfo.NodeInfo)(0xc000952000) 이 이미 https://github.com/Nordix/kubernetes/commit/5c00cdf195fa61316f963f59e73c6cafc2ad9bdc#diff -c237cdd9e4cb201118ca380732d7f361R441에있는 목록에 중복되어 있습니다. 이는 실제로 스냅 샷이 업데이트되기 전에 복제되었음을 의미합니다.

실제로이 로그 메시지 이전에 발생하는 스냅 샷에서 가져온 것입니다. https://github.com/Nordix/kubernetes/commit/5c00cdf195fa61316f963f59e73c6cafc2ad9bdc#diff -c237cdd9e4cb201118ca380732d7f361R161. 따라서 https://github.com/Nordix/kubernetes/commit/5c00cdf195fa61316f963f59e73c6cafc2ad9bdc#diff -c237cdd9e4cb201118ca380732d7f361R436에서 가져 오기 때문에 오히려 스냅 샷의 내용에 중복이있는 것처럼 보입니다.

맞습니다. 스냅 샷 업데이트가 완료되기 전에 이미 복제되었음을 의미했습니다.

맞습니다. 스냅 샷 업데이트가 완료되기 전에 이미 복제되었음을 의미했습니다.

아니요, 스냅 샷은 스케줄링주기가 시작될 때 업데이트됩니다. 버그는 스냅 샷 업데이트 중이거나 그 이전입니다. 그러나 https://github.com/kubernetes/kubernetes/issues/91601#issuecomment -659465008의 덤프에 따르면 캐시는 정확합니다.

편집 : 잘못 읽었습니다. "완료"라는 단어를 보지 못했습니다. :)

PR 최적화 업데이트 스냅 샷은 1.18에서 수행되었습니다 : https://github.com/kubernetes/kubernetes/pull/85738 및 https://github.com/kubernetes/kubernetes/pull/86919

노드 트리에도 중복 레코드가 있는지 궁금합니다.

노드 트리에도 중복 레코드가 있는지 궁금합니다.

@maelk 캐시에있는 전체 노드 목록의 덤프를 보여줄 수 있습니까?

NodeInfoList에서 항목을 추가 / 제거하지 않고 트리에서 전체 목록을 만들거나 만들지 않습니다. 따라서 중복 항목이 있으면 트리에서 나올 가능성이 높습니다.

다시 한번 확인하기 위해:
1) 클러스터에는 6 개의 노드 (마스터 포함)가 있습니다.
2) 포드를 호스팅해야하는 노드가 전혀 검사되지 않았습니다 (로그 라인이 없음). 이는 NodeInfoList에 전혀 포함되지 않았 음을 의미 할 수 있습니다.
3) NodeInfoList에 6 개의 노드가 있지만 그중 하나가 중복됩니다.

노드 트리에도 중복 레코드가 있는지 궁금합니다.

@maelk 캐시에있는 전체 노드 목록의 덤프를 보여줄 수 있습니까?

각 노드 트리, 목록 및 맵을 덤프하면 좋을 것입니다.

나는 그것들을 얻기 위해 노력할 것이다. 그동안 작은 업데이트입니다. 로그에서 볼 수 있습니다.

I0720 13:37:30.530980       1 node_tree.go:100] Removed node "worker-pool1-60846k0y-scheduler" in group "" from NodeTree
I0720 13:37:30.531136       1 node_tree.go:86] Added node "worker-pool1-60846k0y-scheduler" in group "regionOne:\x00:nova" to NodeTree

그리고 그것이 누락 된 노드가 사라지는 정확한 지점입니다. 로그의 마지막 발생은 13:37:24입니다. 다음 스케줄링에서 누락 된 노드가 사라집니다. 그래서 버그가 node_tree의 업데이트 / follows에있는 것처럼 보입니다. 모든 노드는 해당 업데이트를 거치며,이 작업자 608이 마지막으로 거치는 것입니다.

캐시를 덤프 할 때 (SIGUSR2 사용) 6 개의 노드가 모두 여기에 나열되며 노드에서 중복 또는 누락 된 노드없이 포드가 실행됩니다.

스냅 샷 기능에 대한 디버그를 추가하여 새로운 시도를 할 것입니다 : https://github.com/Nordix/kubernetes/commit/53279fb06536558f9a91836c771b182791153791

NodeTree에서 ""그룹의 "worker-pool1-60846k0y-scheduler"노드를 제거했습니다.

흥미롭게도 제거 / 추가는 updateNode 호출에 의해 트리거된다고 생각합니다. 영역 키는 제거시 누락되었지만 추가시 존재하므로 업데이트는 기본적으로 영역 및 지역 레이블을 추가하는 것입니까?

이 노드와 관련된 다른 스케줄러 로그가 있습니까?

로깅이 추가 된 버그를 재현하려고합니다. 더 많은 정보가 있으면 다시 올게요

나는 그것들을 얻기 위해 노력할 것이다. 그동안 작은 업데이트입니다. 로그에서 볼 수 있습니다.

I0720 13:37:30.530980       1 node_tree.go:100] Removed node "worker-pool1-60846k0y-scheduler" in group "" from NodeTree
I0720 13:37:30.531136       1 node_tree.go:86] Added node "worker-pool1-60846k0y-scheduler" in group "regionOne:\x00:nova" to NodeTree

나는 그러한 노드가 반복되는 노드라는 것을 지적 할 것입니다. @maelk , 다른 노드에 대해 유사한 메시지를 보았습니까? @ ahg-g로서 노드가 처음으로 토폴로지 레이블을받을 때 예상되어야합니다.

예, 모든 노드에 대해 발생했으며 예상됩니다. 우연의 일치는이 노드가 특히 마지막으로 업데이트 된 노드이고 정확한 시간에 다른 노드가 누락된다는 것입니다.

누락 된 노드에 대한 업데이트 로그를 얻었습니까?

누락 된 노드에 대한 업데이트 로그를 얻었습니까?

롤,이 질문을 입력하고있었습니다.

버그는 모든 노드가 제거되기 전에 전체 영역이 트리에서 삭제된다는 것입니다.

명확히하기 위해 저는 개인적으로 코드를 보는 것이 아니라 우리가 모든 정보를 가지고 있는지 확인하려고 노력하고 있습니다. 그리고 지금 우리가 가지고있는 것으로 버그를 발견 할 수 있어야한다고 생각합니다. 실패한 단위 테스트를 제공 할 수 있다면 PR을 자유롭게 제출하십시오.

누락 된 노드에 대한 업데이트 로그를 얻었습니까?

예, 누락 된 노드에 대해 영역이 업데이트되었음을 ​​보여줍니다. 모든 노드에 대한 로그 항목이 있습니다.

솔직히 말해서 버그의 원인에 대한 단서가 아직 없지만 발견에 가까워지면 PR 또는 단위 테스트를 제출할 것입니다.

예, 누락 된 노드에 대해 영역이 업데이트되었음을 ​​보여줍니다. 모든 노드에 대한 로그 항목이 있습니다.

그렇다면 "누락 된 노드가 사라지는 정확한 지점"이라고 가정합니다. 상관되지 않을 수 있습니다. 새 로그를 기다립니다. 파일에있는 모든 스케줄러 로그를 공유 할 수 있다면 좋을 것입니다.

새 로깅으로 재현 할 때 할 것입니다. 기존 항목에서 실제로 해당 업데이트 직후의 포드 예약이 실패한 첫 번째 포드임을 알 수 있습니다. 그러나 그 사이에 무슨 일이 일어 났는지 알 수있는 충분한 정보를 제공하지 않으므로 계속 지켜봐주십시오 ...

@maelk 스케줄러 로그에서 snapshot state is not consistent 로 시작하는 메시지를 보셨습니까?

전체 스케줄러 로그를 제공 할 수 있습니까?

아니요, 해당 메시지가 없습니다. 반복을 피하기 위해 스트라이프 다운 로그 파일을 제공 할 수 있지만 먼저 스냅 샷 주변에 더 많은 로그가 포함 된 출력이 나올 때까지 기다리겠습니다.

버그를 찾았습니다. 문제는 경우에 따라 모든 노드 목록을 반환하지 않는 nodeTree next () 함수에 있습니다. https://github.com/kubernetes/kubernetes/blob/release-1.18/pkg/scheduler/internal/cache/node_tree.go#L147

여기에 다음을 추가하면 볼 수 있습니다. https://github.com/kubernetes/kubernetes/blob/release-1.18/pkg/scheduler/internal/cache/node_tree_test.go#L443

{
    name:           "add nodes to a new and to an exhausted zone",
    nodesToAdd:     append(allNodes[5:9], allNodes[3]),
    nodesToRemove:  nil,
    operations:     []string{"add", "add", "next", "next", "add", "add", "add", "next", "next", "next", "next"},
    expectedOutput: []string{"node-6", "node-7", "node-3", "node-8", "node-6", "node-7"},
},

주된 문제는 노드를 추가 할 때 일부 영역에 대한 인덱스가 0이 아니라는 것입니다. 이를 위해서는 최소한 두 개의 영역이 있어야합니다. 하나는 다른 영역보다 짧고 하나는 다음 함수를 처음 호출 할 때 인덱스가 0으로 설정되지 않은 더 긴 영역입니다.

내가 함께했던 수정 사항은 next ()를 처음 호출하기 전에 인덱스를 재설정하는 것입니다. 수정 사항을 보여주기 위해 PR을 열었습니다. 물론 이것은 내가 작업해온 것이므로 1.18 릴리스에 위배되지만, 주로 그것을 고치는 방법을 논의하기위한 것입니다 (또는 next () 함수 자체를 고칠 수도 있습니다). 마스터에 대한 적절한 PR을 열고 필요한 경우 나중에 백 포트를 수행 할 수 있습니다.

반복에서 동일한 문제를 발견했습니다. 하지만 스냅 샷의 복제본에 연결하지 못했습니다. 그런 일이 일어날 수있는 시나리오를 만들 수 있었나요, @maelk?

예, 내가 넣은 작은 코드를 추가하여 단위 테스트에서 실행할 수 있습니다.

현재 제대로 테스트되었는지 확인하기 위해 스냅 샷에 대한 테스트 케이스를 추가하는 중입니다.

문제를 재현하고 설정에서 테스트를 실행하는 데 도움을 준 @igraecao 에게 큰 엄지 손가락

이 악명 높은 문제를 디버깅 해 주셔서 감사합니다. 목록을 만들기 전에 색인을 재설정하는 것이 안전하므로 1.18 및 1.19 패치에 대해이를 사용하고 마스터 브랜치에서 적절한 수정을해야한다고 생각합니다.

next 함수의 목적은 NodeInfoList의 도입으로 변경되었으므로 확실히 단순화하고 트리에서 목록을 생성하고 간단히 시작하는 함수 인 toList 변경할 수 있습니다. 처음부터 매번.

이제 문제를 이해합니다. 영역이 소진되었는지 여부에 대한 계산은 각 영역에서이 "UpdateSnapshot"프로세스를 시작한 위치를 고려하지 않기 때문에 잘못되었습니다. 그리고 네, 고르지 않은 영역에서만 볼 수 있습니다.

@maelk를 발견했습니다!

이전 버전에서도 동일한 문제가 있다고 생각합니다. 그러나 매번 트리 패스를한다는 사실에 숨겨져 있습니다. 1.18에서는 트리에 변경 사항이있을 때까지 결과를 스냅 샷합니다.

이제 라운드 로빈 전략이 generic_scheduler.go에서 구현되었으므로 PR이 수행하는 것처럼 UpdateSnapshot 전에 모든 카운터를 재설정하는 것이 좋습니다.

https://github.com/kubernetes/kubernetes/blob/02cf58102a61b6d1e021e256381ff750573ce55d/pkg/scheduler/core/generic_scheduler.go#L357

@ ahg-g를 다시 확인하기 위해 새 노드가 항상 추가 / 제거 된 클러스터에서도 괜찮을 것입니다.

근본 원인을 찾아 주신 @maelk 에게 감사드립니다!

다음 함수의 목적은 NodeInfoList의 도입으로 변경되었으므로 확실히 단순화하고 트리에서 목록을 생성하고 매번 처음부터 시작하는 함수 인 toList로 변경할 수 있습니다.

cache.nodeTree.next() 가 스냅 샷 nodeInfoList를 빌드 할 때만 호출된다는 점을 감안할 때 nodeTree 구조체에서 인덱스 (zoneIndex 및 nodeIndex 모두)를 제거하는 것도 안전하다고 생각합니다. 대신, 라운드 로빈 방식으로 영역 / 노드를 반복하는 간단한 nodeIterator() 함수를 생각해보십시오.

BTW : https://github.com/kubernetes/kubernetes/issues/91601#issuecomment -662663090에 오타가 있습니다. 사례는 다음과 같아야합니다.

{
    name:           "add nodes to a new and to an exhausted zone",
    nodesToAdd:     append(allNodes[6:9], allNodes[3]),
    nodesToRemove:  nil,
    operations:     []string{"add", "add", "next", "next", "add", "add", "next", "next", "next", "next"},
    expectedOutput: []string{"node-6", "node-7", "node-3", "node-8", "node-6", "node-7"},
    // with codecase on master and 1.18, its output is [node-6 node-7 node-3 node-8 node-6 node-3]
},

@ ahg-g를 다시 확인하기 위해 새 노드가 항상 추가 / 제거 된 클러스터에서도 괜찮을 것입니다.

generic_scheduler.go의 논리에 대해 이야기하고 있다고 가정합니다. 그렇다면 노드가 추가 또는 제거되었는지는 중요하지 않습니다. 피해야 할 주요 사항은 매번 같은 순서로 노드를 반복하는 것입니다. 포드를 예약하고 포드간에 노드를 반복하는 좋은 근사치 만 있으면됩니다.

cache.nodeTree.next ()가 스냅 샷 nodeInfoList를 빌드 할 때만 호출된다는 점을 감안할 때 nodeTree 구조체에서 인덱스 (zoneIndex 및 nodeIndex 모두)를 제거하는 것도 안전하다고 생각합니다. 대신, 라운드 로빈 방식으로 영역 / 노드를 반복하는 간단한 nodeIterator () 함수를 생각해보십시오.

예, 매번 동일한 순서로 모든 영역 / 노드를 반복하면됩니다.

특히 해당 버그에 대해 snapshotlist를 업데이트하는 기능에 대한 단위 테스트로 PR을 업데이트했습니다. 라운드 로빈없이 영역과 노드를 반복하도록 next () 함수를 리팩토링하여 문제를 제거 할 수도 있습니다.

고마워요. 좋게 들리지만, 지금과 같은 방식으로 영역 사이를 반복해야합니다.

나는 당신이 여기서 의미하는 바를 정말로 이해하지 못합니다. 노드의 순서가 중요하고 여전히 영역간에 라운드 로빈을 진행해야합니까? 아니면 영역의 모든 노드를 한 영역 씩 나열 할 수 있습니까? 각각 두 개의 노드로 구성된 두 개의 영역이 있다고 가정 해 보겠습니다. 어떤 순서로 예상합니까, 아니면 전혀 중요하지 않습니까?

순서가 중요합니다. 목록을 만드는 동안 영역을 번갈아 가며해야합니다. 각각 z1: {n11, n12} 및 z2: {n21, n22} 및 {n11, n21, n12, n22} 이어야합니다.

알았어, 고마워. 생각해 볼게. 그동안 빠른 수정을 진행할 수 있습니까? btw, 일부 테스트가 실패했지만 그것이 내 PR과 어떤 관련이 있는지 잘 모르겠습니다.

그것들은 플레이크입니다. 1.18에도 패치를 보내주십시오.

알았어 할게. 감사

{
  name:           "add nodes to a new and to an exhausted zone",
  nodesToAdd:     append(allNodes[5:9], allNodes[3]),
  nodesToRemove:  nil,
  operations:     []string{"add", "add", "next", "next", "add", "add", "add", "next", "next", "next", "next"},
  expectedOutput: []string{"node-6", "node-7", "node-3", "node-8", "node-6", "node-7"},
},

@maelk ,이 테스트가 'node-5'를 무시한다는 의미입니까?

https://github.com/kubernetes/kubernetes/pull/93516 에서 추가를 수정 한 후 모든 노드를 반복 할 수있는 테스트 결과를 찾았습니다.

{
            name:           "add nodes to a new and to an exhausted zone",
            nodesToAdd:     append(append(make([]*v1.Node, 0), allNodes[5:9]...), allNodes[3]),
            nodesToRemove:  nil,
            operations:     []string{"add", "add", "next", "next", "add", "add", "add", "next", "next", "next", "next"},
            expectedOutput: []string{"node-5", "node-6", "node-3", "node-7", "node-8", "node-5"},
},

node-5, 6, 7, 8, 3은 반복 될 수 있습니다.

여기에 뭔가 오해가 있으면 용서 해주세요.

예, 거기에 있던 것에 근거한 의도적 인 것이었지만 이것이 어떻게 비밀 스러울 수 있는지 알 수 있으므로 추가가 더 명확한 방식으로 작동하도록 만드는 것이 좋습니다. 패치 주셔서 감사합니다.

이 버그가 얼마나 오래전에 존재했다고 생각하십니까? 1.17? 1.16? 방금 AWS의 1.17에서 똑같은 문제를 보았고 예약되지 않은 노드를 다시 시작하면 문제가 해결되었습니다.

@judgeaxl 더 자세한 정보를 제공해 주시겠습니까? 로그 라인, 캐시 덤프 등. 따라서 문제가 동일한 지 확인할 수 있습니다.

https://github.com/kubernetes/kubernetes/issues/91601#issuecomment -662746695에서 언급했듯이이 버그는 이전 버전에 존재한다고 생각하지만 일시적인 것이라고 생각합니다.

@maelk 를 조사 할 수 있습니까?

영역에서 노드 배포도 공유하십시오.

@alculquicondor 불행히도 지금은 할 수 없습니다. 죄송합니다.

@alculquicondor 죄송합니다. 이미 다른 이유로 클러스터를 다시 빌드했지만 다중 az 배포와 관련된 네트워크 구성 문제 일 수 있으며 결함이있는 노드가 시작된 서브넷에서 발생 했으므로 지금은 걱정하지 않습니다. 이 문제의 맥락. 다시 알아 차리면 더 자세한 내용을 알려 드리겠습니다. 감사!

/ retitle 영역 불균형이있는 경우 일부 노드는 예약에서 고려되지 않습니다.