Kubernetes: 네트워크 플러그인이 준비되지 않았습니다. cni 구성이 초기화되지 않았습니다.

@PLoic 이 문제에 대한 서명 레이블이 없습니다. 다음과 같이 서명 레이블 을
(1) 서명 언급 : @kubernetes/sig-<team-name>-misc
예 : API 기계의 경우 @kubernetes/sig-api-machinery-*
(2) 수동으로 레이블 지정 : /sig <label>
예 : sig / scalability의 경우 /sig scalability

_ 참고 : 방법 (1)은 팀에 알림을 트리거합니다. 당신은 팀 목록을 찾을 수 있습니다 여기 및 목록에 레이블을 여기 _

/ area [kubeadm]

@PLoic /etc/cni/net.d에 CNI 네트워크가 정의되어 있지 않고 분명히 CNI 네트워크 플러그인을 사용하고 있기 때문에이 오류가 발생합니다. 네트워킹을 구성하는 방법을 CNI 드라이버에 알리려면 해당 디렉터리에 구성 파일을 작성해야합니다. 그래도 kubeadm이 무엇을 / 어떻게 수행하는지 잘 모르겠으므로 @jbeda 또는 다른 kubeadm 사람들에게 맡기겠습니다.

외부 참조 : # 43567

@dcbw 안녕하세요 dcbw, 환경은 @PLoic 과 동일하지만 동일한 오류가 발생합니다.

$KUBELET_NETWORK_ARGS 에서 /etc/systemd/system/kubelet.service.d/10-kubeadm.conf $KUBELET_NETWORK_ARGS 을 제거하면 작동하는 것 같습니다.

$ KUBELET_NETWORK_ARGS 제거는 저와 함께 작동하지 않습니다.

@PLoic 도 나와 함께 작동하지 않습니다.

3 단계의 @PLoic 어떤 포드 네트워크를 설치 했습니까? 다양한 선택 사항이 있으며 그 이후의 문제 해결은 특정 사례에 따라 다릅니다.

@PLoic 도 kubelet 로그가 좋을 것입니다.

이 플러그인을 적용 해보십시오 : kubectl apply --filename https://git.io/weave-kube-1.6
그것은 나를 위해 작동합니다.

@PLoic @dcbw k8s (1.7)의 플란넬 플러그인을 설치하면 여전히 동일한 오류가 발생합니다. 솔루션을 제공 할 수 있습니까?

7 월 14 일 17:57:20 node2 kubelet : W0714 17 : 57 : 20.540849 17504 cni.go : 189] cni 구성을 업데이트 할 수 없음 : /etc/cni/net.d에서 네트워크를 찾을 수 없음
7 월 14 일 17:57:20 node2 kubelet : E0714 17 : 57 : 20.541001 17504 kubelet.go : 2136] 컨테이너 런타임 네트워크가 준비되지 않음 : NetworkReady = false 이유 : NetworkPluginNotReady 메시지 : docker : 네트워크 플러그인이 준비되지 않음 : cni 구성이 초기화되지 않음
Jul 14 17:57:23 node2 kubelet : I0714 17 : 57 : 23.032330 17504 kubelet.go : 1820] 포드 동기화 건너 뛰기-[ContainerManager 시스템 버전을 시작하지 못했습니다. 슬라이스를 임시 단위로 시작하는 기능을 지원하지 않습니다.]

지연되어 죄송합니다. Weave를 사용하고있었습니다. kubernetes를 1.7.1로 업데이트하고 새 버전의 weave로 업데이트하려고합니다.

모든 구성 요소를 업데이트했는데 작동하는 것 같습니다! :)

이 문제 @PLoic 을 종료해도 괜찮습니까?

@cmluciano 네,이 문제를 닫아도 괜찮다고 생각합니다

/etc/systemd/system/kubelet.service.d/10-kubeadm.conf에서 $ KUBELET_NETWORK_ARGS를 제거하면 효과적입니다.
감사합니다 @PLoic

KUBELET_NETWORK_ARGS 는 어떤 종류의 네트워크 플러그인이 예상되는지 kubelet에 알려줍니다. 제거하면 kubelet은 플러그인을 기대하지 않으므로 기본 컨테이너 런타임이 제공하는 모든 것을 얻을 수 있습니다. 일반적으로 Docker "브리지"네트워킹.

일부 경우, 특히 하나의 컴퓨터 만있는 경우에는 괜찮습니다. 실제로 CNI를 사용하려는 경우에는 도움이되지 않습니다.

kubeadm에서 똑같은 오류가 발생합니다.

[apiclient] Created API client, waiting for the control plane to become ready

"journalctl -r -u kubelet"에서 다음 줄을 계속해서 봅니다.
Aug 31 16:34:41 k8smaster1 kubelet[8876]: E0831 16:34:41.499982 8876 kubelet.go:2136] Container runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:docker: network plugin is not ready: cni config uninitialized Aug 31 16:34:41 k8smaster1 kubelet[8876]: W0831 16:34:41.499746 8876 cni.go:189] Unable to update cni config: No networks found in /etc/cni/net.d

버전 세부 정보는 다음과 같습니다.
`kubeadm version : & version.Info {Major : "1", Minor : "7", GitVersion : "v1.7.4", GitCommit : "793658f2d7ca7f064d2bdf606519f9fe1229c381", GitTreeState : "clean", BuildDate : "2017-08-17T08 : 30 : 51Z ", GoVersion :"go1.8.3 ", 컴파일러 :"gc ", 플랫폼 :"linux / amd64 "}

Kubectl 버전 : 클라이언트 버전 : version.Info {Major : "1", Minor : "7", GitVersion : "v1.7.4", GitCommit : "793658f2d7ca7f064d2bdf606519f9fe1229c381", GitTreeState : "clean", BuildDate : "2017-08-17T08 : 48 : 23Z ", GoVersion :"go1.8.3 ", 컴파일러 :"gc ", 플랫폼 :"linux / amd64 "}`

OS 세부 정보는 다음과 같습니다.
Operating System: Red Hat Enterprise Linux Server 7.3 (Maipo) Kernel: Linux 3.10.0-514.el7.x86_64 Architecture: x86-64
어떤 도움이라도 대단히 감사합니다!

@ ashish-billore 어떤 CNI 공급자를 설치 했습니까?

나는 마스터 브랜치의 최근 github 팁으로 Unable to update cni config: No networks found in /etc/cni/net.d 를 받고 있습니다- "v1.9.0-alpha.0.690+9aef242a4c1e42-dirty"

우분투 17.04에서

이 줄을 10-kubelet.conf 에서 제거하면 :
Environment="KUBELET_NETWORK_ARGS=--network-plugin=cni --cni-conf-dir=/etc/cni/ --cni-bin-dir=/opt/cni/bin""

kubelet이 시작되면 weave-net을 pod-network 플러그인으로 설치하지만 kube-system pod가 시작되지 않습니다 (예약 된 상태로 유지됩니까?).

kube-system   etcd-luboitvbox                      0/1       Pending   0          31m
kube-system   kube-apiserver-luboitvbox            0/1       Pending   0          31m
kube-system   kube-controller-manager-luboitvbox   0/1       Pending   0          31m
kube-system   kube-dns-1848271846-7mw9x            0/3       Pending   0          32m
kube-system   kube-proxy-k89jp                     0/1       Pending   0          32m
kube-system   kube-scheduler-luboitvbox            0/1       Pending   0          31m
kube-system   weave-net-v8888                      0/2       Pending   0          30m

플란넬도 마찬가지입니다.

안녕하세요,

참고로 Kubernetes는 v1.6부터 RBAC를 도입했습니다. kubelet이 api 서버와 올바르게 통신 할 수 있도록 해당 서비스 계정, RBAC 규칙 및 flannel 데몬 셋을 만들어야합니다.

다음을 실행해야합니다.

$ kubectl create -f https://raw.githubusercontent.com/coreos/flannel/v0.9.0/Documentation/kube-flannel.yml

도움이되기를 바랍니다.

안녕 여러분, 왜이 문제가 종결 되었습니까? 해결책이있는 것 같지 않습니까?

weave CNI 플러그인으로 k8의 클러스터를 설치하려고 할 때 이것을 봅니다.

@vinayvenkat OP가 업데이트되고 문제가 해결 되었기 때문에 문제가 종료되었습니다.

Kubernetes, 특히 네트워킹은 매우 복잡하고 다양하므로 유사 해 보이는 문제가 실제로 동일하다고 가정해서는 안됩니다. 새로운 문제를 열고 거기에 특정 상황에 대한 자세한 내용을 제공하십시오.

Weave Net에 문제가있는 경우 https://github.com/weaveworks/issues/new 또는 Weave 커뮤니티 Slack에서보다 집중적 인 답변을 얻을 수 있습니다.

나도 같은 문제가 발생했습니다. 그러나 k8s 설치에 대한 치명적인 오류는 아닙니다.
문제는 kubelet이 docker의 cgroup과 다른 systemd cgroup을 사용하고 kubelet과 docker를 모두 조정하고 kubeadm을 다시 실행하면 잘 실행될 수 있다는 것입니다.
당신을 도울 수 있기를 바랍니다.

OS (예 : / etc / os-release) : CentOS 7

포드 네트워크 공급자 포드가 실행 중임에도 불구하고 노드의 /etc/cni/net.d 디렉터리가 비어있는 경우 setenforce 0 시도하고 포드 네트워크 공급자 포드를 삭제합니다. k8s가 다시 시작하고, 이제 설정을 복사 할 수 있기를 바랍니다.

kubelet을 다시 시작하는 것을 잊지 마십시오 ...
/etc/systemd/system/kubelet.service.d/10-kubeadm.conf에서 $ KUBELET_NETWORK_ARGS 제거
systemctl kubelet 활성화 && systemctl kubelet 시작
그런 다음 노드에 다시 가입하십시오.
이 방법이 잘 작동합니다 ~

안녕하세요,

/etc/systemd/system/kubelet.service.d/10-kubeadm.conf에 $ KUBELET_NETWORK_ARGS를 주석 처리하고 서비스 / 서버를 다시 시작하거나 kubeadm을 재설정하고 다시 가입하는 경우 / kubeadm init를 사용하여 클러스터를 다시 생성하는 경우
노드를 다시 연결하면

포드는 실행 상태이지만 kube-dns 포드를 설명하면

Warning Unhealthy 1m (x4 over 2m) kubelet, master Readiness probe failed : Get http://172.17.0.2 : 8081 / readiness : dial tcp 172.17.0.2:8081 : getsockopt : connection rejectd

아래와 같이 완전한 출력.

이벤트 :
유형 이유 메시지의 나이
---- ------ ---- ---- -------
정상 예약 10m default-scheduler kube-dns-6f4fd4bdf-qxmzn을 마스터에 성공적으로 할당했습니다.
정상 SuccessfulMountVolume 10m kubelet, 마스터 MountVolume.SetUp이 볼륨 "kube-dns-token-47fpd"에 성공했습니다.
정상 SuccessfulMountVolume 10m kubelet, 마스터 MountVolume.SetUp이 볼륨 "kube-dns-config"에 성공했습니다.
일반 당기기 10m kubelet, 마스터 당기기 이미지 "gcr.io/google_containers/k8s-dns-kube-dns-amd64:1.14.7"
정상 풀링 된 10m kubelet, 마스터 이미지 'gcr.io/google_containers/k8s-dns-kube-dns-amd64:1.14.7'을 성공적으로 가져 왔습니다.
일반 생성 10m kubelet, 마스터 생성 컨테이너
정상 시작 10m kubelet, 마스터 시작 컨테이너
일반 당기기 10m kubelet, 마스터 당기기 이미지 "gcr.io/google_containers/k8s-dns-dnsmasq-nanny-amd64:1.14.7"
정상 풀링 10m kubelet, 마스터 이미지 "gcr.io/google_containers/k8s-dns-dnsmasq-nanny-amd64:1.14.7"을 성공적으로 가져 왔습니다.
일반 생성 10m kubelet, 마스터 생성 컨테이너
정상 시작 10m kubelet, 마스터 시작 컨테이너
일반 당기기 10m kubelet, 마스터 당기기 이미지 "gcr.io/google_containers/k8s-dns-sidecar-amd64:1.14.7"
Normal Pulled 10m kubelet, master 이미지 'gcr.io/google_containers/k8s-dns-sidecar-amd64:1.14.7'을 성공적으로 가져 왔습니다.
일반 생성 10m kubelet, 마스터 생성 컨테이너
정상 시작 10m kubelet, 마스터 시작 컨테이너
정상 SuccessfulMountVolume 2m kubelet, 마스터 MountVolume.SetUp이 볼륨 "kube-dns-token-47fpd"에 성공했습니다.
정상 SuccessfulMountVolume 2m kubelet, 마스터 MountVolume.SetUp이 볼륨 "kube-dns-config"에 성공했습니다.
Normal SandboxChanged 2m kubelet, master Pod sandbox가 변경되면 죽고 다시 생성됩니다.
Normal Pulled 2m kubelet, 마스터 컨테이너 이미지 'gcr.io/google_containers/k8s-dns-kube-dns-amd64:1.14.7'이 이미 머신에 있음
일반 생성 2m kubelet, 마스터 생성 컨테이너
정상 시작 2m kubelet, 마스터 시작 컨테이너
일반 생성 2m kubelet, 마스터 생성 컨테이너
Normal Pulled 2m kubelet, 마스터 컨테이너 이미지 'gcr.io/google_containers/k8s-dns-dnsmasq-nanny-amd64:1.14.7'이 이미 머신에 있음
정상 시작 2m kubelet, 마스터 시작 컨테이너
Normal Pulled 2m kubelet, 마스터 컨테이너 이미지 'gcr.io/google_containers/k8s-dns-sidecar-amd64:1.14.7'이 이미 머신에 있음
일반 생성 2m kubelet, 마스터 생성 컨테이너
정상 시작 2m kubelet, 마스터 시작 컨테이너
Warning Unhealthy 1m (x4 over 2m) kubelet, master Readiness probe failed : Get http://172.17.0.2 : 8081 / readiness : dial tcp 172.17.0.2:8081 : getsockopt : connection rejectd

docker @ master : ~ $ kubectl get pods --namespace = kube-system
이름 준비 상태 다시 시작 나이
etcd-master 1/1 달리기 1 14m
kube-apiserver-master 1/1 실행 1 14m
kube-controller-manager-master 1/1 달리기 1 14m
kube-dns-6f4fd4bdf-qxmzn 3/3 달리기 3 15m
kube-proxy-d54fk 1/1 달리기 1 15m
kube-scheduler-master 1/1 달리기 1 14m

아무도 아직 SELinux를 언급하지 않았습니다. 강제 모드에서 SELinux를 사용하는 Centos 7 시스템에서 kubeadm join 를 실행할 때이 오류가 발생했습니다. setenforce 0 하고 kubeadm을 다시 실행하면 문제가 해결되었습니다.

@jdanekrh https://github.com/kubernetes/kubernetes/issues/48798#issuecomment -359193792

감사합니다 setenforce 0이 나를 위해 일했습니다.

1. $ KUBELET_NETWORK_ARGS 테이크 아웃, 문제 해결 안 됨
2. setenforce 0
3. systemctl stop firewalld
4. docker cgroups 드라이버 : systemd与 Environment = "KUBELET_CGROUP_ARGS =-cgroup-driver = systemd"
일치
하지만 문제가 여전히 존재한다는 것을 알고 있습니다.

5 월 20 일 20:10:45 k8s kubelet : I0520 20 : 10 : 45.244383 17638 kubelet.go : 1794] 포드 동기화 건너 뛰기-[컨테이너 런타임이 다운 됨]
5 월 20 일 20:10:45 k8s kubelet : E0520 20 : 10 : 45.920981 17638 reflector.go : 205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:460 : 나열 실패 * v1.Node : Get https : //192.168.18.90 : 6443 / api / v1 / nodes? fieldSelector = metadata.name % 3Dk8s.master.com & limit = 500 & resourceVersion = 0 : 다이얼 tcp 192.168.18.90:6443 : getsockopt : 연결 거부
5 월 20 일 20:10:45 k8s kubelet : E0520 20 : 10 : 45.924021 17638 reflector.go : 205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:451 : * v1을 나열하지 못했습니다. 서비스 : https 받기
5 월 20 일 20:10:45 k8s kubelet : E0520 20 : 10 : 45.935594 17638 reflector.go : 205] k8s.io/kubernetes/pkg/kubelet/config/apiserver.go:47 : 목록에 실패했습니다 * v1.Pod : Get https://192.168.18.90 : 6443 / api / v1 / pods? fieldSelector = spec.nodeName % 3Dk8s.master.com & limit = 500 & resourceVersion = 0 : 다이얼 tcp 192.168.18.90:6443 : getsockopt : 연결 거부

May 23 10:19:45 arch kubelet [13585] : E0523 10 : 19 : 45.909458 13585 kubelet.go : 2095] Container runtime network not ready : NetworkReady = false reason : NetworkPluginNotReady message : docker : network plugin is not ready : cni config 초기화되지 않은
May 23 10:19:46 arch kubelet [13585] : E0523 10 : 19 : 46.002646 13585 helpers.go : 468] PercpuUsage는 0 cpus를 가졌지 만 실제 숫자는 8입니다. 추가 CPU 무시

`sudo kubectl get 노드

이름 상태 역할 연령 버전
127.0.0.1 준비되지 않음23 시간 v1.8.13`

방금이 문제를 만났고 파일이 실제로 비어 있기 때문인 것 같습니다. 다음은 install-cni 컨테이너의 출력입니다.

$ k logs canal-25rct install-cni -n kube-system
ls: /calico-secrets: No such file or directory
Wrote Calico CNI binaries to /host/opt/cni/bin
CNI plugin version: v3.1.2
/host/secondary-bin-dir is non-writeable, skipping
CNI config: {
Created CNI config 10-calico.conflist
Done configuring CNI.  Sleep=true

그리고 /etc/cni/net.d/10-calico.conflist :

$ cat /etc/cni/net.d/10-calico.conflist 
{

컨테이너에 쉘을 넣으려고하면 ( initContainer ?) 다음과 같이 표시됩니다.

$ k exec -it canal-25rct -c install-cni -n kube-system -- /bin/bash
Error: Malformed environment entry: "  "name": "k8s-pod-network",
": Success
command terminated with exit code 45

스크립트 버전이 변경되지 않았고 최근에 변경 한 유일한 것은 컨테이너 실행을 위해 rkt 로 전환하는 것뿐입니다. 또한 이것이 도움이된다면 Container Linux (CoreOS)에 있습니다.

안녕하세요 K8 여러분!

나는 여러 번 같은 문제를 겪었습니다. 예를 들어-K8 초기화 중에 문제가 발생하여 kubeadm reset 하고 K8을 다시 초기화해야했습니다. 초기화 명령을 실행 한 후 kubelet 에이 오류를 기록했습니다.

Jun 01 10:13:40 vncub0626 kubelet[18861]: I0601 10:13:40.665823   18861 kubelet.go:2102] Container runtime status: Runtime Conditions: RuntimeReady=true reason: message:, NetworkReady=false reason:NetworkPluginNotReady message:docker: network plugin is not ready: cni config uninitialized
Jun 01 10:13:40 vncub0626 kubelet[18861]: E0601 10:13:40.665874   18861 kubelet.go:2105] Container runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:docker: network plugin is not ready: cni config uninitialized

...이 오류 메시지로 인해 화가났습니다. 도움이되지 않았습니다. 그래서 처음에는 초기화가 실행되었지만 재 초기화는 실행되지 않았습니다. 따라서 Kubelet 구성에서 KUBELET_NETWORK_ARGS 줄이 원인이 아니고 이에 대한 의견에 동의하지 않습니다. 그래서 kubelet 로그를 몇 번이고 읽었고 마침내 로그 다음 오류 메시지를 발견했습니다.

Jun 01 10:13:29 vncub0626 kubelet[18861]: E0601 10:13:29.376339   18861 reflector.go:205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:465: Failed to list *v1.Service: Get https://10.96.22.11:6443/api/v1/services?limit=500&resourceVersion=0: x509: certificate signed by unknown authority (possibly because of "crypto/rsa: verification error" while trying to verify candidate authority certificate "kubernetes")

이 오류는 이전 초기화 후 홈 디렉토리의 잘못된 ~/.kube/config 파일로 인해 발생했습니다. 그것을 제거한 후 초기화를 다시 실행하고 ... 초기화가 성공적으로 완료되었습니다. :]

...이 오류는 악몽이고 원인을 파악할 수 없기 때문에 다른 사람에게 도움이되기를 바랍니다.

@waldauf 당신이 맞습니다! 대박!!!

다음 명령을 실행하면 잘 작동합니다.

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/v0.10.0/Documentation/kube-flannel.yml

kubeadm 버전 v1.10.3

/etc/systemd/system/kubelet.service.d/10-kubeadm.conf에서 $ KUBELET_NETWORK_ARGS를 제거하면 효과적입니다.

가시성을 위해 반복 :

KUBELET_NETWORK_ARGS 는 어떤 종류의 네트워크 플러그인이 예상되는지 kubelet에 알려줍니다. 제거하면 kubelet은 플러그인을 기대하지 않으므로 기본 컨테이너 런타임이 제공하는 모든 것을 얻을 수 있습니다. 일반적으로 Docker "브리지"네트워킹.

일부 경우, 특히 하나의 컴퓨터 만있는 경우에는 괜찮습니다. 실제로 CNI를 사용하려는 경우에는 도움이되지 않습니다.

@waldauf thx, 작동합니다

이것은 내 플란넬 플러그인이 올바르게 설치되지 않았을 때 발생했습니다.

오늘이 가이드 (https://www.techrepublic.com/article/how-to-install-a-kubernetes-cluster-on-centos-7/)를 따르고 있었는데 "/ etc / systemd에서 cgroupfs 구성을 놓쳤습니다. /system/kubelet.service.d/10-kubeadm.conf "입니다. 내가 고치면 매력처럼 작동 했어

https://github.com/kubernetes/kubernetes/issues/48798#issuecomment -395965665

@ChinaSilence 플란넬을 사용해야하는 이유를 설명해 주시겠습니까? 플란넬 없이는 할 수 없습니까?

flannel 0.10.0과 kubernetes 1.12.0은 어떻게 든 함께 작동하지 않습니다. kubernetes 1.12.0에 문제가 있으므로 kubernetes를 1.11.3으로 다운 그레이드했으며 모든 것이 잘 작동합니다.

Kubernetes가이 문제를 곧 해결하기를 바랍니다.

@ bilalx20 나는 확인할 수 있습니다-플란넬이 1.12에서 나에게도 고장났습니다.
당신이 할 수있는 것은 weave 또는 callico를 시도하는 것입니다.

k8s 1.12를 사용하는 Ubuntu 16.04에서이 문제가 발생했습니다.

1.11.0으로 다운 그레이드하면 모든 것이 실행됩니다.

k8s 1.12를 사용하는 CentOS 7.5에서이 문제가 있습니다.

제거 중 cni 에서 플러그인의 conf /var/lib/kubelet/kubeadm-flags.env 잘 작동

flanneld는 k8s 1.12에 대한 수정이 필요합니다.
이 PR을 사용하십시오 (승인 될 때까지) :
kubectl -n kube-system apply -f https://raw.githubusercontent.com/coreos/flannel/bc79dd1505b0c8681ece4de4c0d86c5cd2643275/Documentation/kube-flannel.yml
알려진 문제입니다 : https://github.com/coreos/flannel/issues/1044

@ReSearchITEng 이 1.12.1에서 설명한 문제를 경험했습니다. 그의 / 그녀의 솔루션이 나를 위해 일했습니다.
편집 : 스크래치, 노드 중 하나가 kubeadm join 후에도 동일한 문제를 보여줍니다.
EDIT2 : 관련없는 문제,이 GPU 노드에서 nvidia-container-runtime이 누락 된 것으로 나타났습니다. 불량 노드에서 journalctl -xeu kubelet 를 사용하여 진단 됨

TL; DR : 솔루션 작동

@ReSearchITEng 의 솔루션이 작동하는지 확인하면 마스터 노드가 실행중인 상태가 아니고 플란넬이 작동 중입니다.

누군가 인터넷 검색을하는 경우를 대비하여. 내 경우에는 cloud-init 프로세스가 / etc / sysconfig / network-scripts / ifcfg- {interface-name}의 NM_CONTROLLED 옵션을 no로 설정했습니다.
NetworkManager가 sdn 포드에 필요한 resolv.conf 파일을 생성하려면이 옵션을 yes로 설정해야합니다.

실제로 weave 매니페스트를 적용하지 못했기 때문에 네트워크 플러그인이 초기화되지 않았습니다.
참고 사항 : 다른 곳에서 답변을 찾기 전에 전체 Weave 설치 설명서 를 읽으십시오. + 1 :

flanneld는 k8s 1.12에 대한 수정이 필요합니다.
이 PR을 사용하십시오 (승인 될 때까지) :
kubectl -n kube-system apply -f https://raw.githubusercontent.com/coreos/flannel/bc79dd1505b0c8681ece4de4c0d86c5cd2643275/Documentation/kube-flannel.yml
알려진 문제 : coreos / flannel # 1044

추가 :
이 문제는 kuberadm이 첫 번째 init coredns에 의해 발생하지만 init flannel이 아니라고 생각하므로 "network plugin is not ready : cni config uninitialized"가 발생합니다.
해결책:

1. kubectl -n kube-system apply -f https://raw.githubusercontent.com/coreos/flannel/bc79dd1505b0c8681ece4de4c0d86c5cd2643275/Documentation/kube-flannel.yml 플란넬 설치
2. coredns 포드 재설정
   kubectl delete coredns-xx-xx
3. 그런 다음 kubectl get pods 를 실행하여 작동하는지 확인합니다.

이 오류가 표시되면 "cni0"에 이미 10.244.1.1/24와 다른 IP 주소가 있습니다. "
이것을 따르십시오 :

ifconfig  cni0 down
brctl delbr cni0
ip link delete flannel.1

"Back-off restarting failed container"라는 오류가 표시되면 다음 방법으로 로그를 가져올 수 있습니다.

root<strong i="28">@master</strong>:/home/moonx/yaml# kubectl logs coredns-86c58d9df4-x6m9w -n=kube-system
.:53
2019-01-22T08:19:38.255Z [INFO] CoreDNS-1.2.6
2019-01-22T08:19:38.255Z [INFO] linux/amd64, go1.11.2, 756749c
CoreDNS-1.2.6
linux/amd64, go1.11.2, 756749c
 [INFO] plugin/reload: Running configuration MD5 = f65c4821c8a9b7b5eb30fa4fbc167769
 [FATAL] plugin/loop: Forwarding loop detected in "." zone. Exiting. See https://coredns.io/plugins/loop#troubleshooting. Probe query: "HINFO 1599094102175870692.6819166615156126341.".

그러면 실패한 노드에서 "/etc/resolv.conf"파일을 볼 수 있습니다. 네임 서버가 localhost이면 루프백이 발생합니다.

#nameserver 127.0.1.1
nameserver 8.8.8.8

kueblet start conf에 --network-plugin = cni를 추가합니다.
내 시스템에서 :
1. vim /etc/systemd/system/kubelet.service
2. --network-plugin = cni 삭제
3. kubelet （systemctl daemon-reload; systemctl restart kubelet）

당신의 시스템에서 3 단계를 수행하십시오. 어쩌면 저와 다른 설치가 될 수 있습니다. 이렇게하십시오.

@mdzddl 삭제

flanneld는 k8s 1.12에 대한 수정이 필요합니다.
이 PR을 사용하십시오 (승인 될 때까지) :
kubectl -n kube-system apply -f https://raw.githubusercontent.com/coreos/flannel/bc79dd1505b0c8681ece4de4c0d86c5cd2643275/Documentation/kube-flannel.yml
알려진 문제 : coreos / flannel # 1044

나를 위해 작동합니다!

@mdzddl 삭제

그렇다면 해결책은 무엇입니까

flanneld는 k8s 1.12에 대한 수정이 필요합니다.
이 PR을 사용하십시오 (승인 될 때까지) :
kubectl -n kube-system apply -f https://raw.githubusercontent.com/coreos/flannel/bc79dd1505b0c8681ece4de4c0d86c5cd2643275/Documentation/kube-flannel.yml
알려진 문제 : coreos / flannel # 1044

추가 :
이 문제는 kuberadm이 첫 번째 init coredns에 의해 발생하지만 init flannel이 아니라고 생각하므로 "network plugin is not ready : cni config uninitialized"가 발생합니다.
해결책:

1. kubectl -n kube-system apply -f https://raw.githubusercontent.com/coreos/flannel/bc79dd1505b0c8681ece4de4c0d86c5cd2643275/Documentation/kube-flannel.yml 플란넬 설치
2. coredns 포드 재설정
   kubectl delete coredns-xx-xx
3. 그런 다음 kubectl get pods 를 실행하여 작동하는지 확인합니다.

이 오류가 표시되면 "cni0"에 이미 10.244.1.1/24와 다른 IP 주소가 있습니다. "
이것을 따르십시오 :

ifconfig  cni0 down
brctl delbr cni0
ip link delete flannel.1

"Back-off restarting failed container"라는 오류가 표시되면 다음 방법으로 로그를 가져올 수 있습니다.

root<strong i="29">@master</strong>:/home/moonx/yaml# kubectl logs coredns-86c58d9df4-x6m9w -n=kube-system
.:53
2019-01-22T08:19:38.255Z [INFO] CoreDNS-1.2.6
2019-01-22T08:19:38.255Z [INFO] linux/amd64, go1.11.2, 756749c
CoreDNS-1.2.6
linux/amd64, go1.11.2, 756749c
 [INFO] plugin/reload: Running configuration MD5 = f65c4821c8a9b7b5eb30fa4fbc167769
 [FATAL] plugin/loop: Forwarding loop detected in "." zone. Exiting. See https://coredns.io/plugins/loop#troubleshooting. Probe query: "HINFO 1599094102175870692.6819166615156126341.".

그러면 실패한 노드에서 "/etc/resolv.conf"파일을 볼 수 있습니다. 네임 서버가 localhost이면 루프백이 발생합니다.

#nameserver 127.0.1.1
nameserver 8.8.8.8

kubectl -n kube-system apply -f https://raw.githubusercontent.com/coreos/flannel/bc79dd1505b0c8681ece4de4c0d86c5cd2643275/Documentation/kube-flannel.yml
clusterrole.rbac.authorization.k8s.io/flannel 생성됨
clusterrolebinding.rbac.authorization.k8s.io/flannel 생성됨
serviceaccount / flannel 생성됨
configmap / kube-flannel-cfg 생성
" https://raw.githubusercontent.com/coreos/flannel/bc79dd1505b0c8681ece4de4c0d86c5cd2643275/Documentation/kube-flannel.yml "을 인식 할 수 없음 : 버전 "extensions / v1beta1"에서 "DaemonSet"종류와 일치하지 않습니다.
" https://raw.githubusercontent.com/coreos/flannel/bc79dd1505b0c8681ece4de4c0d86c5cd2643275/Documentation/kube-flannel.yml "을 인식 할 수 없음 : 버전 "extensions / v1beta1"에서 "DaemonSet"종류와 일치하지 않습니다.
" https://raw.githubusercontent.com/coreos/flannel/bc79dd1505b0c8681ece4de4c0d86c5cd2643275/Documentation/kube-flannel.yml "을 인식 할 수 없음 : 버전 "extensions / v1beta1"에서 "DaemonSet"종류와 일치하지 않습니다.
" https://raw.githubusercontent.com/coreos/flannel/bc79dd1505b0c8681ece4de4c0d86c5cd2643275/Documentation/kube-flannel.yml "을 인식 할 수 없음 : 버전 "extensions / v1beta1"에서 "DaemonSet"종류와 일치하지 않습니다.
" https://raw.githubusercontent.com/coreos/flannel/bc79dd1505b0c8681ece4de4c0d86c5cd2643275/Documentation/kube-flannel.yml "을 인식 할 수 없음 : 버전 "extensions / v1beta1"에서 "DaemonSet"종류와 일치하지 않습니다.

위와 같이 오류가 발생합니다.

flannel은 k8s 1.16의 최신 변경 사항을 준수하도록 매니페스트를 업데이트하지 않았습니다.
Calico 또는 WeaveNet과 같은 다른 CNI 플러그인을 사용해보십시오.

... 또는 사용하는 플란넬 매니페스트 패치 apps/v1 대신 extensions/v1beta1

k8s 1.16을 사용하는 Ubuntu 16.04 에서이 문제가 발생했습니다 (vagrant에서 우분투를 실행합니다)

/var/lib/kubelet/kubeadm-flags.env에서 cni 플러그인 conf를 제거하면 정상적으로 작동합니다.

flannel은 k8s 1.16의 최신 변경 사항을 준수하도록 매니페스트를 업데이트하지 않았습니다.
Calico 또는 WeaveNet과 같은 다른 CNI 플러그인을 사용해보십시오.
...
... 또는 확장 / v1beta1 대신 apps / v1을 사용하도록 플란넬 매니페스트를 패치합니다.

얼마 전에 수정되었지만 Kubernetes 문서의 링크는 여전히 작동하지 않는 이전 버전을 가리 킵니다 (https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/create-cluster- kubeadm /에는 https://raw.githubusercontent.com/coreos/flannel/2140ac876ef134e0ed5af15c65e414cf26827915/Documentation/kube-flannel.yml이 있습니다. 대신 "마스터"를 사용하면 작동하며 다른 문제도 해결됩니다 (CNI 구성에 누락 된 버전).

https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/

https://raw.githubusercontent.com/coreos/flannel/2140ac876ef134e0ed5af15c65e414cf26827915/Documentation/kube-flannel.yml 사용

여기에는 cniVersion 및 apps / v1 수정 사항이 모두 포함되어야합니다.

이것이 내가 본 것입니다.이 오류는 아직 플란넬이 실행되지 않았지만 apiserver, scheduler 및 controller-manager의 매니페스트 만 사용하여 kublet을 시작했을 때 발생합니다. =-network-plugin = cni --cni-conf-dir = / etc / cni / net.d --cni-bin-dir = / opt / cni / bin --node-ip = 192.168.8.11 "

주석을 달고 kubelet을 시작하십시오.
그런 다음 핵심 kube 시스템 포드가 나타납니다.
그런 다음 kube-proxy를 설치하십시오.
그런 다음 플란넬을 설치하십시오
* 그런 다음 위 줄의 주석 처리를 제거하고 kubelet을 다시 시작하십시오 *
core-dns / kube-dns 설치

안녕하세요,
버전 1.16.0을 설치하려고합니다. kuberouter 플러그를 사용하고 있는데 동일한 오류가 발생합니다.

컨테이너 런타임 네트워크가 준비되지 않음 : NetworkReady = false 이유 : NetworkPluginNotReady 메시지 : docker : 네트워크 플러그인이 준비되지 않음 : cni 구성이 초기화되지 않음

안녕하세요,
버전 1.16.0을 설치하려고합니다. kuberouter 플러그를 사용하고 있는데 동일한 오류가 발생합니다.

컨테이너 런타임 네트워크가 준비되지 않음 : NetworkReady = false 이유 : NetworkPluginNotReady 메시지 : docker : 네트워크 플러그인이 준비되지 않음 : cni 구성이 초기화되지 않음

실행 환경에 대한 자세한 정보를 제공 할 수 있다면 도움이 될 것입니다. 예 : 시스템 운영 및 오류가 발생하기 전에 수행 한 작업.

이것은 Amazon에 버전 1.16.0의 새로운 새로운 설치입니다.
이 AMI를 사용하고 있습니다-k8s-1.16-debian-stretch-amd64-hvm-ebs-2020-01-17
uname -a
Linux ip-172-28-125-218 4.9.0-11-amd64 # 1 SMP Debian 4.9.189-3 + deb9u2 (2019-11-11) x86_64 GNU / Linux

1.15.0을 설치하면 전혀 문제가 없습니다.

이것이 내가 마스터 노드의 syslog에서 보는 것입니다.

3 월 12 일 05:26:22 ip-172-28-125-218 kubeletÄ3656Å : E0312 05 : 26 : 22.761009 3656 kubelet.go : 2187Å 컨테이너 런타임 네트워크가 준비되지 않음 : NetworkReady = false 이유 : NetworkPluginNotReady 메시지 : docker : 네트워크 플러그인이 아닙니다. 준비 : cni 구성이 초기화되지 않았습니다.
3 월 12 일 05:26:25 ip-172-28-125-218 dockerÄ3570Å : I0312 05 : 26 : 25.713681 3619 dns.go : 47Å DNSView 변경되지 않음 : 5
3 월 12 일 05:26:25 ip-172-28-125-218 kubeletÄ3656Å : W0312 05 : 26 : 25.883857 3656 cni.go : 202Å CNI 구성 확인 오류 & äkubernetes false Ä0xc0009d8260Å Ä123 34 99110105 86101114115105111110 34 58 34 34 44 34110 97109101 34 58 34107117 98101114110101116101115 34 44 34112108117103105110115 34 58 91123 34 98114105100103101 34 58 34107117 98101 45 98114105100103101 34 44 34105112 97109 34 58123 34115117 98110101116 34 58 34 49 48 48 46 57 54 46 48 46 48 47 50 52 34 44 34116121112101 34 58 34 104111115116 45108111 99 97108 34125 44 34105115 68101102 97117108116 71 97116101119 97121 34 58116114117101 44 34110 97109101 34 58 34107117 98101114 110101116101115 34 44 34116121112101 34 58 34 98114105100103101 34125 93125Åå : Ä 플러그인 브리지는 구성 버전 ""Å을 지원하지 않습니다.
3 월 12 일 05:26:25 ip-172-28-125-218 kubeletÄ3656Å : W0312 05 : 26 : 25.883925 3656 cni.go : 237Å cni 구성을 업데이트 할 수 없음 : /etc/cni/net.d/에 유효한 네트워크가 없습니다.
3 월 12 일 05:26:27 ip-172-28-125-218 kubeletÄ3656Å : E0312 05 : 26 : 27.762309 3656 kubelet.go : 2187Å 컨테이너 런타임 네트워크가 준비되지 않음 : NetworkReady = false 이유 : NetworkPluginNotReady 메시지 : docker : 네트워크 플러그인이 아닙니다. 준비 : cni 구성이 초기화되지 않았습니다.
3 월 12 일 05:26:30 ip-172-28-125-218 dockerÄ3570Å : I0312 05 : 26 : 30.713906 3619 dns.go : 47Å DNSView 변경되지 않음 : 5
3 월 12 일 05:26:30 ip-172-28-125-218 kubeletÄ3656Å : W0312 05 : 26 : 30.886362 3656 cni.go : 202Å CNI 구성 및 äkubernetes false Ä0xc0008fc000Å Ä123 34 99110105 86101114115105111110 34 58 34 34 44 34110 97109101 34 58 34107117 98101114110101116101115 34 44 34112108117103105110115 34 58 91123 34 98114105100103101 34 58 34107117 98101 45 98114105100103101 34 44 34105112 97109 34 58123 34115117 98110101116 34 58 34 49 48 48 46 57 54 46 48 46 48 47 50 52 34 44 34116121112101 34 58 34 104111115116 45108111 99 97108 34125 44 34105115 68101102 97117108116 71 97116101119 97121 34 58116114117101 44 34110 97109101 34 58 34107117 98101114 110101116101115 34 44 34116121112101 34 58 34 98114105100103101 34125 93125Åå : Ä 플러그인 브리지는 구성 버전 ""Å을 지원하지 않습니다.
3 월 12 일 05:26:30 ip-172-28-125-218 kubeletÄ3656Å : W0312 05 : 26 : 30.886428 3656 cni.go : 237Å cni 구성을 업데이트 할 수 없음 : /etc/cni/net.d/에 유효한 네트워크가 없습니다.

/var/lib/kubelet/kubeadm-flags.env에서 cni 플러그인 conf를 제거하면 k8s 1.16.8을 사용하는 CentOS 7.6에서도 작동합니다.

아무것도 변경하지 마십시오. 이 명령을 실행하십시오. 오류가 사라집니다.

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

감사합니다 @ikramuallah , 1.18에서 작동했습니다. 부두 사이트 중 하나가 500을 던

아무것도 변경하지 마십시오. 이 명령을 실행하십시오. 오류가 사라집니다.

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

감사!

아무것도 변경하지 마십시오. 이 명령을 실행하십시오. 오류가 사라집니다.
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

감사!

죄송합니다. 링크에 연결할 수 없습니다. 뭔가 잘못이다 ?

@juxuny 링크는 괜찮습니다. 일시적인 네트워크 연결 문제일까요?

누군가 나를 도와주세요
kube-proxy-windows-xhxzw 포드 상태의 경우 ContainerCreating. 포드를 설명하면 다음과 같이 경고가 표시됩니다.

경고 NetworkNotReady 3m27s (168m 이상 x4964) kubelet, casts1 네트워크가 준비되지 않음 : 런타임 네트워크가 준비되지 않음 : NetworkReady = false 이유 : NetworkPluginNotReady 메시지 : docker : 네트워크 플러그인이 준비되지 않음 : cni 구성이 초기화되지 않음

다른 모든 포드는 실행 상태입니다. kube-proxy-windows 제외

다음과 같이 kubernetes 환경을 만들었습니다.
마스터 노드 준비 V1.19.0 RHEL 7 OS
작업자 노드 NotReady V1.19.0 Windows Server 2019
Windows 작업자 노드를 마스터 노드에 조인하려고합니다.

플란넬 네트워크를 사용하고 있습니다. 아래 솔루션을 시도했습니다.
1. kubectl 적용 -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

1. 10-flannel.confglist의 cniVersion을 "0.3.1"에서 "0.2.0"으로 변경합니다.
   10-flannel.confglist가 이미 있습니다.

정확한 문제를 알려주세요

제 경우에는 kubernetes 마스터를 초기화 할 때이 문제가 발생했습니다. etcd의 모든 데이터를 삭제 한 후 프로세스 초기화가 성공했습니다.
모든 etcd 노드에서 :
systemctl 중지 etcd
rm -rf / var / lib / etcd / *
systemctl daemon-reload && systemctl enable etcd && systemctl start