Kubernetes: рдиреЗрдЯрд╡рд░реНрдХ рдкреНрд▓рдЧрдЗрди рддреИрдпрд╛рд░ рдирд╣реАрдВ рд╣реИ: cni config uninitialized

рдХреЛ рдирд┐рд░реНрдорд┐рдд 12 рдЬреБрд▓ре░ 2017  ┬╖  75рдЯрд┐рдкреНрдкрдгрд┐рдпрд╛рдБ  ┬╖  рд╕реНрд░реЛрдд: kubernetes/kubernetes

рдирдорд╕реНрдХрд╛рд░, рдореИрдВ рдХреБрдмреЗрд░рдиреЗрдЯ рдХреЗ рдорд╛рдзреНрдпрдо рд╕реЗ рдХреБрдмреЗрд░рдиреЗрдЯ рдХреА рдПрдХ рдирдИ рд╕реНрдерд╛рдкрдирд╛ рдХрд░рдирд╛ рдЪрд╛рд╣рддрд╛ рд╣реВрдВ, рд▓реЗрдХрд┐рди рдЬрдм рдореИрдВ рд╕реНрдерд╛рдкрд┐рдд рдХрд░рдирд╛ рд╢реБрд░реВ рдХрд░рддрд╛ рд╣реВрдВ рддреЛ рдореИрдВ рдЙрд╕ рдкрд░ рдЕрдЯрдХ рдЬрд╛рддрд╛ рд╣реВрдВ

[apiclient] Created API client, waiting for the control plane to become ready

рдЬрдм рдореИрдВ рдПрдХ journalctl -xe рджреЗрдЦрддрд╛ рд╣реВрдВ:

Container runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:docker: network plugin is not ready: cni config uninitialized

рдФрд░ рдореБрдЭреЗ рдирд╣реАрдВ рд▓рдЧрддрд╛ рдХрд┐ рдореБрдЭреЗ рдпрд╣ рддреНрд░реБрдЯрд┐ рдХреНрдпреЛрдВ рдорд┐рд▓реАред рдореИрдВрдиреЗ рдлрд╛рдпрд░рд╡реЙрд▓ рдХреЛ рднреА рдирд┐рд╖реНрдХреНрд░рд┐рдп рдХрд░рдиреЗ рдХреА рдХреЛрд╢рд┐рд╢ рдХреА рд▓реЗрдХрд┐рди рдХреЛрдИ рдЕрд╕рд░ рдирд╣реАрдВ рд╣реБрдЖред

рдкрд░реНрдпрд╛рд╡рд░рдг :

  • рдХреБрдмреЗрд░рдиреЗрдЯреНрд╕ рд╕рдВрд╕реНрдХрд░рдг ( kubectl version ): v1.7.0
  • рдХреНрд▓рд╛рдЙрдб рдкреНрд░рджрд╛рддрд╛ рдпрд╛ рд╣рд╛рд░реНрдбрд╡реЗрдпрд░ рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди **:
  • OS (рдЙрджрд╛ред / Etc / os-release): CentOS 7
  • рдХрд░реНрдиреЗрд▓ (рдЬреИрд╕реЗ uname -a ): 3.10.0-514.26.2.el7.x86_64
  • рдЙрдкрдХрд░рдг рд╕реНрдерд╛рдкрд┐рдд рдХрд░реЗрдВ: Kubeadm
  • рдЕрдиреНрдп:
    рдбреЙрдХ рд╡рд░реНрдЬрди: Docker version 17.06.0-ce, build 02c1d87
    рдореЗрд░рд╛ RPM рд╕рдВрд╕реНрдХрд░рдг:

kubeadm-1.7.0, kubectl-1.7.0, kubelet-1.7.0, kubernetes-cni-0.5.1

рдЖрдкрдХреА рд╕рд╣рд╛рдпрддрд╛ рдХреЗ рд▓рд┐рдП рдзрдиреНрдпрд╡рд╛рдж

arekubeadm kinbug sinetwork

рд╕рдмрд╕реЗ рдЙрдкрдпреЛрдЧреА рдЯрд┐рдкреНрдкрдгреА

рдлрд▓рд╛рд▓реИрди рдХреЛ k8s 1.12 рдХреЗ рд▓рд┐рдП рдПрдХ рдлрд┐рдХреНрд╕ рдЪрд╛рд╣рд┐рдПред
рдЗрд╕ рдкреАрдЖрд░ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░реЗрдВ (рдЬрдм рддрдХ рдЕрдиреБрдореЛрджрд┐рдд рдХрд┐рдпрд╛ рдЬрд╛рдПрдЧрд╛):
kubectl -n kube-system apply -f https://raw.githubusercontent.com/coreos/flannel/bc79dd1505b0c8681ece4de4c0d86c5cd2643275/Documentation/kube-flannel.yml
рдпрд╣ рдПрдХ рдЬреНрдЮрд╛рдд рдореБрджреНрджрд╛ рд╣реИ: https://github.com/coreos/flannel/issues/1044

рд╕рднреА 75 рдЯрд┐рдкреНрдкрдгрд┐рдпрд╛рдБ

@PLoic рдЗрд╕ рдореБрджреНрджреЗ рдкрд░ рдХреЛрдИ рд╕рд┐рдЧ рд▓реЗрдмрд▓ рдирд╣реАрдВ рд╣реИрдВред рдХреГрдкрдпрд╛ рджреНрд╡рд╛рд░рд╛ рдПрдХ рд╕рд┐рдЧ рд▓реЗрдмрд▓ рдЬреЛрдбрд╝реЗрдВ :
(1) рдПрдХ рдЛрдЧ рдХрд╛ рдЙрд▓реНрд▓реЗрдЦ: @kubernetes/sig-<team-name>-misc
рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП, рдПрдкреАрдЖрдИ рдорд╢реАрдирд░реА рдХреЗ рд▓рд┐рдП @kubernetes/sig-api-machinery-*
(2) рд▓реЗрдмрд▓ рдХреЛ рдореИрдиреНрдпреБрдЕрд▓ рд░реВрдк рд╕реЗ рдирд┐рд░реНрджрд┐рд╖реНрдЯ рдХрд░рдирд╛: /sig <label>
рдЬреИрд╕реЗ, sig / scalability рдХреЗ рд▓рд┐рдП /sig scalability

_Note: рдкрджреНрдзрддрд┐ (1) рдЯреАрдо рдХреЛ рдПрдХ рдЕрдзрд┐рд╕реВрдЪрдирд╛ рдЯреНрд░рд┐рдЧрд░ рдХрд░реЗрдЧреАред рдЖрдк рдЯреАрдо рд╕реВрдЪреА рдпрд╣рд╛рдБ рдФрд░ рд▓реЗрдмрд▓ рд╕реВрдЪреА рдпрд╣рд╛рдБ рдкрд╛ рд╕рдХрддреЗ рд╣реИрдВ _

/ рдХреНрд╖реЗрддреНрд░ [kubeadm]

@PLoic рдЖрдкрдХреЛ рдпрд╣ рддреНрд░реБрдЯрд┐ рдорд┐рд▓рддреА рд╣реИ рдХреНрдпреЛрдВрдХрд┐ рдХреЛрдИ CNI рдиреЗрдЯрд╡рд░реНрдХ /etc/cni/net.d рдореЗрдВ рдкрд░рд┐рднрд╛рд╖рд┐рдд рдирд╣реАрдВ рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИ рдФрд░ рдЖрдк рдЬрд╛рд╣рд┐рд░рд╛ рддреМрд░ рдкрд░ CNI рдиреЗрдЯрд╡рд░реНрдХ рдкреНрд▓рдЧрдЗрди рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░ рд░рд╣реЗ рд╣реИрдВред рдХреБрдЫ рдХреЛ CNI рдбреНрд░рд╛рдЗрд╡рд░ рдХреЛ рдиреЗрдЯрд╡рд░реНрдХрд┐рдВрдЧ рдХреЛ рдХреЙрдиреНрдлрд╝рд┐рдЧрд░ рдХрд░рдиреЗ рдХрд╛ рддрд░реАрдХрд╛ рдмрддрд╛рдиреЗ рдХреЗ рд▓рд┐рдП рдЙрд╕ рдирд┐рд░реНрджреЗрд╢рд┐рдХрд╛ рдореЗрдВ рдПрдХ рдХреЙрдиреНрдлрд╝рд┐рдЧрд░ рдлрд╝рд╛рдЗрд▓ рд▓рд┐рдЦрдиреА рд╣реЛрдЧреАред рдореБрдЭреЗ рдпрдХреАрди рдирд╣реАрдВ рд╣реИ рдХрд┐ рдХреНрдпрд╛ / рдХреИрд╕реЗ kubeadm рдХрд░рддрд╛ рд╣реИ, рд╣рд╛рд▓рд╛рдВрдХрд┐, рдЗрд╕рд▓рд┐рдП рдореИрдВ @jbeda рдпрд╛ рдЕрдиреНрдп kubeadm рд▓реЛрдЧреЛрдВ рдХреЛ рдЫреЛрдбрд╝ рджреВрдБрдЧрд╛ред

xref: # 43567

@dcbw Hi dcbw, рдПрдиреНрд╡рд╛рдпрд░рдиреНрдореЗрдВрдЯ рдХреЛ @PLoic рдХреЗ рд╕рдорд╛рди, рд▓реЗрдХрд┐рди рдореБрдЭреЗ рдпрд╣реА рддреНрд░реБрдЯрд┐ рдорд┐рд▓рддреА рд╣реИ

рдпрд╣ $KUBELET_NETWORK_ARGS /etc/systemd/system/kubelet.service.d/10-kubeadm.conf рдХреЛ рдирд┐рдХрд╛рд▓рдХрд░ рдХрд╛рдо рдХрд░рдиреЗ рд▓рдЧрддрд╛ рд╣реИ

$ KUBELET_NETWORK_ARGS рдХреЛ рд╣рдЯрд╛рдиреЗ рд╕реЗ рдореЗрд░реЗ рд╕рд╛рде рдХрд╛рдо рдирд╣реАрдВ рд╣реЛрдЧрд╛ред

@PLoic рднреА рдореЗрд░реЗ рд╕рд╛рде рдХрд╛рдо рдирд╣реАрдВ рдХрд░рддрд╛ рд╣реИ

@ рдЪрд░рдг 3 рдкрд░ рдЖрдк рдХрд┐рд╕ рдкреЙрдб рдиреЗрдЯрд╡рд░реНрдХ рдХреЛ рд╕реНрдерд╛рдкрд┐рдд рдХрд░рддреЗ рд╣реИрдВ? рд╡рд┐рднрд┐рдиреНрди рд╡рд┐рдХрд▓реНрдк рд╣реИрдВ, рдФрд░ рдЙрд╕рдХреЗ рдмрд╛рдж рд╕рдорд╕реНрдпрд╛ рдирд┐рд╡рд╛рд░рдг рд╡рд┐рд╢рд┐рд╖реНрдЯ рдорд╛рдорд▓реЗ рдкрд░ рдирд┐рд░реНрднрд░ рдХрд░рддрд╛ рд╣реИред

@ рдПрдХрд▓ рднреА, рдХреНрдпреВрдмрд▓реЗрдЯ рд▓реЙрдЧ рдмрд╣реБрдд рдЕрдЪреНрдЫрд╛ рд╣реЛрдЧрд╛

рдЗрд╕ рдкреНрд▓рдЧрдЗрди рдХреЛ рд▓рд╛рдЧреВ рдХрд░рдиреЗ рдХрд╛ рдкреНрд░рдпрд╛рд╕ рдХрд░реЗрдВ: kubectl рд▓рд╛рдЧреВ рдХрд░реЗрдВ --filename https://git.io/weave-kube-1.6
рдЗрд╕рд╕реЗ рдореЗрд░рд╛ рдХрд╛рдо рдмрдирддрд╛ рд╣реИред

@PLoic @dcbw рдореИрдВ k8s (1.7) рдХреЗ рдлреНрд▓реИрдиреЗрд▓ рдкреНрд▓рдЧрдЗрди рд╕реНрдерд╛рдкрд┐рдд

рдЬреБрд▓рд╛рдИ 14 17:57:20 рдиреЛрдб 2 рдХреНрдпреВрдмрд▓реЗрдЯ: W0714 17: 57: 20.540849 17504 cni.go: 189] cni config рдЕрджреНрдпрддрди рдХрд░рдиреЗ рдореЗрдВ рдЕрд╕рдорд░реНрде: /etc/cni/net.d рдореЗрдВ рдХреЛрдИ рдиреЗрдЯрд╡рд░реНрдХ рдирд╣реАрдВ рдорд┐рд▓рд╛
рдЬреБрд▓рд╛рдИ 14 17:57:20 рдиреЛрдб 2 рдХреНрдпреВрдмрд▓реЗрдЯ: E0714 17: 57: 20.541001 17504 kubelet.go: 2136] рдХрдВрдЯреЗрдирд░ рд░рдирдЯрд╛рдЗрдо рдиреЗрдЯрд╡рд░реНрдХ рддреИрдпрд╛рд░ рдирд╣реАрдВ: NetworkReady = рдЧрд▓рдд рдХрд╛рд░рдг: NetworkPliveinNotReady рд╕рдВрджреЗрд╢: docker : рдиреЗрдЯрд╡рд░реНрдХ рдкреНрд▓рдЧрдЗрди рддреИрдпрд╛рд░ рдирд╣реАрдВ рд╣реИ: cni config uninitialized
рдЬреБрд▓рд╛рдИ 14 17:57:23 рдиреЛрдб 2 рдХреНрдпреВрдмрд▓реЗрдЯ: I0714 17: 57: 23.032330 17504 kubelet.go: 1820] рдлрд▓реА рд╕рд┐рдВрдХреНрд░реЛрдирд╛рдЗрдЬреЗрд╢рди рдХреЛ рдЫреЛрдбрд╝ рджреЗрдирд╛ - [рдХрдВрдЯреЗрдирд░ рдХрдВрдЯреЗрдирд░ рд╕рд┐рд╕реНрдЯрдо рдХреЛ рд╢реБрд░реВ рдХрд░рдиреЗ рдореЗрдВ рд╡рд┐рдлрд▓ рд░рд╣рд╛ рд╣реИ, рдХреНрд╖рдгрд┐рдХ рдЗрдХрд╛рдИ рдХреЗ рд░реВрдк рдореЗрдВ рд╕реНрд▓рд╛рдЗрд╕ рд╢реБрд░реВ рдХрд░рдиреЗ рдХреА рдХреНрд╖рдорддрд╛ рдХрд╛ рд╕рдорд░реНрдерди рдирд╣реАрдВ рдХрд░рддрд╛ рд╣реИ]

рджреЗрд░реА рдХреЗ рд▓рд┐рдП рдХреНрд╖рдорд╛ рдХрд░реЗрдВ, рдореИрдВ рдмреБрдирд╛рдИ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░ рд░рд╣рд╛ рдерд╛, рдореИрдВ 1.7.1 рдХреЛ рдХреБрдмреЗрд░рдиреЗрдЯреНрд╕ рдХреЛ рдЕрдкрдбреЗрдЯ рдХрд░рдиреЗ рдХреА рдХреЛрд╢рд┐рд╢ рдХрд░реВрдВрдЧрд╛ рдФрд░ рдирдП рд╕рд┐рд░реЗ рд╕реЗ рдмреБрдирд╛рдИ рдХреЗ рд╕рд╛рде

рдореИрдВрдиреЗ рдЕрдкрдиреЗ рд╕рднреА рдШрдЯрдХреЛрдВ рдХреЛ рдЕрдкрдбреЗрдЯ рдХрд┐рдпрд╛ рдФрд░ рдпрд╣ рдХрд╛рдо рдХрд░рдиреЗ рд▓рдЧрддрд╛ рд╣реИ! :)

рдХреНрдпрд╛ рдпрд╣ рд╕рдорд╕реНрдпрд╛ @PLoic рдХреЛ рдмрдВрдж рдХрд░рдирд╛ рдареАрдХ рд╣реИ?

@cmluciano рд╣рд╛рдБ, рдореБрдЭреЗ рд▓рдЧрддрд╛ рд╣реИ рдХрд┐ рдЗрд╕ рдореБрджреНрджреЗ рдХреЛ рдмрдВрдж рдХрд░рдирд╛ рдареАрдХ рд╣реИ

/Etc/systemd/system/kubelet.service.d/10-kubeadm.conf рдореЗрдВ рдореЗрд░реЗ рд▓рд┐рдП $ KUBELET_NETWORK_ARGS рдХреЛ рд╣рдЯрд╛рдирд╛ рдореЗрд░реЗ рд▓рд┐рдП рдХрд╛рдо рдХрд░рддрд╛ рд╣реИред
рд╕рд╛рднрд╛рд░ @PLoic

рдзреНрдпрд╛рди рджреЗрдВ рдХрд┐ KUBELET_NETWORK_ARGS рд╡рд╣ рд╣реИ рдЬреЛ рдХреНрдпреВрдмрд▓реЗрдЯ рдХреЛ рдмрддрд╛рддрд╛ рд╣реИ рдХрд┐ рдХрд┐рд╕ рддрд░рд╣ рдХреЗ рдиреЗрдЯрд╡рд░реНрдХ рдкреНрд▓рдЧрдЗрди рдХреА рдЙрдореНрдореАрдж рд╣реИред рдпрджрд┐ рдЖрдк рдЗрд╕реЗ рд╣рдЯрд╛рддреЗ рд╣реИрдВ рддреЛ рдХреНрдпреВрдмрд▓реЗрдЯ рдХреЛрдИ рдкреНрд▓рдЧрдЗрди рдХреА рдЕрдкреЗрдХреНрд╖рд╛ рдХрд░рддрд╛ рд╣реИ, рдФрд░ рдЗрд╕рд▓рд┐рдП рдЖрдкрдХреЛ рдЬреЛ рдХреБрдЫ рднреА рдорд┐рд▓рддрд╛ рд╣реИ рд╡рд╣ рдЕрдВрддрд░реНрдирд┐рд╣рд┐рдд рдХрдВрдЯреЗрдирд░ рд░рдирдЯрд╛рдЗрдо рдЖрдкрдХреЛ рджреЗрддрд╛ рд╣реИ: рдЖрдорддреМрд░ рдкрд░ рдбреЙрдХрд░ "рдкреБрд▓" рдиреЗрдЯрд╡рд░реНрдХрд┐рдВрдЧред

рдпрд╣ рдХреБрдЫ рдорд╛рдорд▓реЛрдВ рдореЗрдВ рдареАрдХ рд╣реИ, рдЦрд╛рд╕рдХрд░ рдпрджрд┐ рдЖрдкрдХреЗ рдкрд╛рд╕ рдХреЗрд╡рд▓ рдПрдХ рдорд╢реАрди рд╣реИред рдпрджрд┐ рдЖрдк рд╡рд╛рд╕реНрддрд╡ рдореЗрдВ рд╕реАрдПрдирдЖрдИ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛ рдЪрд╛рд╣рддреЗ рд╣реИрдВ рддреЛ рдпрд╣ рдЙрдкрдпреЛрдЧреА рдирд╣реАрдВ рд╣реИред

рдореИрдВ рдареАрдХ рдЙрд╕реА рддреНрд░реБрдЯрд┐ рдХреЛ рдХреБрдмреЗрджрдо рдХреЗ рд╕рд╛рде рджреЗрдЦ рд░рд╣рд╛ рд╣реВрдВ, рдЬрд╣рд╛рдВ рдпрд╣ рд╣рдореЗрд╢рд╛ рдХреЗ рд▓рд┐рдП рдорд╛рд░рд╛ рдЬрд╛рддрд╛ рд╣реИ:

[apiclient] Created API client, waiting for the control plane to become ready

"Journalctl -r -u kubelet" рдореЗрдВ рдореИрдВ рдЗрди рдкрдВрдХреНрддрд┐рдпреЛрдВ рдХреЛ рдмрд╛рд░-рдмрд╛рд░ рджреЗрдЦрддрд╛ рд╣реВрдВ:
Aug 31 16:34:41 k8smaster1 kubelet[8876]: E0831 16:34:41.499982 8876 kubelet.go:2136] Container runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:docker: network plugin is not ready: cni config uninitialized Aug 31 16:34:41 k8smaster1 kubelet[8876]: W0831 16:34:41.499746 8876 cni.go:189] Unable to update cni config: No networks found in /etc/cni/net.d

рд╕рдВрд╕реНрдХрд░рдг рд╡рд┐рд╡рд░рдг рд╣реИрдВ:
`kubeadm рд╕рдВрд╕реНрдХрд░рдг: & version.Info {рдореЗрдЬрд░:" 1 ", рдорд╛рдЗрдирд░:" 7 ", GitVersion:" v1.7.4 ", GitCommit:" 793658f2d7ca7f7d0bd2bdf606519f9fe1229c381 "," GitTreeState: "" Build ":" Build, ";" : 51Z ", GoVersion:" go1.8.3 ", рд╕рдВрдХрд▓рдХ:" gc ", рдкреНрд▓реЗрдЯрдлрд╝реЙрд░реНрдо:" linux / amd64 "}

Kubectl рд╡рд░реНрдЬрди: рдХреНрд▓рд╛рдЗрдВрдЯ рд╡рд░реНрдЬрди: version.Info {рдореЗрдЬрд░: "1", рдорд╛рдЗрдирд░: "7", GitVersion: "v1.7.4", GitCommit: "793658f2d7ca7f7f7d64b2ddf606519f9fe1229c381", "рдХреНрд▓реАрди": "рдмрд┐рд▓реНрдб", "рдХреНрд▓реАрди" : 48: 23Z ", GoVersion:" go1.8.3 ", рд╕рдВрдХрд▓рдХ:" gc ", рдкреНрд▓реЗрдЯрдлрд╝реЙрд░реНрдо:" linux / amd64 "}`

рдУрдПрд╕ рд╡рд┐рд╡рд░рдг рд╣реИрдВ:
Operating System: Red Hat Enterprise Linux Server 7.3 (Maipo) Kernel: Linux 3.10.0-514.el7.x86_64 Architecture: x86-64
рдХрд┐рд╕реА рднреА рдкреНрд░рдХрд╛рд░ рдХреЗ рдорджрдж рдХреА рдмрд╣реБрдд рд╕рд░рд╛рд╣рдирд╛ рдХреА рдЬрд╛рдПрдЧреА!

@ ashish-billore CNI рдкреНрд░рджрд╛рддрд╛ рдиреЗ рдЖрдкрдХреЛ рдХреНрдпрд╛ рд╕реНрдерд╛рдкрд┐рдд рдХрд┐рдпрд╛ рдерд╛?

рдореИрдВ рдорд╛рд╕реНрдЯрд░ рд╢рд╛рдЦрд╛ рдХреЗ рд╣рд╛рд▓ рд╣реА рдореЗрдВ рдЬреАрдердм рдЯрд┐рдк рдХреЗ рд╕рд╛рде Unable to update cni config: No networks found in /etc/cni/net.d рдкреНрд░рд╛рдкреНрдд рдХрд░ рд░рд╣рд╛ рд╣реВрдВ - "v1.9.0-alpha.0.690+9aef242a4c1e42-dirty"

ubuntu рдкрд░ 17.04

рдЕрдЧрд░ рдореИрдВ 10-kubelet.conf рд╕реЗ рдЗрд╕ рд▓рд╛рдЗрди рдХреЛ рд╣рдЯрд╛
Environment="KUBELET_NETWORK_ARGS=--network-plugin=cni --cni-conf-dir=/etc/cni/ --cni-bin-dir=/opt/cni/bin""

рдХреНрдпреВрдмрд▓реЗрдЯ рд╢реБрд░реВ рд╣реЛрддрд╛ рд╣реИ, рдлрд┐рд░ рдореИрдВ рдкреЙрдб-рдиреЗрдЯрд╡рд░реНрдХ рдкреНрд▓рдЧрдЗрди рдХреЗ рд░реВрдк рдореЗрдВ рдмреБрдирд╛рдИ-рдиреЗрдЯ рд╕реНрдерд╛рдкрд┐рдд рдХрд░рддрд╛ рд╣реВрдВ рд▓реЗрдХрд┐рди рдХреНрдпреВрдм-рд╕рд┐рд╕реНрдЯрдо рдкреЙрдбреНрд╕ рдХрднреА рднреА рд╢реБрд░реВ рдирд╣реАрдВ рд╣реЛрддреЗ рд╣реИрдВ (рд╡реЗ рд╢реЗрдбреНрдпреВрд▓ рд░рд╣рддреЗ рд╣реИрдВ?)ред

kube-system   etcd-luboitvbox                      0/1       Pending   0          31m
kube-system   kube-apiserver-luboitvbox            0/1       Pending   0          31m
kube-system   kube-controller-manager-luboitvbox   0/1       Pending   0          31m
kube-system   kube-dns-1848271846-7mw9x            0/3       Pending   0          32m
kube-system   kube-proxy-k89jp                     0/1       Pending   0          32m
kube-system   kube-scheduler-luboitvbox            0/1       Pending   0          31m
kube-system   weave-net-v8888                      0/2       Pending   0          30m

рдРрд╕рд╛ рд╣реА рдлрд▓рд╛рд▓реИрди рдХреЗ рд╕рд╛рде рд╣реЛрддрд╛ рд╣реИред

рдирдорд╕реНрддреЗ,

рдЬрд╛рдирдХрд╛рд░реА рдХреЗ рд▓рд┐рдП, рдореЗрд░реЗ рдкрд╛рд╕ рдпрд╣ рдореБрджреНрджрд╛ рдерд╛: Kubernetes v1.6 рдХреЗ рдмрд╛рдж рд╕реЗ RBAC рдХрд╛ рдкрд░рд┐рдЪрдп рджреЗрддрд╛ рд╣реИ, рд╣рдореЗрдВ рдкрддреНрд░рд╛рдЪрд╛рд░ рд╕реЗрд╡рд╛ рдЦрд╛рддрд╛, RBAC рдирд┐рдпрдо рдФрд░ рдлрд▓рд╛рд▓реИрди рдбреЗрдореЛрдирд╕реЗрдЯ рдмрдирд╛рдиреЗ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реИ рддрд╛рдХрд┐ рдХреНрдпреВрдмрд▓реЗрдЯ рдПрдкреА рд╕рд░реНрд╡рд░ рдХреЗ рд╕рд╛рде рд╕рд╣реА рдврдВрдЧ рд╕реЗ рд╕рдВрд╡рд╛рдж рдХрд░ рд╕рдХреЗред

рдЖрдкрдХреЛ рджреМрдбрд╝рдирд╛ рд╣реЛрдЧрд╛:

$ kubectl create -f https://raw.githubusercontent.com/coreos/flannel/v0.9.0/Documentation/kube-flannel.yml

рдореБрдЭреЗ рдЙрдореНрдореАрдж рд╣реИ рдпрд╣ рдорджрдж рдХрд░реЗрдЧрд╛ред

рд╣рд╛рдп рджреЛрд╕реНрддреЛрдВ, рдЗрд╕ рдореБрджреНрджреЗ рдХреЛ рдмрдВрдж рдХреНрдпреЛрдВ рдХрд┐рдпрд╛ рдЧрдпрд╛ рдерд╛? рдРрд╕рд╛ рдирд╣реАрдВ рд▓рдЧрддрд╛ рдХрд┐ рдХреЛрдИ рд╕рдорд╛рдзрд╛рди рдерд╛?

рдореИрдВ рдЗрд╕реЗ рджреЗрдЦрддрд╛ рд╣реВрдВ рдЬрдм рдмреБрдирд╛рдИ рд╡рд╛рд▓реЗ рд╕реАрдПрдирдЖрдИ рдкреНрд▓рдЧрдЗрди рдХреЗ рд╕рд╛рде k8 рдХреЗ рдХреНрд▓рд╕реНрдЯрд░ рдХреЛ рд╕реНрдерд╛рдкрд┐рдд рдХрд░рдиреЗ рдХреА рдХреЛрд╢рд┐рд╢ рдХреА рдЬрд╛рддреА рд╣реИред

@vinayvenkat рдореБрджреНрджрд╛ рдмрдВрдж рд╣реЛ рдЧрдпрд╛ рдХреНрдпреЛрдВрдХрд┐ рдУрдкреА рдиреЗ рдЕрдкрдбреЗрдЯ рдХрд┐рдпрд╛ рдФрд░ рд╕рдорд╕реНрдпрд╛ рджреВрд░ рд╣реЛ рдЧрдИред

рдЪреВрдВрдХрд┐ рдХреБрдмреЗрд░рдиреЗрдЯреНрд╕, рдФрд░ рд╡рд┐рд╢реЗрд╖ рд░реВрдк рд╕реЗ рдиреЗрдЯрд╡рд░реНрдХрд┐рдВрдЧ, рдмрд╣реБрдд рдЬрдЯрд┐рд▓ рдФрд░ рд╡рд┐рд╡рд┐рдз рд╣реИ, рдЖрдкрдХреЛ рдпрд╣ рдирд╣реАрдВ рдорд╛рдирдирд╛ тАЛтАЛрдЪрд╛рд╣рд┐рдП рдХрд┐ рдРрд╕рд╛ рдореБрджреНрджрд╛ рдЬреЛ рд╕рдорд╛рди рд▓рдЧрддрд╛ рд╣реИ рд╡рд╛рд╕реНрддрд╡ рдореЗрдВ рд╡реИрд╕рд╛ рд╣реА рд╣реИред рдПрдХ рдирдпрд╛ рдореБрджреНрджрд╛ рдЦреЛрд▓реЗрдВ рдФрд░ рд╡рд╣рд╛рдВ рдЕрдкрдиреА рд╡рд┐рд╢рд┐рд╖реНрдЯ рд╕реНрдерд┐рддрд┐ рдХрд╛ рдкреВрд░рд╛ рд╡рд┐рд╡рд░рдг рджреЗрдВред

рдпрджрд┐ рдЖрдкрдХрд╛ рдореБрджреНрджрд╛ рдмреБрди рдиреЗрдЯ рдХреЗ рд╕рд╛рде рд╣реИ, рддреЛ рдЖрдкрдХреЛ https://github.com/weaveworks/issues/new , рдпрд╛ рд╡реАрд╡ рд╕рдореБрджрд╛рдп рд╕реНрд▓реИрдХ рдореЗрдВ рдЕрдзрд┐рдХ рдХреЗрдВрджреНрд░рд┐рдд рдЙрддреНрддрд░ рдорд┐рд▓ рд╕рдХрддрд╛ рд╣реИред

рдореБрдЭреЗ рднреА рдЗрд╕реА рд╕рдорд╕реНрдпрд╛ рдХрд╛ рд╕рд╛рдордирд╛ рдХрд░рдирд╛ рдкрдбрд╝рд╛ред рд▓реЗрдХрд┐рди рдпрд╣ k8 рд╕реНрдерд╛рдкрд┐рдд рдХрд░рдиреЗ рдкрд░ рдПрдХ рдШрд╛рддрдХ рддреНрд░реБрдЯрд┐ рдирд╣реАрдВ рд╣реИред
рдЬрд╛рдВрдЪ рд╣реЛ рд╕рдХрддреА рд╣реИ рдХрд┐ рдЖрдк рдХреНрдпреВрдмрд▓реЗрдЯ рд╕рд┐рд╕реНрдЯрдордб cgroups рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддреЗ рд╣реИрдВ, рдЬреЛ рдбреЙрдХрд░ рдХреЗ cgroups рдХреЗ рд╕рд╛рде рднрд┐рдиреНрди рд╣реЛрддрд╛ рд╣реИ, рджреЛрдиреЛрдВ kubelet рдФрд░ docker рдХреЛ рд╕рдорд╛рдпреЛрдЬрд┐рдд рдХрд░рддрд╛ рд╣реИ, рд░рди kubeadm рдХреЛ рдлрд┐рд░ рд╕реЗ рдЪрд▓рд╛рддрд╛ рд╣реИ, рдпрд╣ рдЕрдЪреНрдЫреА рддрд░рд╣ рд╕реЗ рдЪрд▓ рд╕рдХрддрд╛ рд╣реИред
рдЖрдкрдХреА рдорджрдж рдХрд░рдиреЗ рдХреА рдЙрдореНрдореАрдж рд╣реИред

OS (рдЙрджрд╛ред / Etc / os-release): CentOS 7

рдпрджрд┐ рдЖрдк рдЗрд╕ рддрдереНрдп рдХреЗ рдмрд╛рд╡рдЬреВрдж рдиреЛрдб рдкрд░ /etc/cni/net.d рдирд┐рд░реНрджреЗрд╢рд┐рдХрд╛ рдХреЛ рджреЗрдЦрддреЗ рд╣реИрдВ рдХрд┐ рдкреЙрдб рдиреЗрдЯрд╡рд░реНрдХ рдкреНрд░реЛрд╡рд╛рдЗрдбрд░ рдкреЙрдб рдЪрд▓ рд░рд╣рд╛ рд╣реИ, рддреЛ setenforce 0 рдФрд░ рдкреЙрдб рдиреЗрдЯрд╡рд░реНрдХ рдкреНрд░реЛрд╡рд╛рдЗрдбрд░ рдкреЙрдб рдХреЛ рд╣рдЯрд╛ рджреЗрдВред k8s рдЗрд╕реЗ рдкреБрдирдГ рдЖрд░рдВрдн рдХрд░реЗрдЧрд╛ рдФрд░, рдЙрдореНрдореАрдж рд╣реИ, рдЕрдм рдпрд╣ рдЗрд╕рдХреЗ рдХреЙрдиреНрдлрд┐рдЧрд░ рдХреЛ рдХреЙрдкреА рдХрд░ рд╕рдХреЗрдЧрд╛ред

рдХреНрдпреВрдмрд▓реЗрдЯ рдХреЛ рдкреБрдирдГ рдЖрд░рдВрдн рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдордд рднреВрд▓рдирд╛ ...
/etc/systemd/system/kubelet.service.d/10-kubeadm.conf рдореЗрдВ $ KUBELET_NETWORK_ARGS рдХреЛ рд╣рдЯрд╛рдирд╛
systemctl kubelet && systemctl start kubelet рдХреЛ рд╕рдХреНрд╖рдо рдХрд░рддрд╛ рд╣реИ
рдлрд┐рд░ рдиреЛрдб рдореЗрдВ рдлрд┐рд░ рд╕реЗ рд╢рд╛рдорд┐рд▓ рд╣реЛрдВ
рдЗрд╕ рддрд░рд╣ рд╕реЗ рдореЗрд░реЗ рд▓рд┐рдП рдареАрдХ рдХрд╛рдо рдХрд░рддрд╛ рд╣реИ ~

рдирдорд╕реНрддреЗ,

рдпрджрд┐ рдЖрдк /etc/systemd/system/kubelet.service.d/10-kubeadm.conf рдореЗрдВ $ KUBELET_NETWORK_ARGS рдЯрд┐рдкреНрдкрдгреА рдХрд░рддреЗ рд╣реИрдВ рдФрд░ рд╕реЗрд╡рд╛ рдХреЛ рдкреБрдирдГ рдЖрд░рдВрдн рдХрд░рддреЗ рд╣реИрдВ / / рдлрд┐рд░ рд╕реЗ рд╢реБрд░реВ рдХрд░рддреЗ рд╣реИрдВ рдпрд╛ рдпрджрд┐ рдЖрдк kubeadm рд░реАрд╕реЗрдЯ рдХрд░рддреЗ рд╣реИрдВ рдФрд░ рдлрд┐рд░ рд╕реЗ рдЬреБрдбрд╝рддреЗ рд╣реИрдВ / рддреЛ kubeadm init рдХреЛ рдХреНрд▓рд╕реНрдЯрд░ рдкреБрдирдГ рдмрдирд╛рдиреЗ рдХреЗ рд▓рд┐рдП рд╕рдореНрдорд┐рд▓рд┐рдд рдХрд░рддреЗ рд╣реИрдВред
рдФрд░ рдлрд┐рд░ рд╕реЗ рдиреЛрдбреНрд╕ рдореЗрдВ рд╢рд╛рдорд┐рд▓ рд╣реЛрдВ,

рдкреЙрдбреНрд╕ рдЪрд╛рд▓реВ рдЕрд╡рд╕реНрдерд╛ рдореЗрдВ рд╣реЛрдВрдЧреЗ рд▓реЗрдХрд┐рди рдпрджрд┐ рдЖрдк рдХреНрдпреВрдм-рдбреЗрдиреНрд╕ рдкреЙрдб рдХрд╛ рд╡рд░реНрдгрди рдХрд░рддреЗ рд╣реИрдВ рддреЛ рдЖрдк рджреЗрдЦреЗрдВрдЧреЗ

рдЪреЗрддрд╛рд╡рдиреА рдЕрд╕реНрд╡рд╛рд╕реНрдереНрдпрдХрд░ 1 рдореА (2 рдореА рдкрд░ рдПрдХреНрд╕ 4) рдХреНрдпреВрдмрд▓реЗрдЯ, рдорд╛рд╕реНрдЯрд░ рддрддреНрдкрд░рддрд╛ рдЬрд╛рдВрдЪ рд╡рд┐рдлрд▓: http://172.17.0.2 : 8081 / рддрддреНрдкрд░рддрд╛ рдкреНрд░рд╛рдкреНрдд рдХрд░реЗрдВ: рдбрд╛рдпрд▓ tcp 172.17.0.2:8081: getsockopt, рдХрдиреЗрдХреНрд╢рди рд╕реЗ рдЗрдирдХрд╛рд░ рдХрд░ рджрд┐рдпрд╛

рдиреАрдЪреЗ рдХреЗ рд░реВрдк рдореЗрдВ рдкреВрд░рд╛ рдЙрддреНрдкрд╛рджрдиред

рдЖрдпреЛрдЬрди:
рд╕рдВрджреЗрд╢ рд╕реЗ рдХрд╛рд░рдг рдЖрдпреБ рд▓рд┐рдЦреЗрдВ
---- ------ ---- ---- -------
рд╕рд╛рдорд╛рдиреНрдп рдЕрдиреБрд╕реВрдЪрд┐рдд 10 рдореАрдЯрд░ рдбрд┐рдлрд╝реЙрд▓реНрдЯ-рд╢реЗрдбреНрдпреВрд▓рд░ рдорд╛рд╕реНрдЯрд░ рдХреЛ рд╕рдлрд▓рддрд╛рдкреВрд░реНрд╡рдХ рдХреНрдпреВрдм-рдбреАрдПрдирдПрд╕-6 рдПрдл 4 рдПрдлрдбреА 4 рдмреАрдПрдлрдбреА-рдХреНрдпреВрдПрдХреНрд╕рдПрдордЬрд╝реЗрдб рд╕реМрдВрдкрд╛ рдЧрдпрд╛
рд╕рд╛рдорд╛рдиреНрдп рд╕рдлрд▓рдорд╛рдЙрдВрдЯрд╡реЛрд▓реНрдпреВрдо 10 рдореАрдЯрд░ рдХреНрдпреВрдмрд▓реЗрдЯ, рдорд╛рд╕реНрдЯрд░ рдорд╛рдЙрдВрдЯрд╡реЛрд▓реНрдпреВрдоредрд╕реЗрдЯрдЕрдк рд╡реЙрд▓реНрдпреВрдо "рдХреНрдпреВрдм-рдбреАрдПрдирдПрд╕-рдЯреЛрдХрди -47 рдПрдлрдкреАрдбреА" рдХреЗ рд▓рд┐рдП рд╕рдлрд▓ рд░рд╣рд╛
рд╕рд╛рдорд╛рдиреНрдп рд╕рдлрд▓рдорд╛рдЙрдВрдЯрд╡реЛрд▓реНрдпреВрдо 10 рдореАрдЯрд░ рдХреНрдпреВрдмрд▓реЗрдЯ, рдорд╛рд╕реНрдЯрд░ рдорд╛рдЙрдВрдЯрд╡реЛрд▓реНрдпреВрдоредрд╕реЗрдЯрдЕрдк рд╡реЙрд▓реНрдпреВрдо "рдХреНрдпреВрдм-рдбреАрдПрдирдПрд╕-рдХреЙрдиреНрдлрд┐рдЧрд░реЗрд╢рди" рдХреЗ рд▓рд┐рдП рд╕рдлрд▓ рд░рд╣рд╛
рд╕рд╛рдорд╛рдиреНрдп рдЦреАрдВрдЪ 10 рдореАрдЯрд░ рдХреНрдпреВрдмрд▓реЗрдЯ, рдорд╛рд╕реНрдЯрд░ рдкреБрд▓рд┐рдВрдЧ рдЗрдореЗрдЬ "gcr.io/google_containers/k8s-dns-kube-dns-amd64:1.14.7"
рд╕рд╛рдорд╛рдиреНрдп рд░реВрдк рд╕реЗ рдЦреАрдВрдЪрд╛ рдЧрдпрд╛ 10 рдореАрдЯрд░ рдХреНрдпреВрдмрд▓реЗрдЯ, рдорд╛рд╕реНрдЯрд░ рд╕рдлрд▓рддрд╛рдкреВрд░реНрд╡рдХ рдЦреАрдВрдЪреА рдЧрдИ рдЫрд╡рд┐ "gcr.io/google_containers/k8s-dns-kube-dns-amd64:1.14.7"
рд╕рд╛рдорд╛рдиреНрдп рдирд┐рд░реНрдорд┐рдд 10 рдореАрдЯрд░ рдХреНрдпреВрдмрд▓реЗрдЯ, рдорд╛рд╕реНрдЯрд░ рдирд┐рд░реНрдорд┐рдд рдХрдВрдЯреЗрдирд░
рд╕рд╛рдорд╛рдиреНрдп рдкреНрд░рд╛рд░рдВрдн 10 рдореАрдЯрд░ рдХреНрдпреВрдмрд▓реЗрдЯ, рдорд╛рд╕реНрдЯрд░ рд╕реНрдЯрд╛рд░реНрдЯреЗрдб рдХрдВрдЯреЗрдирд░
рд╕рд╛рдорд╛рдиреНрдп рдЦреАрдВрдЪ 10 рдореАрдЯрд░ рдХреНрдпреВрдмрд▓реЗрдЯ, рдорд╛рд╕реНрдЯрд░ рдкреБрд▓рд┐рдВрдЧ рдЗрдореЗрдЬ "gcr.io/google_containers/k8s-dns-dnsmasq-nanny-amd64:1.14.7"
рд╕рд╛рдорд╛рдиреНрдп рд░реВрдк рд╕реЗ рдЦреАрдВрдЪрд╛ рдЧрдпрд╛ 10 рдореАрдЯрд░ рдХреНрдпреВрдмрд▓реЗрдЯ, рдорд╛рд╕реНрдЯрд░ рд╕рдлрд▓рддрд╛рдкреВрд░реНрд╡рдХ рдЦреАрдВрдЪреА рдЧрдИ рдЫрд╡рд┐ "gcr.io/google_containers/k8s-dns-dnsmasq-nanny-amd64:1.14.7"
рд╕рд╛рдорд╛рдиреНрдп рдирд┐рд░реНрдорд┐рдд 10 рдореАрдЯрд░ рдХреНрдпреВрдмрд▓реЗрдЯ, рдорд╛рд╕реНрдЯрд░ рдирд┐рд░реНрдорд┐рдд рдХрдВрдЯреЗрдирд░
рд╕рд╛рдорд╛рдиреНрдп рдкреНрд░рд╛рд░рдВрдн 10 рдореАрдЯрд░ рдХреНрдпреВрдмрд▓реЗрдЯ, рдорд╛рд╕реНрдЯрд░ рд╕реНрдЯрд╛рд░реНрдЯреЗрдб рдХрдВрдЯреЗрдирд░
рд╕рд╛рдорд╛рдиреНрдп рдЦреАрдВрдЪ 10 рдореАрдЯрд░ рдХреНрдпреВрдмрд▓реЗрдЯ, рдорд╛рд╕реНрдЯрд░ рдкреБрд▓рд┐рдВрдЧ рдЗрдореЗрдЬ "gcr.io/google_containers/k8s-dns-sidecar-amd64:1.14.7"
рд╕рд╛рдорд╛рдиреНрдп рд░реВрдк рд╕реЗ рдЦреАрдВрдЪрд╛ рдЧрдпрд╛ 10 рдореАрдЯрд░ рдХреНрдпреВрдмрд▓реЗрдЯ, рдорд╛рд╕реНрдЯрд░ рд╕рдлрд▓рддрд╛рдкреВрд░реНрд╡рдХ рдЦреАрдВрдЪреА рдЧрдИ рдЫрд╡рд┐ "gcr.io/google_containers/k8s-dns-sidecar-amd64:1.14.7"
рд╕рд╛рдорд╛рдиреНрдп рдирд┐рд░реНрдорд┐рдд 10 рдореАрдЯрд░ рдХреНрдпреВрдмрд▓реЗрдЯ, рдорд╛рд╕реНрдЯрд░ рдирд┐рд░реНрдорд┐рдд рдХрдВрдЯреЗрдирд░
рд╕рд╛рдорд╛рдиреНрдп рдкреНрд░рд╛рд░рдВрдн 10 рдореАрдЯрд░ рдХреНрдпреВрдмрд▓реЗрдЯ, рдорд╛рд╕реНрдЯрд░ рд╕реНрдЯрд╛рд░реНрдЯреЗрдб рдХрдВрдЯреЗрдирд░
рд╕рд╛рдорд╛рдиреНрдп рд╕рдлрд▓рдорд╛рдЙрдВрдЯрд╡реВрдо 2 рдПрдо рдХреНрдпреВрдмрд▓реЗрдЯ, рдорд╛рд╕реНрдЯрд░ рдорд╛рдЙрдВрдЯрд╡реЛрд▓реНрдпреВрдоредрд╕реЗрдЯрдЕрдк рд╡реЙрд▓реНрдпреВрдо "рдХреНрдпреВрдм-рдбреАрдПрдирдПрд╕-рдЯреЛрдХрди -47 рдПрдлрдкреАрдбреА" рдХреЗ рд▓рд┐рдП рд╕рдлрд▓ рд░рд╣рд╛
рд╕рд╛рдорд╛рдиреНрдп рд╕рдлрд▓рдорд╛рдЙрдВрдЯрд╡реВрдо 2 рдПрдо рдХреНрдпреВрдмрд▓реЗрдЯ, рдорд╛рд╕реНрдЯрд░ рдорд╛рдЙрдВрдЯрд╡реЛрд▓реНрдпреВрдоредрд╕реЗрдЯрдЕрдк рд╡реЙрд▓реНрдпреВрдо "рдХреНрдпреВрдм-рдбреАрдПрдирдПрд╕-рдХреЙрдиреНрдлрд┐рдЧрд░реЗрд╢рди" рдХреЗ рд▓рд┐рдП рд╕рдлрд▓ рд░рд╣рд╛
рд╕рд╛рдорд╛рдиреНрдп рд╕реИрдВрдбрдмреЙрдХреНрд╕рдЪреИрдирд▓реНрдб 2 рдПрдо рдХреНрдпреВрдмрд▓реЗрдЯ, рдорд╛рд╕реНрдЯрд░ рдкреЙрдб рд╕реИрдВрдбрдмреЙрдХреНрд╕ рдмрджрд▓ рдЧрдпрд╛, рдЗрд╕реЗ рдорд╛рд░ рджрд┐рдпрд╛ рдЬрд╛рдПрдЧрд╛ рдФрд░ рдлрд┐рд░ рд╕реЗ рдмрдирд╛рдпрд╛ рдЬрд╛рдПрдЧрд╛ред
рд╕рд╛рдорд╛рдиреНрдп рдЦреАрдВрдЪрд╛ рд╣реБрдЖ 2 рдореАрдЯрд░ рдХреНрдпреВрдмрд▓реЗрдЯ, рдорд╛рд╕реНрдЯрд░ рдХрдВрдЯреЗрдирд░ рдЗрдореЗрдЬ "gcr.io/google_containers/k8s-dns-kube-dns-amd64:1.14.7" рдкрд╣рд▓реЗ рд╕реЗ рд╣реА рдорд╢реАрди рдкрд░ рдореМрдЬреВрдж рд╣реИ
рд╕рд╛рдорд╛рдиреНрдп рдирд┐рд░реНрдорд┐рдд 2 рдореАрдЯрд░ рдХреНрдпреВрдмрд▓реЗрдЯ, рдорд╛рд╕реНрдЯрд░ рдирд┐рд░реНрдорд┐рдд рдХрдВрдЯреЗрдирд░
рд╕рд╛рдорд╛рдиреНрдп рд╢реБрд░реБрдЖрдд 2 рдореАрдЯрд░ рдХреНрдпреВрдмрд▓реЗрдЯ, рдорд╛рд╕реНрдЯрд░ рд╕реНрдЯрд╛рд░реНрдЯреЗрдб рдХрдВрдЯреЗрдирд░
рд╕рд╛рдорд╛рдиреНрдп рдирд┐рд░реНрдорд┐рдд 2 рдореАрдЯрд░ рдХреНрдпреВрдмрд▓реЗрдЯ, рдорд╛рд╕реНрдЯрд░ рдирд┐рд░реНрдорд┐рдд рдХрдВрдЯреЗрдирд░
рд╕рд╛рдорд╛рдиреНрдп рд░реВрдк рд╕реЗ рдЦреАрдВрдЪрд╛ рдЧрдпрд╛ 2 рдореАрдЯрд░ рдХреНрдпреВрдмрд▓реЗрдЯ, рдорд╛рд╕реНрдЯрд░ рдХрдВрдЯреЗрдирд░ рдЫрд╡рд┐ "gcr.io/google_containers/k8s-dns-dnsmasq-nanny-amd64:1.14.7" рдкрд╣рд▓реЗ рд╕реЗ рд╣реА рдорд╢реАрди рдкрд░ рдореМрдЬреВрдж рд╣реИ
рд╕рд╛рдорд╛рдиреНрдп рд╢реБрд░реБрдЖрдд 2 рдореАрдЯрд░ рдХреНрдпреВрдмрд▓реЗрдЯ, рдорд╛рд╕реНрдЯрд░ рд╕реНрдЯрд╛рд░реНрдЯреЗрдб рдХрдВрдЯреЗрдирд░
рд╕рд╛рдорд╛рдиреНрдп рдЦреАрдВрдЪрд╛ рд╣реБрдЖ 2 рдореАрдЯрд░ рдХреНрдпреВрдмрд▓реЗрдЯ, рдорд╛рд╕реНрдЯрд░ рдХрдВрдЯреЗрдирд░ рдЗрдореЗрдЬ "gcr.io/google_containers/k8s-dns-sidecar-amd64:1.14.7" рдкрд╣рд▓реЗ рд╕реЗ рд╣реА рдорд╢реАрди рдкрд░ рдореМрдЬреВрдж рд╣реИ
рд╕рд╛рдорд╛рдиреНрдп рдирд┐рд░реНрдорд┐рдд 2 рдореАрдЯрд░ рдХреНрдпреВрдмрд▓реЗрдЯ, рдорд╛рд╕реНрдЯрд░ рдирд┐рд░реНрдорд┐рдд рдХрдВрдЯреЗрдирд░
рд╕рд╛рдорд╛рдиреНрдп рд╢реБрд░реБрдЖрдд 2 рдореАрдЯрд░ рдХреНрдпреВрдмрд▓реЗрдЯ, рдорд╛рд╕реНрдЯрд░ рд╕реНрдЯрд╛рд░реНрдЯреЗрдб рдХрдВрдЯреЗрдирд░
рдЪреЗрддрд╛рд╡рдиреА рдЕрд╕реНрд╡рд╛рд╕реНрдереНрдпрдХрд░ 1 рдореА (2 рдореА рдкрд░ рдПрдХреНрд╕ 4) рдХреНрдпреВрдмрд▓реЗрдЯ, рдорд╛рд╕реНрдЯрд░ рддрддреНрдкрд░рддрд╛ рдЬрд╛рдВрдЪ рд╡рд┐рдлрд▓: http://172.17.0.2 : 8081 / рддрддреНрдкрд░рддрд╛ рдкреНрд░рд╛рдкреНрдд рдХрд░реЗрдВ: рдбрд╛рдпрд▓ tcp 172.17.0.2:8081: getsockopt, рдХрдиреЗрдХреНрд╢рди рд╕реЗ рдЗрдирдХрд╛рд░ рдХрд░ рджрд┐рдпрд╛

docker @ рдорд╛рд╕реНрдЯрд░ : ~ $ kubectl рдХреЛ рдкреЙрдб - namespace = kube-system рдорд┐рд▓рддрд╛ рд╣реИ
NAD READY STATUS RESTARTS AGE
рдЖрджрд┐-рдЧреБрд░реБ 1/1 рд░рдирд┐рдВрдЧ 1 14 рдореА
kube-apiserver- рдорд╛рд╕реНрдЯрд░ 1/1 рд░рдирд┐рдВрдЧ 1 14 рдореА
рдХреНрдпреВрдм-рдХрдВрдЯреНрд░реЛрд▓рд░-рдореИрдиреЗрдЬрд░-рдорд╛рд╕реНрдЯрд░ 1/1 рд░рдирд┐рдВрдЧ 1 14 рдореА
kube-dns-6f4fd4bdf-qxmzn 3/3 рд░рдирд┐рдВрдЧ 3 15 рдореА
рдХреНрдпреВрдм-рдкреНрд░реЙрдХреНрд╕реА- d54fk 1/1 рд░рдирд┐рдВрдЧ 1 15 рдореА
рдХреНрдпреВрдм-рд╢реЗрдбреНрдпреВрд▓рд░-рдорд╛рд╕реНрдЯрд░ 1/1 рд░рдирд┐рдВрдЧ 1 14 рдореА

рдХрд┐рд╕реА рдиреЗ рдЕрднреА рддрдХ SELinux рдХрд╛ рдЙрд▓реНрд▓реЗрдЦ рдирд╣реАрдВ рдХрд┐рдпрд╛ рд╣реИред рдореБрдЭреЗ рдпрд╣ рддреНрд░реБрдЯрд┐ рддрдм рд╣реБрдИ рдЬрдм рдПрдХ рдореЛрдб рдореЗрдВ SELinux рдХреЗ рд╕рд╛рде Centos 7 рдорд╢реАрди рдкрд░ kubeadm join рдЪрд▓ рд░рд╣рд╛ рдерд╛ред setenforce 0 рд╕реЗрдЯ рдХрд░рдирд╛ рдФрд░ kubeadm рдХреЛ рдкреБрдирдГ рдЬрд╛рд░реА рдХрд░рдирд╛ рдореЗрд░реА рд╕рдорд╕реНрдпрд╛ рдХреЛ рдирд┐рд░реНрдзрд╛рд░рд┐рдд рдХрд░рддрд╛ рд╣реИред

рдзрдиреНрдпрд╡рд╛рдж setenforce 0 рдореЗрд░реЗ рд▓рд┐рдП рдХрд╛рдо рдХрд┐рдпрд╛ред

1. $ KUBELET_NETWORK_ARGS я╝М рд╕рдорд╕реНрдпрд╛ рдХреЛ рд╣рд▓ рди рдХрд░реЗрдВ
реи.рдкреНрд░рд╛рдд: реж
3. рд╕рд┐рд╕реНрдЯреЗрдордХреНрдЯрд▓ рдлрд╝рд╛рдпрд░рд╡реЙрд▓ рдХреЛ рд░реЛрдХреЗрдВ
4.docker cgroups рдбреНрд░рд╛рдЗрд╡рд░: systemd "Environment =" KUBELET_CGROUP_ARGS = - cgroup-driver = systemd "
рдЕрдиреБрд╕рд╛рд░
рд▓реЗрдХрд┐рди but рдЖрдк рдЬрд╛рдирддреЗ рд╣реИрдВ рдХрд┐ рдкреНрд░реЙрдорд┐рд▓ рдЕрднреА рднреА рдореМрдЬреВрдж рд╣реИред


рдордИ 20 20:10:45 k8s рдХреНрдпреВрдмрд▓реЗрдЯ: I0520 20: 10: 45.244383 17638 kubelet.go: 1794] рдлрд▓реА рддреБрд▓реНрдпрдХрд╛рд▓рди рдХреЛ рдЫреЛрдбрд╝ рджреЗрдирд╛ - [рдХрдВрдЯреЗрдирд░ рд░рдирдЯрд╛рдЗрдо рдбрд╛рдЙрди рд╣реИ]
рдордИ 20 20:10:45 k8s рдХреНрдпреВрдмрд▓реЗрдЯ: E0520 20: 10: 45.920981 17638 рдкрд░рд╛рд╡рд░реНрддрдХ .go: 205] k8s.io/kubernetes/pkg/kubelet/kubelet .go:460: рд╕реВрдЪреА рдореЗрдВ рд╢рд╛рдорд┐рд▓ рд╣реЛрдиреЗ рдореЗрдВ рд╡рд┐рдлрд▓ * v1.Node: Get https: //192.168.18.90 : 6443 / api / v1 / рдиреЛрдбреНрд╕? FieldSelector = metadata.name% 3Dk8s.master.com & limit = 500 рдФрд░ resourceVersion = 0: рдбрд╛рдпрд▓ tcp 19.1.1.1.1.90:6443: getsockopt: рдХрдиреЗрдХреНрд╢рди рдиреЗ рдЗрдирдХрд╛рд░ рдХрд░ рджрд┐рдпрд╛
20 рдордИ 20:10:45 k8s kubelet: E0520 20: 10: 45.924021 17638 рдкрд░рд╛рд╡рд░реНрддрдХ .go: 205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:451: рд▓рд┐рд╕реНрдЯ рдореЗрдВ рд╡рд┐рдлрд▓ * v1.Service: Get https: //192.168.18.90 : 6443 / api / v1 / рд╕реЗрд╡рд╛рдПрдВ? рд╕реАрдорд╛ = 500 рдФрд░ рд╕рдВрд╕рд╛рдзрдирд╡рд┐рдХрд╛рд╕ = 0: рдбрд╛рдпрд▓ tcp 192.168.18.90:6443: getsockopt: рдХрдиреЗрдХреНрд╢рди рд╕реЗ рдЗрдирдХрд╛рд░ рдХрд░ рджрд┐рдпрд╛
20 рдордИ 20:10:45 k8s рдХреНрдпреВрдмрд▓реЗрдЯ: E0520 20: 10: 45.935594 17638 рдкрд░рд╛рд╡рд░реНрддрдХ.рдЧреЛ: 205] k8s.io/kubernetes/pkg/kubelet/config/apiserver.go:47: рд▓рд┐рд╕реНрдЯ рдореЗрдВ рд╡рд┐рдлрд▓ * v1.Pod: Get https://192.168.18.90 : 6443 / рдПрдкреАрдЖрдИ / v1 / рдкреЙрдбреНрд╕? рдлрд╝реАрд▓реНрдбрд╕реЗрдВрдЯрд░ = spec.nodeName% 3Dk8s.master.com рдФрд░ рд╕реАрдорд╛ = 500 рдФрд░ рд╕рдВрд╕рд╛рдзрдирд╡рд┐рдХрд╛рд╕ = 0: рдбрд╛рдпрд▓ tc 192.168.18.90:6443: getsockopt: рдХрдиреЗрдХреНрд╢рди рд╕реЗ рдЗрдирдХрд╛рд░ рдХрд░ рджрд┐рдпрд╛

23 рдордИ 10:19:45 рдЖрд░реНрдЪ рдХреНрдпреВрдмрд▓реЗрдЯ [13585]: E0523 10: 19: 45.909458 13585 kubelet.go: 2095] рдХрдВрдЯреЗрдирд░ рд░рдирдЯрд╛рдЗрдо рдиреЗрдЯрд╡рд░реНрдХ рддреИрдпрд╛рд░ рдирд╣реАрдВ: NetworkReady = false рдХрд╛рд░рдг: NetworkPluginNotReady рд╕рдВрджреЗрд╢: docker : рдиреЗрдЯрд╡рд░реНрдХ рдкреНрд▓рдЧрдЗрди рддреИрдпрд╛рд░ рдирд╣реАрдВ рд╣реИ: cni config рдЕрдкреНрд░рд╛рд░рдВрднреАрдХреГрдд
23 рдордИ 10:19:46 рдЖрд░реНрдЪ рдХреНрдпреВрдмрд▓реЗрдЯ [13585]: E0523 10: 19: 46.002646 13585 рд╣реЗрд▓реНрдкрд░реНрд╕редрдПрдЧреЛ: 468] рдкреЗрд░реНрдХрдкреБрдЕрд╕ рдореЗрдВ 0 рд╕реАрдкрд╕ рдерд╛, рд▓реЗрдХрд┐рди рд╡рд╛рд╕реНрддрд╡рд┐рдХ рд╕рдВрдЦреНрдпрд╛ 8 рд╣реИ; рдЕрддрд┐рд░рд┐рдХреНрдд рд╕реАрдкреАрдпреВ рдХреА рдЕрдирджреЗрдЦреА

`рд╕реВрджреЛ рдХреБрдмреЗрдХреЗрд▓ рдХреЛ рдиреЛрдб рдорд┐рд▓рддрд╛ рд╣реИ

NAME STATUS рд░реЙрд╕ рдЖрдпреБ рд╕рдВрд╕реНрдХрд░рдг
127.0.0.1 рдиреЛрдЯрд░реА23h v1.8.13`

рдмрд╕ рдЗрд╕ рдореЗрдВ рднрд╛рдЧ рдЧрдпрд╛, рдФрд░ рдРрд╕рд╛ рд▓рдЧрддрд╛ рд╣реИ рдХрд┐ рдлрд╝рд╛рдЗрд▓ рд╡рд╛рд╕реНрддрд╡ рдореЗрдВ рдЦрд╛рд▓реА рд╣реЛрдиреЗ рдХреЗ рдХрд╛рд░рдг, рдпрд╣рд╛рдБ install-cni рд╕реЗ рдЖрдЙрдЯрдкреБрдЯ рд╣реИ:

$ k logs canal-25rct install-cni -n kube-system
ls: /calico-secrets: No such file or directory
Wrote Calico CNI binaries to /host/opt/cni/bin
CNI plugin version: v3.1.2
/host/secondary-bin-dir is non-writeable, skipping
CNI config: {
Created CNI config 10-calico.conflist
Done configuring CNI.  Sleep=true

рдФрд░ /etc/cni/net.d/10-calico.conflist :

$ cat /etc/cni/net.d/10-calico.conflist 
{

рдЬрдм рдореИрдВ рдХрдВрдЯреЗрдирд░ рдореЗрдВ рд╢реЗрд▓ рдХрд░рдиреЗ рдХреА рдХреЛрд╢рд┐рд╢ рдХрд░рддрд╛ рд╣реВрдВ (рд╣реЛ рд╕рдХрддрд╛ рд╣реИ рдХрд┐ рдпрд╣ initContainer ?) рд╣реЛрдирд╛ рдЪрд╛рд╣рд┐рдП, рддреЛ рдореБрдЭреЗ рдирд┐рдореНрдирд▓рд┐рдЦрд┐рдд рдорд┐рд▓реЗрдЧрд╛:

$ k exec -it canal-25rct -c install-cni -n kube-system -- /bin/bash
Error: Malformed environment entry: "  "name": "k8s-pod-network",
": Success
command terminated with exit code 45

рдпрд╣ рдЕрдЬреАрдм рд╣реИ, рдХреНрдпреЛрдВрдХрд┐ рд╕реНрдХреНрд░рд┐рдкреНрдЯ рдХрд╛ рд╕рдВрд╕реНрдХрд░рдг рдирд╣реАрдВ рдмрджрд▓рд╛ рд╣реИ, рдФрд░ рдХреЗрд╡рд▓ рдПрдХ рдЪреАрдЬ рдЬрд┐рд╕реЗ рдореИрдВрдиреЗ рд╣рд╛рд▓ рд╣реА рдореЗрдВ рдмрджрд▓ рджрд┐рдпрд╛ рд╣реИ, рдХрдВрдЯреЗрдирд░ рдЪрд▓рд╛рдиреЗ рдХреЗ рд▓рд┐рдП rkt рд╕реНрд╡рд┐рдЪ рдХрд░ рд░рд╣рд╛ рд╣реИред рдЗрд╕рдХреЗ рдЕрд▓рд╛рд╡рд╛, рдпрд╣ рдХрдВрдЯреЗрдирд░ рд▓рд┐рдирдХреНрд╕ (рдХреЛрд░рдУрдПрд╕) рдкрд░ рд╣реИ рдпрджрд┐ рдпрд╣ рдмрд┐рд▓реНрдХреБрд▓ рдорджрдж рдХрд░рддрд╛ рд╣реИред

рд╣реЗрд▓реЛ K8s рджреЛрд╕реНрддреЛрдВ!

рдореБрдЭреЗ рдХрдИ рдмрд╛рд░ рд╡рд╣реА рд╕рдорд╕реНрдпрд╛ рдереАред рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП - рдореЗрд░реЗ K8 рдХреЗ рдЖрд░рдВрдн рдХреЗ рджреМрд░рд╛рди рдХреБрдЫ рдЧрд▓рдд рд╣реБрдЖ рдФрд░ рдореБрдЭреЗ kubeadm reset рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛ рдкрдбрд╝рд╛ рдФрд░ K8 рдХреЛ рдлрд┐рд░ рд╕реЗ рдкреНрд░рд╛рд░рдВрдн рдХрд░рдирд╛ рдкрдбрд╝рд╛ред рд░рди рдЗрдирд┐рд╢рд┐рдпрд▓рд╛рдЗрдЬрд╝реЗрд╢рди рдХрдорд╛рдВрдб рдХреЗ рдмрд╛рдж рдореБрдЭреЗ рдХреНрдпреВрдмрд▓реЗрдЯ рдореЗрдВ рдорд┐рд▓рд╛ рдпрд╣ рддреНрд░реБрдЯрд┐:

Jun 01 10:13:40 vncub0626 kubelet[18861]: I0601 10:13:40.665823   18861 kubelet.go:2102] Container runtime status: Runtime Conditions: RuntimeReady=true reason: message:, NetworkReady=false reason:NetworkPluginNotReady message:docker: network plugin is not ready: cni config uninitialized
Jun 01 10:13:40 vncub0626 kubelet[18861]: E0601 10:13:40.665874   18861 kubelet.go:2105] Container runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:docker: network plugin is not ready: cni config uninitialized

... рдореИрдВ рдЗрд╕ рддреНрд░реБрдЯрд┐ рд╕рдВрджреЗрд╢ рд╕реЗ рдкрд╛рдЧрд▓ рдерд╛ - рдХреБрдЫ рднреА рдорджрдж рдирд╣реАрдВ рдХреАред рдЗрд╕рд▓рд┐рдП рдореИрдВрдиреЗ рдЦреБрдж рдХрд╣рд╛ - рдкрд╣рд▓реЗ рдЗрдирд┐рд╢рд┐рдпрд▓рд╛рдЗрдЬрд╝реЗрд╢рди рд░рди рдкрд░ рд▓реЗрдХрд┐рди рд░реА-рдЗрдирд┐рд╢рд┐рдпрд▓рд╛рдЗрдЬрд╝реЗрд╢рди рдирд╣реАрдВ рдерд╛ред рддреЛ рдпрд╣ рдХреНрдпреВрдмрд▓реЗрдЯ рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди рдореЗрдВ рдЗрд╕ рд▓рд╛рдЗрди рдХреЗ рдХрд╛рд░рдг рдирд╣реАрдВ рдерд╛: KUBELET_NETWORK_ARGS рдФрд░ рдореИрдВ рдЗрд╕реЗ рдЯрд┐рдкреНрдкрдгреА рд╕реЗ рд╕рд╣рдордд рдирд╣реАрдВ рд╣реВрдВред рдЗрд╕рд▓рд┐рдП рдореИрдВрдиреЗ рдХреНрдпреВрдмрд▓реЗрдЯ рд▓реЙрдЧ рдХреЛ рдмрд╛рд░-рдмрд╛рд░ рдкрдврд╝рд╛ ... рдФрд░ рдЖрдЦрд┐рд░рдХрд╛рд░ рдореИрдВрдиреЗ рд▓реЙрдЧ рдЕрдЧрд▓реА рддреНрд░реБрдЯрд┐ рд╕рдВрджреЗрд╢ рдореЗрдВ рджреЗрдЦрд╛:

Jun 01 10:13:29 vncub0626 kubelet[18861]: E0601 10:13:29.376339   18861 reflector.go:205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:465: Failed to list *v1.Service: Get https://10.96.22.11:6443/api/v1/services?limit=500&resourceVersion=0: x509: certificate signed by unknown authority (possibly because of "crypto/rsa: verification error" while trying to verify candidate authority certificate "kubernetes")

рдкрд┐рдЫрд▓реА рддреНрд░реБрдЯрд┐ рдХреЗ рдмрд╛рдж рдШрд░ рдХреА рдирд┐рд░реНрджреЗрд╢рд┐рдХрд╛ рдореЗрдВ ~/.kube/config рдлрд╝рд╛рдЗрд▓ рдХреЗ рдХрд╛рд░рдг рдпрд╣ рддреНрд░реБрдЯрд┐ рд╣реБрдИ рдереАред рдЗрд╕реЗ рд╣рдЯрд╛рдиреЗ рдХреЗ рдмрд╛рдж рдореИрдВрдиреЗ рдлрд┐рд░ рд╕реЗ рдЗрдирд┐рд╢рд┐рдпрд▓рд╛рдЗрдЬрд╝реЗрд╢рди рдЪрд▓рд╛рдпрд╛ ... рдФрд░ рд╡реЙрдпрд▓рд╛ ... рдЗрдирд┐рд╢рд┐рдпрд▓рд╛рдЗрдЬрд╝реЗрд╢рди рд╕рдлрд▓рддрд╛рдкреВрд░реНрд╡рдХ рд╕рдорд╛рдкреНрдд рд╣реЛ рдЧрдпрд╛ред :]

... рдЖрд╢рд╛ рд╣реИ рдХрд┐ рдпрд╣ рдХрд┐рд╕реА рдФрд░ рдХреА рдорджрдж рдХрд░рддрд╛ рд╣реИ рдХреНрдпреЛрдВрдХрд┐ рдпрд╣ рддреНрд░реБрдЯрд┐ рджреБрдГрд╕реНрд╡рдкреНрди рд╣реИ рдФрд░ рдЗрд╕рдХреЗ рдХрд╛рд░рдг рдХреЛ рдирд┐рд░реНрдзрд╛рд░рд┐рдд рдХрд░рдирд╛ рд▓рдЧрднрдЧ рд╕рдВрднрд╡ рдирд╣реАрдВ рд╣реИред

@waldauf рдЖрдк рд╕рд╣реА рд╣реИрдВ !!! рдмрд╣реБрдд рдмрдврд╝рд┐рдпрд╛!!!

рд░рди рдлреЙрд▓реЛ рдХрдорд╛рдВрдб рдЕрдЪреНрдЫреЗ рд╕реЗ рдХрд╛рдо рдХрд░рддрд╛ рд╣реИ

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/v0.10.0/Documentation/kube-flannel.yml

kubeadm рд╕рдВрд╕реНрдХрд░рдг v1.10.3

/Etc/systemd/system/kubelet.service.d/10-kubeadm.conf рдореЗрдВ рдореЗрд░реЗ рд▓рд┐рдП $ KUBELET_NETWORK_ARGS рдХреЛ рд╣рдЯрд╛рдирд╛ рдореЗрд░реЗ рд▓рд┐рдП рдХрд╛рдо рдХрд░рддрд╛ рд╣реИред

рджреГрд╢реНрдпрддрд╛ рдХреЗ рд▓рд┐рдП рджреЛрд╣рд░рд╛:

рдзреНрдпрд╛рди рджреЗрдВ рдХрд┐ KUBELET_NETWORK_ARGS рд╡рд╣ рд╣реИ рдЬреЛ рдХреНрдпреВрдмрд▓реЗрдЯ рдХреЛ рдмрддрд╛рддрд╛ рд╣реИ рдХрд┐ рдХрд┐рд╕ рддрд░рд╣ рдХреЗ рдиреЗрдЯрд╡рд░реНрдХ рдкреНрд▓рдЧрдЗрди рдХреА рдЙрдореНрдореАрдж рд╣реИред рдпрджрд┐ рдЖрдк рдЗрд╕реЗ рд╣рдЯрд╛рддреЗ рд╣реИрдВ рддреЛ рдХреНрдпреВрдмрд▓реЗрдЯ рдХреЛрдИ рдкреНрд▓рдЧрдЗрди рдХреА рдЕрдкреЗрдХреНрд╖рд╛ рдХрд░рддрд╛ рд╣реИ, рдФрд░ рдЗрд╕рд▓рд┐рдП рдЖрдкрдХреЛ рдЬреЛ рдХреБрдЫ рднреА рдорд┐рд▓рддрд╛ рд╣реИ рд╡рд╣ рдЕрдВрддрд░реНрдирд┐рд╣рд┐рдд рдХрдВрдЯреЗрдирд░ рд░рдирдЯрд╛рдЗрдо рдЖрдкрдХреЛ рджреЗрддрд╛ рд╣реИ: рдЖрдорддреМрд░ рдкрд░ рдбреЙрдХрд░ "рдкреБрд▓" рдиреЗрдЯрд╡рд░реНрдХрд┐рдВрдЧред

рдпрд╣ рдХреБрдЫ рдорд╛рдорд▓реЛрдВ рдореЗрдВ рдареАрдХ рд╣реИ, рдЦрд╛рд╕рдХрд░ рдпрджрд┐ рдЖрдкрдХреЗ рдкрд╛рд╕ рдХреЗрд╡рд▓ рдПрдХ рдорд╢реАрди рд╣реИред рдпрджрд┐ рдЖрдк рд╡рд╛рд╕реНрддрд╡ рдореЗрдВ рд╕реАрдПрдирдЖрдИ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛ рдЪрд╛рд╣рддреЗ рд╣реИрдВ рддреЛ рдпрд╣ рдЙрдкрдпреЛрдЧреА рдирд╣реАрдВ рд╣реИред

@waldauf thx, рдпрд╣ рдХрд╛рдо рдХрд░рддрд╛ рд╣реИ

рдпрд╣ рдореЗрд░реЗ рд╕рд╛рдордиреЗ рдЖрдпрд╛ рдЬрдм рдореЗрд░реЗ рдлрд▓рд╛рд▓реИрди рдкреНрд▓рдЧрдЗрди рдХреЛ рд╕рд╣реА рддрд░реАрдХреЗ рд╕реЗ рд╕реНрдерд╛рдкрд┐рдд рдирд╣реАрдВ рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИред

рдореИрдВ рдЖрдЬ рдЗрд╕ рдЧрд╛рдЗрдб рдХрд╛ рдЕрдиреБрд╕рд░рдг рдХрд░ рд░рд╣рд╛ рдерд╛ (https://www.techrepublic.com/article/how-to-install-a-kubernetes-cluster-on-centos-7/) рдФрд░ рдореИрдВрдиреЗ "/ etc / systemd рдореЗрдВ cgroupfs рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди рдХреЛ рдпрд╛рдж рдХрд┐рдпрд╛ред /system/kubelet.service.d/10-kubeadm.conf "ред рдПрдХ рдмрд╛рд░ рдореИрдВрдиреЗ рддрдп рдХрд┐рдпрд╛ рдХрд┐ рдпрд╣ рдПрдХ рдЖрдХрд░реНрд╖рдг рдХреА рддрд░рд╣ рдХрд╛рдо рдХрд░рддрд╛ рд╣реИ

https://github.com/kubernetes/kubernetes/issues/48798#issuecomment -395965665

@ChinaSilence рдХреНрдпрд╛ рдЖрдк рдмрддрд╛ рд╕рдХрддреЗ рд╣реИрдВ рдХрд┐ рд╣рдореЗрдВ рдлрд▓рд╛рд▓реИрди рдХрд╛ рдЙрдкрдпреЛрдЧ рдХреНрдпреЛрдВ рдХрд░рдирд╛ рд╣реИ? рдХреНрдпрд╛ рд╣рдо рдлрд▓рд╛рд▓реИрди рдХреЗ рдмрд┐рдирд╛ рдРрд╕рд╛ рдирд╣реАрдВ рдХрд░ рд╕рдХрддреЗ?

рдлрд▓рд╛рд▓реИрди 0.10.0 рдФрд░ рдХреБрдмреЗрд░рдиреЗрдЯреНрд╕ 1.12.0 рдХрд┐рд╕реА рднреА рддрд░рд╣ рдПрдХ рд╕рд╛рде рдХрд╛рдо рдирд╣реАрдВ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВред рдХреБрдмреЗрд░рдиреЗрдЯреНрд╕ 1.12.0 рдХреЗ рд╕рд╛рде рдХреБрдЫ рдЧрдбрд╝рдмрдбрд╝ рд╣реИ, рдЗрд╕рд▓рд┐рдП рдореИрдВрдиреЗ 1.11.3 рдХреЛ рдХреБрдмреЗрд░рдиреЗрдЯреНрд╕ рдХреЛ рдбрд╛рдЙрдирдЧреНрд░реЗрдб рдХрд░ рджрд┐рдпрд╛ рд╣реИ рдФрд░ рд╕рдм рдХреБрдЫ рдареАрдХ рдЪрд▓ рд░рд╣рд╛ рд╣реИред

рдЖрд╢рд╛ рд╣реИ рдХрд┐ рдХреБрдмреЗрд░рдиреЗрдЯреНрд╕ рдЙрд╕ рдореБрджреНрджреЗ рдХреЛ рдЬрд▓реНрдж рд╣реА рдареАрдХ рдХрд░ рджреЗрдВрдЧреЗред

@ bilalx20 рдореИрдВ рдкреБрд╖реНрдЯрд┐ рдХрд░ рд╕рдХрддрд╛
рдЖрдк рдХреНрдпрд╛ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ рдмреБрдирд╛рдИ рдпрд╛ рдХреЙрд▓рд┐рдХреЛ рдХреА рдХреЛрд╢рд┐рд╢ рдХрд░реЛ, рд╡реЗ рдХрд╛рдо рдХрд░рддреЗ рд╣реИрдВред

рдореИрдВ рдЗрд╕ рдореБрджреНрджреЗ рдкрд░ рдЕрдкрдиреЗ Ubuntu 16.04 рдкрд░ k8s 1.12 рдХреЗ рд╕рд╛рде рд╣реВрдВред

1.11.0 рдкрд░ рдбрд╛рдЙрдирдЧреНрд░реЗрдб рдХрд░реЗрдВ рдФрд░ рд╕рдм рдХреБрдЫ рдКрдкрд░ рдФрд░ рдЪрд▓ рд░рд╣рд╛ рд╣реИред

рдореИрдВ рдЗрд╕ рдореБрджреНрджреЗ рдкрд░ CentOS 7.5 рдкрд░ k8s 1.12 рдХреЗ рд╕рд╛рде рд╣реВрдВ

cni рдкреНрд▓рдЧрдЗрди рдХреЛ /var/lib/kubelet/kubeadm-flags.env рдареАрдХ рдХрд░рдиреЗ рдХрд╛ рдХрд╛рд░реНрдп рдареАрдХ рд╣реИ

рдлрд▓рд╛рд▓реИрди рдХреЛ k8s 1.12 рдХреЗ рд▓рд┐рдП рдПрдХ рдлрд┐рдХреНрд╕ рдЪрд╛рд╣рд┐рдПред
рдЗрд╕ рдкреАрдЖрд░ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░реЗрдВ (рдЬрдм рддрдХ рдЕрдиреБрдореЛрджрд┐рдд рдХрд┐рдпрд╛ рдЬрд╛рдПрдЧрд╛):
kubectl -n kube-system apply -f https://raw.githubusercontent.com/coreos/flannel/bc79dd1505b0c8681ece4de4c0d86c5cd2643275/Documentation/kube-flannel.yml
рдпрд╣ рдПрдХ рдЬреНрдЮрд╛рдд рдореБрджреНрджрд╛ рд╣реИ: https://github.com/coreos/flannel/issues/1044

рдореИрдВрдиреЗ 1.12.1 рдХреЗ рд╕рд╛рде @ReSearchITEng рд╡рд░реНрдгрди рдХреА рд╕рдорд╕реНрдпрд╛ рдХрд╛ рдЕрдиреБрднрд╡ рдХрд┐рдпрд╛ рд╣реИред рдЙрд╕рдХреЗ рд╕рдорд╛рдзрд╛рди рдиреЗ рдореЗрд░реЗ рд▓рд┐рдП рдХрд╛рдо рдХрд┐рдпрд╛ред
рд╕рдВрдкрд╛рджрд┐рдд рдХрд░реЗрдВ: рдЦрд░реЛрдВрдЪ, рдХрд┐ рдиреЛрдбреНрд╕ рдореЗрдВ рд╕реЗ рдПрдХ рдЕрднреА рднреА kubeadm join рдмрд╛рдж рдПрдХ рд╣реА рдореБрджреНрджрд╛ рджрд┐рдЦрд╛рддрд╛ рд╣реИ
EDIT2: рдЕрд╕рдВрдмрдВрдзрд┐рдд рдореБрджреНрджрд╛, рдирд┐рдХрд╡рд┐рдбрд┐рдпрд╛-рдХрдВрдЯреЗрдирд░-рд░рдирдЯрд╛рдЗрдо рдЗрд╕ GPU рдиреЛрдб рдкрд░ рдЧрд╛рдпрдм рдерд╛ред рдЦрд░рд╛рдм рдиреЛрдб рдкрд░ journalctl -xeu kubelet рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдирд┐рджрд╛рди рдХрд┐рдпрд╛ рдЧрдпрд╛

рдЯреАрдПрд▓; рдбреАрдЖрд░: рд╕рдорд╛рдзрд╛рди рдХрд╛рдо рдХрд░рддрд╛ рд╣реИ

рдпрд╣ рдкреБрд╖реНрдЯрд┐ рдХрд░рддреЗ рд╣реБрдП рдХрд┐ @ReSearchITEng рд╕реЗ рд╕рдорд╛рдзрд╛рди рдХрд╛рдо рдХрд░рддрд╛ рд╣реИ, рдореЗрд░реЗ рдкрд╛рд╕ рдЪрд▓рдиреЗ рдХреА рд╕реНрдерд┐рддрд┐ рдореЗрдВ рдореЗрд░рд╛ рдорд╛рд╕реНрдЯрд░ рдиреЛрдб рдирд╣реАрдВ рд╣реИ рдФрд░ рдлрд▓рд╛рд▓реИрди рдКрдкрд░ рд╣реИред

рдмрд╕ рдХрд┐рд╕реА рдорд╛рдорд▓реЗ рдореЗрдВ рдпрд╣ googling рд╣реИред рдореЗрд░реЗ рдкрд╛рд╕ рдПрдХ рд╣реА рд╕рдорд╕реНрдпрд╛ рдереА, рдореЗрд░реЗ рдорд╛рдорд▓реЗ рдореЗрдВ рдХреНрд▓рд╛рдЙрдб-рдЗрдирд┐рдЯ рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдиреЗ NM_CONTROLLED рд╡рд┐рдХрд▓реНрдк рдХреЛ / etc / sysconfig / network-script / ifcfg- {рдЗрдВрдЯрд░рдлрд╝реЗрд╕-рдирд╛рдо} рдореЗрдВ рд╕реЗрдЯ рдХрд░ рджрд┐рдпрд╛ред
рдЗрд╕ рд╡рд┐рдХрд▓реНрдк рдХреЛ sdn рдкреЙрдбреНрд╕ рдХреЗ рд▓рд┐рдП рдЖрд╡рд╢реНрдпрдХ resolv.conf рдлрд╝рд╛рдЗрд▓ рдмрдирд╛рдиреЗ рдХреЗ рд▓рд┐рдП NetworkManager рдХреЗ рд▓рд┐рдП рд╣рд╛рдВ рдкрд░ рд╕реЗрдЯ рдХрд░рдирд╛ рд╣реЛрдЧрд╛ред

рдореИрдВ рд╡рд╛рд╕реНрддрд╡ рдореЗрдВ рдмреБрдирд╛рдИ рдореИрдирд┐рдлреЗрд╕реНрдЯреНрд╕ рдХреЛ рд▓рд╛рдЧреВ рдХрд░рдиреЗ рдореЗрдВ рд╡рд┐рдлрд▓ рд░рд╣рд╛ рдерд╛, рдЗрд╕рд▓рд┐рдП, рдХреЛрдИ рднреА рдиреЗрдЯрд╡рд░реНрдХ рдкреНрд▓рдЧрдЗрди рдЖрд░рдВрднреАрдХреГрдд рдирд╣реАрдВ рдХрд┐рдпрд╛ рдЧрдпрд╛ рдерд╛ред
рд╕реНрд╡рдпрдВ рдкрд░ рдзреНрдпрд╛рди рджреЗрдВ: рдХрд╣реАрдВ рдФрд░ рдЙрддреНрддрд░ рддрд▓рд╛рд╢рдиреЗ рд╕реЗ рдкрд╣рд▓реЗ рдкреВрд░реА рдмреБрдирд╛рдИ рд╕реНрдерд╛рдкрдирд╛ рдореИрдиреБрдЕрд▓ рдкрдврд╝реЗрдВ: +1:

рдлрд▓рд╛рд▓реИрди рдХреЛ k8s 1.12 рдХреЗ рд▓рд┐рдП рдПрдХ рдлрд┐рдХреНрд╕ рдЪрд╛рд╣рд┐рдПред
рдЗрд╕ рдкреАрдЖрд░ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░реЗрдВ (рдЬрдм рддрдХ рдЕрдиреБрдореЛрджрд┐рдд рдХрд┐рдпрд╛ рдЬрд╛рдПрдЧрд╛):
kubectl -n kube-system apply -f https://raw.githubusercontent.com/coreos/flannel/bc79dd1505b0c8681ece4de4c0d86c5cd2643275/Documentation/kube-flannel.yml
рдпрд╣ рдПрдХ рдЬреНрдЮрд╛рдд рдореБрджреНрджрд╛ рд╣реИ: рдХреЛрд░реЛрд╕ / рдлрд▓рд╛рд▓реИрди # 1044

рдЕрддрд┐рд░рд┐рдХреНрдд:
рдореБрдЭреЗ рд▓рдЧрддрд╛ рд╣реИ рдХрд┐ рдЗрд╕ рд╕рдорд╕реНрдпрд╛ рдХреЗ рдХрд╛рд░рдг рдХреБрдмреЗрд░рджрдо рдЗрдирд┐рдЯ рдХреЙрд░реНрдбрдиреНрд╕ рд╣реИрдВ, рд▓реЗрдХрд┐рди рдЗрдирд┐рдЯ рдлрд▓рд╛рд▓реИрди рдирд╣реАрдВ рд╣реИ, рдЗрд╕рд▓рд┐рдП рдпрд╣ "рдиреЗрдЯрд╡рд░реНрдХ рдкреНрд▓рдЧрдЗрди рддреИрдпрд╛рд░ рдирд╣реАрдВ рд╣реИ: cni config uninitialized"ред
рдЙрдкрд╛рдп:

  1. kubectl -n kube-system apply -f https://raw.githubusercontent.com/coreos/flannel/bc79dd1505b0c8681ece4de4c0d86c5cd2643275/Documentation/kube-flannel.yml рджреНрд╡рд╛рд░рд╛ рдлрд▓рд╛рд▓реИрди рд╕реНрдерд╛рдкрд┐рдд рдХрд░реЗрдВ
  2. рдХреЛрд░рдбрдиреНрд╕ рдкреЙрдб рдХреЛ рд░реАрд╕реЗрдЯ рдХрд░реЗрдВ
    kubectl delete coredns-xx-xx
  3. рдлрд┐рд░ kubectl get pods рдЪрд▓рд╛рдХрд░ рджреЗрдЦреЗрдВ рдХрд┐ рдХреНрдпрд╛ рдпрд╣ рдХрд╛рдо рдХрд░рддрд╛ рд╣реИред

рдпрджрд┐ рдЖрдк рдЗрд╕ рддреНрд░реБрдЯрд┐ рдХреЛ рджреЗрдЦрддреЗ рд╣реИрдВ рддреЛ "cni0" рдореЗрдВ рдкрд╣рд▓реЗ рд╕реЗ рд╣реА рдПрдХ рдЖрдИрдкреА рдкрддрд╛ 10.244.1.1/24 рд╕реЗ рдЕрд▓рдЧ рд╣реИред "
рдЗрд╕рдХрд╛ рдкреАрдЫрд╛ рдХрд░реЛ:

ifconfig  cni0 down
brctl delbr cni0
ip link delete flannel.1

рдпрджрд┐ рдЖрдк рдЗрд╕ рддреНрд░реБрдЯрд┐ рдХреЛ "рдЕрд╕рдлрд▓ рдХрдВрдЯреЗрдирд░ рдХреЛ рдмреИрдХ-рдСрдл рдХрд░рдирд╛ рд╢реБрд░реВ рдХрд░рддреЗ рд╣реИрдВ" рджреЗрдЦрддреЗ рд╣реИрдВ, рдФрд░ рдЖрдк рд▓реЙрдЧ рдЗрди рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ

root<strong i="28">@master</strong>:/home/moonx/yaml# kubectl logs coredns-86c58d9df4-x6m9w -n=kube-system
.:53
2019-01-22T08:19:38.255Z [INFO] CoreDNS-1.2.6
2019-01-22T08:19:38.255Z [INFO] linux/amd64, go1.11.2, 756749c
CoreDNS-1.2.6
linux/amd64, go1.11.2, 756749c
 [INFO] plugin/reload: Running configuration MD5 = f65c4821c8a9b7b5eb30fa4fbc167769
 [FATAL] plugin/loop: Forwarding loop detected in "." zone. Exiting. See https://coredns.io/plugins/loop#troubleshooting. Probe query: "HINFO 1599094102175870692.6819166615156126341.".

рдлрд┐рд░ рдЖрдк рдлрд╝рд╛рдЗрд▓ "/etc/resolv.conf" рдХреЛ рд╡рд┐рдлрд▓ рдиреЛрдб рдкрд░ рджреЗрдЦ рд╕рдХрддреЗ рд╣реИрдВ, рдпрджрд┐ рдирд╛рдо рд░рдЦрдиреЗ рд╡рд╛рд▓рд╛ рд╕реНрдерд╛рдиреАрдпрд╣реЛрд╕реНрдЯ рд╣реИ рддреЛ рдПрдХ рд▓реВрдкрдмреИрдХ рд╣реЛрдЧрд╛ред рдЗрд╕реЗ рдмрджрд▓реЗрдВ:

#nameserver 127.0.1.1
nameserver 8.8.8.8

рдЖрдк рдЕрдкрдиреЗ kueblet start conf рдореЗрдВ nnetwork-plugin = cni рдЬреЛрдбрд╝рддреЗ рд╣реИрдВ
рдореЗрд░реЗ рд╕рд┐рд╕реНрдЯрдо рдореЗрдВ:
1.vim /etc/systemd/system/kubelet.service
2.рдбреЗрд▓реА - рдиреЗрдЯрд╡рд░реНрдХреНрд╕-рдкреНрд▓рдЧрдЗрди = cni
3. рдХрдВрдЯреНрд░рд╛рд╕реНрдЯ рдХреНрдпреВрдмрд▓реЗрдЯ ct рд╕рд┐рд╕реНрдЯрдордХреНрдЯрд▓ рдбреЗрдореЙрди-рд░реАрд▓реЛрдб; systemctl рдкреБрдирдГ рдЖрд░рдВрдн рдХреНрдпреВрдмрд▓реЗрдЯ ube

рдХреГрдкрдпрд╛ 3 рдЪрд░рдг рдХрд░реЗрдВ, рдЕрдкрдиреЗ рд╕рд┐рд╕реНрдЯрдо рдореЗрдВ, рд╢рд╛рдпрдж рдЖрдкрдХреА рдХрд┐рд╕реНрдд рдореБрдЭрд╕реЗ рдЕрд▓рдЧ рд╣реИ, рдХреГрдкрдпрд╛ рдЗрд╕реЗ рдЗрд╕ рддрд░рд╣ рд╕реЗ рдХрд░реЗрдВ

@mdzddl рдЖрдкрдиреЗ рд╣рдЯрд╛ рджрд┐рдпрд╛ --network- рдкреНрд▓рдЧрдЗрди = cni рдХрд╛рд░рдг рдХреНрдпреВрдмрд▓реЗрдЯ cni рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рд╢рд┐рдХрд╛рдпрдд рдХрд░рддрд╛ рд╣реИ? рдЗрддрдирд╛ рдЪрддреБрд░ рдирд╣реАрдВ рд╣реИред рдбрд┐рдлрд╝реЙрд▓реНрдЯ рдиреЗрдЯрд╡рд░реНрдХ рдкреНрд▓рдЧрдЗрди рдХреЛ рд╣рдЯрд╛рдиреЗ рдХреА рдЕрдиреБрд╢рдВрд╕рд╛ рдмрд┐рд▓реНрдХреБрд▓ рдирд╣реАрдВ рдХреА рдЬрд╛рддреА рд╣реИред

рдлрд▓рд╛рд▓реИрди рдХреЛ k8s 1.12 рдХреЗ рд▓рд┐рдП рдПрдХ рдлрд┐рдХреНрд╕ рдЪрд╛рд╣рд┐рдПред
рдЗрд╕ рдкреАрдЖрд░ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░реЗрдВ (рдЬрдм рддрдХ рдЕрдиреБрдореЛрджрд┐рдд рдХрд┐рдпрд╛ рдЬрд╛рдПрдЧрд╛):
kubectl -n kube-system apply -f https://raw.githubusercontent.com/coreos/flannel/bc79dd1505b0c8681ece4de4c0d86c5cd2643275/Documentation/kube-flannel.yml
рдпрд╣ рдПрдХ рдЬреНрдЮрд╛рдд рдореБрджреНрджрд╛ рд╣реИ: рдХреЛрд░реЛрд╕ / рдлрд▓рд╛рд▓реИрди # 1044

рдореЗрд░реЗ рд▓рд┐рдпреЗ рдХрд╛рд░реНрдп рдХрд░рддрд╛ рд╣реИ !

@mdzddl рдЖрдкрдиреЗ рд╣рдЯрд╛ рджрд┐рдпрд╛ --network- рдкреНрд▓рдЧрдЗрди = cni рдХрд╛рд░рдг рдХреНрдпреВрдмрд▓реЗрдЯ cni рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рд╢рд┐рдХрд╛рдпрдд рдХрд░рддрд╛ рд╣реИ? рдЗрддрдирд╛ рдЪрддреБрд░ рдирд╣реАрдВ рд╣реИред рдбрд┐рдлрд╝реЙрд▓реНрдЯ рдиреЗрдЯрд╡рд░реНрдХ рдкреНрд▓рдЧрдЗрди рдХреЛ рд╣рдЯрд╛рдиреЗ рдХреА рдЕрдиреБрд╢рдВрд╕рд╛ рдмрд┐рд▓реНрдХреБрд▓ рдирд╣реАрдВ рдХреА рдЬрд╛рддреА рд╣реИред

рдлрд┐рд░ рдЙрдкрд╛рдп рдХреНрдпрд╛ рд╣реИ

рдлрд▓рд╛рд▓реИрди рдХреЛ k8s 1.12 рдХреЗ рд▓рд┐рдП рдПрдХ рдлрд┐рдХреНрд╕ рдЪрд╛рд╣рд┐рдПред
рдЗрд╕ рдкреАрдЖрд░ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░реЗрдВ (рдЬрдм рддрдХ рдЕрдиреБрдореЛрджрд┐рдд рдХрд┐рдпрд╛ рдЬрд╛рдПрдЧрд╛):
kubectl -n kube-system apply -f https://raw.githubusercontent.com/coreos/flannel/bc79dd1505b0c8681ece4de4c0d86c5cd2643275/Documentation/kube-flannel.yml
рдпрд╣ рдПрдХ рдЬреНрдЮрд╛рдд рдореБрджреНрджрд╛ рд╣реИ: рдХреЛрд░реЛрд╕ / рдлрд▓рд╛рд▓реИрди # 1044

рдЕрддрд┐рд░рд┐рдХреНрдд:
рдореБрдЭреЗ рд▓рдЧрддрд╛ рд╣реИ рдХрд┐ рдЗрд╕ рд╕рдорд╕реНрдпрд╛ рдХреЗ рдХрд╛рд░рдг рдХреБрдмреЗрд░рджрдо рдЗрдирд┐рдЯ рдХреЙрд░реНрдбрдиреНрд╕ рд╣реИрдВ, рд▓реЗрдХрд┐рди рдЗрдирд┐рдЯ рдлрд▓рд╛рд▓реИрди рдирд╣реАрдВ рд╣реИ, рдЗрд╕рд▓рд┐рдП рдпрд╣ "рдиреЗрдЯрд╡рд░реНрдХ рдкреНрд▓рдЧрдЗрди рддреИрдпрд╛рд░ рдирд╣реАрдВ рд╣реИ: cni config uninitialized"ред
рдЙрдкрд╛рдп:

  1. kubectl -n kube-system apply -f https://raw.githubusercontent.com/coreos/flannel/bc79dd1505b0c8681ece4de4c0d86c5cd2643275/Documentation/kube-flannel.yml рджреНрд╡рд╛рд░рд╛ рдлрд▓рд╛рд▓реИрди рд╕реНрдерд╛рдкрд┐рдд рдХрд░реЗрдВ
  2. рдХреЛрд░рдбрдиреНрд╕ рдкреЙрдб рдХреЛ рд░реАрд╕реЗрдЯ рдХрд░реЗрдВ
    kubectl delete coredns-xx-xx
  3. рдлрд┐рд░ kubectl get pods рдЪрд▓рд╛рдХрд░ рджреЗрдЦреЗрдВ рдХрд┐ рдХреНрдпрд╛ рдпрд╣ рдХрд╛рдо рдХрд░рддрд╛ рд╣реИред

рдпрджрд┐ рдЖрдк рдЗрд╕ рддреНрд░реБрдЯрд┐ рдХреЛ рджреЗрдЦрддреЗ рд╣реИрдВ рддреЛ "cni0" рдореЗрдВ рдкрд╣рд▓реЗ рд╕реЗ рд╣реА рдПрдХ рдЖрдИрдкреА рдкрддрд╛ 10.244.1.1/24 рд╕реЗ рдЕрд▓рдЧ рд╣реИред "
рдЗрд╕рдХрд╛ рдкреАрдЫрд╛ рдХрд░реЛ:

ifconfig  cni0 down
brctl delbr cni0
ip link delete flannel.1

рдпрджрд┐ рдЖрдк рдЗрд╕ рддреНрд░реБрдЯрд┐ рдХреЛ "рдЕрд╕рдлрд▓ рдХрдВрдЯреЗрдирд░ рдХреЛ рдмреИрдХ-рдСрдл рдХрд░рдирд╛ рд╢реБрд░реВ рдХрд░рддреЗ рд╣реИрдВ" рджреЗрдЦрддреЗ рд╣реИрдВ, рдФрд░ рдЖрдк рд▓реЙрдЧ рдЗрди рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ

root<strong i="29">@master</strong>:/home/moonx/yaml# kubectl logs coredns-86c58d9df4-x6m9w -n=kube-system
.:53
2019-01-22T08:19:38.255Z [INFO] CoreDNS-1.2.6
2019-01-22T08:19:38.255Z [INFO] linux/amd64, go1.11.2, 756749c
CoreDNS-1.2.6
linux/amd64, go1.11.2, 756749c
 [INFO] plugin/reload: Running configuration MD5 = f65c4821c8a9b7b5eb30fa4fbc167769
 [FATAL] plugin/loop: Forwarding loop detected in "." zone. Exiting. See https://coredns.io/plugins/loop#troubleshooting. Probe query: "HINFO 1599094102175870692.6819166615156126341.".

рдлрд┐рд░ рдЖрдк рдлрд╝рд╛рдЗрд▓ "/etc/resolv.conf" рдХреЛ рд╡рд┐рдлрд▓ рдиреЛрдб рдкрд░ рджреЗрдЦ рд╕рдХрддреЗ рд╣реИрдВ, рдпрджрд┐ рдирд╛рдо рд░рдЦрдиреЗ рд╡рд╛рд▓рд╛ рд╕реНрдерд╛рдиреАрдпрд╣реЛрд╕реНрдЯ рд╣реИ рддреЛ рдПрдХ рд▓реВрдкрдмреИрдХ рд╣реЛрдЧрд╛ред рдЗрд╕реЗ рдмрджрд▓реЗрдВ:

#nameserver 127.0.1.1
nameserver 8.8.8.8

kubectl -n kube-system apply -f https://raw.githubusercontent.com/coreos/flannel/bc79dd1505b0c8681ece4de4c0d86c5cd26427575/Documentation/kube-flannel.yml
рдХреНрд▓рд╕реНрдЯрд░рд▓.рдмреНрд░реИрдХ.рдСрдереЛрд░рд╛рдЗрдЬреЗрд╢рдиред k8s.io/flannel рдмрдирд╛рдпрд╛ рдЧрдпрд╛
рдХреНрд▓рд╕реНрдЯрд░реЛрд▓рдмрд╛рдЗрдВрдбрд┐рдВрдЧ .rbac.authorization.k8s.io/flannel рдмрдирд╛рдпрд╛ рдЧрдпрд╛
serviceaccount / рдлрд▓рд╛рд▓реИрди рдмрдирд╛рдпрд╛
configmap / kube-flannel-cfg рдмрдирд╛рдпрд╛
" https://raw.githubusercontent.com/coreos/flannel/bc79dd1505b0c8681ece4de4c0d86c5cd2643275/Documentation/kube/flannel.yml " рдкрд╣рдЪрд╛рдирдиреЗ рдореЗрдВ рдЕрд╕рдорд░реНрде: рд╕рдВрд╕реНрдХрд░рдг "рдПрдХреНрд╕рдЯреЗрдВрд╢рди / v1beta1" рдореЗрдВ рджрдпрд╛рд▓реБ "DaemonSet" рдХреЗ рд▓рд┐рдП рдХреЛрдИ рдорд┐рд▓рд╛рди рдирд╣реАрдВ
" https://raw.githubusercontent.com/coreos/flannel/bc79dd1505b0c8681ece4de4c0d86c5cd2643275/Documentation/kube/flannel.yml " рдкрд╣рдЪрд╛рдирдиреЗ рдореЗрдВ рдЕрд╕рдорд░реНрде: рд╕рдВрд╕реНрдХрд░рдг "рдПрдХреНрд╕рдЯреЗрдВрд╢рди / v1beta1" рдореЗрдВ рджрдпрд╛рд▓реБ "DaemonSet" рдХреЗ рд▓рд┐рдП рдХреЛрдИ рдорд┐рд▓рд╛рди рдирд╣реАрдВ
" https://raw.githubusercontent.com/coreos/flannel/bc79dd1505b0c8681ece4de4c0d86c5cd2643275/Documentation/kube/flannel.yml " рдкрд╣рдЪрд╛рдирдиреЗ рдореЗрдВ рдЕрд╕рдорд░реНрде: рд╕рдВрд╕реНрдХрд░рдг "рдПрдХреНрд╕рдЯреЗрдВрд╢рди / v1beta1" рдореЗрдВ рджрдпрд╛рд▓реБ "DaemonSet" рдХреЗ рд▓рд┐рдП рдХреЛрдИ рдорд┐рд▓рд╛рди рдирд╣реАрдВ
" https://raw.githubusercontent.com/coreos/flannel/bc79dd1505b0c8681ece4de4c0d86c5cd2643275/Documentation/kube/flannel.yml " рдкрд╣рдЪрд╛рдирдиреЗ рдореЗрдВ рдЕрд╕рдорд░реНрде: рд╕рдВрд╕реНрдХрд░рдг "рдПрдХреНрд╕рдЯреЗрдВрд╢рди / v1beta1" рдореЗрдВ рджрдпрд╛рд▓реБ "DaemonSet" рдХреЗ рд▓рд┐рдП рдХреЛрдИ рдорд┐рд▓рд╛рди рдирд╣реАрдВ
" https://raw.githubusercontent.com/coreos/flannel/bc79dd1505b0c8681ece4de4c0d86c5cd2643275/Documentation/kube/flannel.yml " рдкрд╣рдЪрд╛рдирдиреЗ рдореЗрдВ рдЕрд╕рдорд░реНрде: рд╕рдВрд╕реНрдХрд░рдг "рдПрдХреНрд╕рдЯреЗрдВрд╢рди / v1beta1" рдореЗрдВ рджрдпрд╛рд▓реБ "DaemonSet" рдХреЗ рд▓рд┐рдП рдХреЛрдИ рдорд┐рд▓рд╛рди рдирд╣реАрдВ

рдКрдкрд░ рдХреЗ рд░реВрдк рдореЗрдВ рддреНрд░реБрдЯрд┐ рдлреЗрдВрдХрддрд╛ рд╣реИ

kans 1.16 рдореЗрдВ рдирд╡реАрдирддрдо рдкрд░рд┐рд╡рд░реНрддрдиреЛрдВ рдХрд╛ рдЕрдиреБрдкрд╛рд▓рди рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдлрд▓рд╛рд▓реИрди рдиреЗ рдЕрдкрдиреА рдЙрдкрд╕реНрдерд┐рддрд┐ рдХреЛ рдЕрджреНрдпрддрди рдирд╣реАрдВ рдХрд┐рдпрд╛ рд╣реИред
Calico рдпрд╛ WeaveNet рдХреА рддрд░рд╣ рдПрдХ рдЕрд▓рдЧ CNI рдкреНрд▓рдЧрдЗрди рдЖрдЬрд╝рдорд╛рдПрдБред

... рдпрд╛ рдлрд▓рд╛рд▓реИрди рдкреНрд░рдХрдЯ рд╣реЛрддрд╛ рд╣реИ рдкреИрдЪ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рдХреЗ apps/v1 рдХреЗ рдмрдЬрд╛рдп extensions/v1beta1

рдореЗрд░реЗ рдкрд╛рд╕ рдЙрдмрдВрдЯреВ 16.04 рдкрд░ k8s 1.16 рдХреЗ рд╕рд╛рде рдпрд╣ рд╕рдорд╕реНрдпрд╛ рд╣реИ (рдореИрдВ рдЖрд╡рдВрддрд╛ рдкрд░ рдЙрдмрдВрдЯреВ рдЪрд▓рд╛рддрд╛ рд╣реВрдВ)

Cwar plugin conf рдХреЛ /var /lib/kubelet/kubeadm-flags.env рд╕реЗ рд╣рдЯрд╛рдХрд░ рдареАрдХ рдХрд╛рдо рдХрд░рддрд╛ рд╣реИ

kans 1.16 рдореЗрдВ рдирд╡реАрдирддрдо рдкрд░рд┐рд╡рд░реНрддрдиреЛрдВ рдХрд╛ рдЕрдиреБрдкрд╛рд▓рди рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдлрд▓рд╛рд▓реИрди рдиреЗ рдЕрдкрдиреА рдЙрдкрд╕реНрдерд┐рддрд┐ рдХреЛ рдЕрджреНрдпрддрди рдирд╣реАрдВ рдХрд┐рдпрд╛ рд╣реИред
Calico рдпрд╛ WeaveNet рдХреА рддрд░рд╣ рдПрдХ рдЕрд▓рдЧ CNI рдкреНрд▓рдЧрдЗрди рдЖрдЬрд╝рдорд╛рдПрдБред
...
... рдпрд╛ рдлрд╝реНрд▓рд╛рдирд┐рди рдореИрдирд┐рдлрд╝реЗрд╕реНрдЯ рдХреЛ рдПрдкреНрд╡рд╛рдЗрдВрдЯрдореЗрдВрдЯ / v1beta1 рдХреЗ рдмрдЬрд╛рдп рдРрдкреНрд╕ / v1 рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдкреИрдЪ рдХрд░рддрд╛ рд╣реИ

рдЬреЛ рдХреБрдЫ рд╕рдордп рдкрд╣рд▓реЗ рддрдп рдХрд┐рдпрд╛ рдЧрдпрд╛ рдерд╛, рд▓реЗрдХрд┐рди рдХреБрдмрд░реНрдиреЗрдЯреЗрд╕ рдХреЗ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝реАрдХрд░рдг рдХреЗ рд▓рд┐рдВрдХ рдЕрднреА рднреА рдкреБрд░рд╛рдиреЗ рд╕рдВрд╕реНрдХрд░рдг рдХреА рдУрд░ рдЗрд╢рд╛рд░рд╛ рдХрд░рддреЗ рд╣реИрдВ, рдЬреЛ рдХрд╛рдо рдирд╣реАрдВ рдХрд░рддрд╛ (https://kubernetes.io/docs/setup/production-environment/tools/kubeadm-create-cluster-cluster-cluster- kubeadm / has https://raw.githubusercontent.com/coreos/flannel/2140ac876ef134e0ed5af15c65e414cf26827915/Documentation/bube.flannel.yml)ред рдЗрд╕рдХреЗ рдмрдЬрд╛рдп "рдорд╛рд╕реНрдЯрд░" рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛ рдХрд╛рдо рдХрд░рддрд╛ рд╣реИ рдФрд░ рдПрдХ рдЕрдиреНрдп рд╕рдорд╕реНрдпрд╛ рдХреЛ рднреА рдареАрдХ рдХрд░рддрд╛ рд╣реИ (CNI рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди рдореЗрдВ рдЕрдиреБрдкрд▓рдмреНрдз рд╕рдВрд╕реНрдХрд░рдг)ред

https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/

https://raw.githubusercontent.com/coreos/flannel/2140ac876ef134e0ed5af15c65e414cf26827915/Documentation/kube-flannel.yml рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддрд╛ рд╣реИ

рдЬрд┐рд╕рдореЗрдВ cniVersion рдФрд░ apps / v1 рдлрд╝рд┐рдХреНрд╕реЗрд╕ рджреЛрдиреЛрдВ рд╢рд╛рдорд┐рд▓ рд╣реЛрдиреЗ рдЪрд╛рд╣рд┐рдПред

рдпрд╣ рд╡рд╣реА рд╣реИ рдЬреЛ рдореИрдВрдиреЗ рджреЗрдЦрд╛: рдпрд╣ рддреНрд░реБрдЯрд┐ рддрдм рдЖрддреА рд╣реИ рдЬрдм рдЖрдкрдХреЗ рдкрд╛рд╕ рдЕрднреА рддрдХ рдлрд╝реНрд▓реЗрдиреЗрд▓ рдирд╣реАрдВ рдЪрд▓ рд░рд╣рд╛ рд╣реИ, рд▓реЗрдХрд┐рди рдЖрдк рдПрдкрд░реНрдЪрд░, рд╢реЗрдбреНрдпреВрд▓рд░ рдФрд░ рдХрдВрдЯреНрд░реЛрд▓рд░-рдореИрдиреЗрдЬрд░ рдХреЗ рдХреЗрд╡рд▓ рдкреНрд░рдХрдЯ рд╣реЛрдиреЗ рдХреЗ рд╕рд╛рде рд╣реА рдШрдмрд░рд╛рд╣рдЯ рдХрд░рдирд╛ рд╢реБрд░реВ рдХрд░ рджреЗрддреЗ рд╣реИрдВ - рдЬрдм рдЖрдк рдЗрд╕ рд▓рд╛рдЗрди рдХреЛ 10-kubeadm.conf рдореЗрдВ рд░рдЦрддреЗ рд╣реИрдВ - рдкрд░реНрдпрд╛рд╡рд░рдг = "KUBELET_NETWORK_ARGS = - рдиреЗрдЯрд╡рд░реНрдХ-рдкреНрд▓рдЧрдЗрди = cni --cni-conf-dir = / etc / cni / net.d --cni-bin-dir = / opt / cni / bin --node-ip = 192.168.8.11 "

рдЯрд┐рдкреНрдкрдгреА рдХрд░реЗрдВ рдФрд░ рдХреНрдпреВрдмрд▓реЗрдЯ рд╢реБрд░реВ рдХрд░реЗрдВред
рдлрд┐рд░ рдХреЛрд░ рдХреНрдпреВрдм-рд╕рд┐рд╕реНрдЯрдо рдкреЙрдбреНрд╕ рдЖрддреЗ рд╣реИрдВред
рдлрд┐рд░ рдХреНрдпреВрдм-рдкреНрд░реЙрдХреНрд╕реА рд╕реНрдерд╛рдкрд┐рдд рдХрд░реЗрдВ
рдлрд┐рд░ рдлрд▓рд╛рд▓реИрди рд╕реНрдерд╛рдкрд┐рдд рдХрд░реЗрдВ
* рдлрд┐рд░ рдЙрдкрд░реЛрдХреНрдд рд▓рд╛рдЗрди рдХреЛ рдЕрдирдмреНрд▓реЙрдХ рдХрд░реЗрдВ рдФрд░ рдХреНрдпреВрдмрд▓реЗрдЯ рдХреЛ рдлрд┐рд░ рд╕реЗ рд╢реБрд░реВ рдХрд░реЗрдВ *
рдХреЛрд░-рдбреАрдПрдирдПрд╕ / рдХреНрдпреВрдм-рдбреАрдПрдирдПрд╕ рд╕реНрдерд╛рдкрд┐рдд рдХрд░реЗрдВ

рдирдорд╕реНрддреЗ,
рдореИрдВ рд╕рдВрд╕реНрдХрд░рдг рд╕реНрдерд╛рдкрд┐рдд рдХрд░рдиреЗ рдХреА рдХреЛрд╢рд┐рд╢ рдХрд░ рд░рд╣рд╛ рд╣реВрдБ 1.16.0 рдореИрдВ рдХреБрдмреЗрд░ рд░реВрдЯрд░ рдкреНрд▓рдЧрд┐рдВрдЧ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░ рд░рд╣рд╛ рд╣реВрдВ рдФрд░ рдореБрдЭреЗ рд╡рд╣реА рддреНрд░реБрдЯрд┐рдпрд╛рдВ рдорд┐рд▓ рд░рд╣реА рд╣реИрдВ

рдХрдВрдЯреЗрдирд░ рд░рдирдЯрд╛рдЗрдо рдиреЗрдЯрд╡рд░реНрдХ рддреИрдпрд╛рд░ рдирд╣реАрдВ: NetworkReady = false рдХрд╛рд░рдг: NetworkPluginNotReady рд╕рдВрджреЗрд╢: docker : рдиреЗрдЯрд╡рд░реНрдХ рдкреНрд▓рдЧрдЗрди рддреИрдпрд╛рд░ рдирд╣реАрдВ рд╣реИ: cni config uninitialized

рдирдорд╕реНрддреЗ,
рдореИрдВ рд╕рдВрд╕реНрдХрд░рдг рд╕реНрдерд╛рдкрд┐рдд рдХрд░рдиреЗ рдХреА рдХреЛрд╢рд┐рд╢ рдХрд░ рд░рд╣рд╛ рд╣реВрдБ 1.16.0 рдореИрдВ рдХреБрдмреЗрд░ рд░реВрдЯрд░ рдкреНрд▓рдЧрд┐рдВрдЧ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░ рд░рд╣рд╛ рд╣реВрдВ рдФрд░ рдореБрдЭреЗ рд╡рд╣реА рддреНрд░реБрдЯрд┐рдпрд╛рдВ рдорд┐рд▓ рд░рд╣реА рд╣реИрдВ

рдХрдВрдЯреЗрдирд░ рд░рдирдЯрд╛рдЗрдо рдиреЗрдЯрд╡рд░реНрдХ рддреИрдпрд╛рд░ рдирд╣реАрдВ: NetworkReady = false рдХрд╛рд░рдг: NetworkPluginNotReady рд╕рдВрджреЗрд╢: docker : рдиреЗрдЯрд╡рд░реНрдХ рдкреНрд▓рдЧрдЗрди рддреИрдпрд╛рд░ рдирд╣реАрдВ рд╣реИ: cni config uninitialized

рдпрджрд┐ рдЖрдк рдЪрд▓ рд░рд╣реЗ рдкрд░реНрдпрд╛рд╡рд░рдг рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдЕрдзрд┐рдХ рдЬрд╛рдирдХрд╛рд░реА рдкреНрд░рджрд╛рди рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ, рддреЛ рдпрд╣ рдорджрджрдЧрд╛рд░ рд╣реЛрдЧрд╛ред рдЬреИрд╕реЗ, рдЖрдкрд░реЗрдЯ рд╕рд┐рд╕реНрдЯрдо, рдФрд░ рддреНрд░реБрдЯрд┐ рд╣реЛрдиреЗ рд╕реЗ рдкрд╣рд▓реЗ рдЖрдкрдиреЗ рдХреНрдпрд╛ рдХрд┐рдпрд╛ рдерд╛ред

рдпрд╣ рдЕрдореЗрдЬрд╝реЕрди рдкрд░ 1.16.0 рд╕рдВрд╕реНрдХрд░рдг рдХреА рдПрдХ рдирдИ рддрд╛рдЬрд╝рд╛ рд╕реНрдерд╛рдкрдирд╛ рд╣реИред
рдореИрдВ рдЗрд╕ рдПрдПрдордЖрдИ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░ рд░рд╣рд╛ рд╣реВрдВ - k8s-1.16-debian-stretch-amd64-hvm-ebs-2020-09-17
рдЕрдирд╛рдо
рд▓рд┐рдирдХреНрд╕ рдЖрдИрдкреА -172-28-125-218 4.9.0-11-amd64 # 1 рдПрд╕рдПрдордкреА рдбреЗрдмрд┐рдпрди 4.9.189-3 + deb9u2 (2019-11-11) x86_64 GNU / Linux

рдЕрдЧрд░ рдореИрдВ 1.15.0 рд╕реНрдерд╛рдкрд┐рдд рдХрд░реВрдБ рддреЛ рдХреЛрдИ рд╕рдорд╕реНрдпрд╛ рдирд╣реАрдВ рд╣реИред

рдпрд╣ рд╡рд╣реА рд╣реИ рдЬреЛ рдореИрдВ рдорд╛рд╕реНрдЯрд░ рдиреЛрдбреНрд╕ рдХреЗ sloglog рдореЗрдВ рджреЗрдЦрддрд╛ рд╣реВрдВред

Mar 12 05:26:22 ip-172-28-125-218 kubelet65365626: E0312 05: 26: 22.761009 3656 kubelet.go: 2187├Е рдХрдВрдЯреЗрдирд░ рд░рдирдЯрд╛рдЗрдо рдиреЗрдЯрд╡рд░реНрдХ рддреИрдпрд╛рд░ рдирд╣реАрдВ: NetworkReady = рдЧрд▓рдд рдХрд╛рд░рдг: NetworkPluginNotReady рд╕рдВрджреЗрд╢: docker : network plugin рдирд╣реАрдВ рд╣реИ рддреИрдпрд╛рд░: cni config uninitialized
Mar 12 05:26:25 ip-172-28-125-218 docker├Е3570 I: I0312 05: 26: 25.713681 3619 dns.go: 47├Е DNSView рдЕрдкрд░рд┐рд╡рд░реНрддрд┐рдд: 5
Mar 12 05:26:25 ip-172-28-125-218 kubelet65365626: W0312 05: 26: 25.883857 3656 cni.go: 202├Е CNI рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди рдФрд░ ├дkernernetes рдХреЛ рдкреНрд░рдорд╛рдгрд┐рдд рдХрд░рдиреЗ рдореЗрдВ рддреНрд░реБрдЯрд┐ рд╣реБрдИ ├Д0xc0009d8260├Е ├Д123 34 99 105 105 101 114 115 рел 97 рейрек рейрек рекрек рейрек реп 34рез резрежрез резрекрез рейрек рекрез резрекрез резрезрек резрезрек резрезрек резрезреж резрезреж резрезрез резрезрез резрезрез резрезрез резрезрез резрезрез резрекрез резрезрел резрезреж резрезреж резрелреж резрезреж резрелреж резрезрел резрелреж резрезреж резрежрек резрежрек резрезреж резрежрек резреж 101 реп 117рек реп 117рек реп 117рек реп 110рек реп 110рел рдирд┐рд░реНрдорд╛рдг рд╣реЛ рд░рд╣рд╛ рд╣реИред рекрел реп 45рек резрезрел резрежрез резрежрез резрежрез резрекрез рейрек рейрек резрекрез резрекрез резрекрез резрекрез резрекрез резрекрез резрекрез резрекрез резрезрез резрезрез резрезрез резрезрез резрезрез резрезрек резрекрез рекрек рекрек рек 103 рек 48 рек 48 рек 48 рек 103 рек 103 рек 103 рек 103 рекреи рекреи рекрек рекрек рекрек рекрез рекрек рекрез рекрез рекрез резрекрез рдирд╣реАрдВ рекрез рейрек рекрез резрежрек резрезрез резрезрел резрезрем рекрел резрезреж рез репреп рез реп режрек резрекреж резрекрек рекрек резрекрел резрекрез резрежрез резрезреж резрезреж резрезрез резрез 116 резрез 116 резрез 101 резрез 101 резрезрез резрезрез резрез 101 резрез 114 резрез 114 резрез 114 резрезрек резрезрек резрек 121 реп рекрек реп рекрез резрек 101 рекрек резрек 117 реп рекрек резрезрек реп 108рек резрезрек резрезрекред резрезреж резрежрез резрезрем резрежрез резрекрез резрекрез рейрек резрекрез резрезреи резрезреи резрекрез рейрек рел 98 резрезрек резрежрез резрежрез резрежрез резрежрез резрежрез рейрек резреирел реп рей├Е├Е:: doesрдкреНрд▓рдЧрд┐рди рдкреБрд▓ рд╡рд┐рдиреНрдпрд╛рд╕ рд╕рдВрд╕реНрдХрд░рдг рдХрд╛ рд╕рдорд░реНрдерди рдирд╣реАрдВ рдХрд░рддрд╛ рд╣реИ "" 34
Mar 12 05:26:25 ip-172-28-125-218 kubelet65365626: W0312 05: 26: 25.883925 3656 cni.go: 237├Е cni config рдЕрджреНрдпрддрди рдХрд░рдиреЗ рдореЗрдВ рдЕрд╕рдорд░реНрде: /etc/cni/net.d/ рдореЗрдВ рдкрд╛рдпрд╛ рдЧрдпрд╛ рдХреЛрдИ рд╡реИрдз рдиреЗрдЯрд╡рд░реНрдХ
Mar 12 05:26:27 ip-172-28-125-218 kubelet65365626: E0312 05: 26: 27.762309 3656 kubelet.go: 2187├Е рдХрдВрдЯреЗрдирд░ рд░рдирдЯрд╛рдЗрдо рдиреЗрдЯрд╡рд░реНрдХ рддреИрдпрд╛рд░ рдирд╣реАрдВ: NetworkReady = рдЧрд▓рдд рдХрд╛рд░рдг: NetworkPluginNotReady рд╕рдВрджреЗрд╢: docker : network plugin рдирд╣реАрдВ рд╣реИ рддреИрдпрд╛рд░: cni config uninitialized
Mar 12 05:26:30 ip-172-28-125-218 docker├Е3570 I: I0312 05: 26: 30.713906 3619 dns.go: 47├Е DNSView рдЕрдкрд░рд┐рд╡рд░реНрддрд┐рдд: 5
Mar 12 05:26:30 ip-172-28-125-218 kubelet653656 W: W0312 05: 26: 30.886362 3656 cni.go: 202├Е CNI рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди рдФрд░ ubkubetetes рдХреЛ рдкреНрд░рдорд╛рдгрд┐рдд рдХрд░рдиреЗ рдореЗрдВ рддреНрд░реБрдЯрд┐ рд╣реБрдИ рдЧрд▓рдд ├Д0xc0008fc000├Е ├Д123 34 99 105 105 101 114 114 рел 97 рейрек рейрек рекрек рейрек реп 34рез резрежрез резрекрез рейрек рекрез резрекрез резрезрек резрезрек резрезрек резрезреж резрезреж резрезрез резрезрез резрезрез резрезрез резрезрез резрезрез резрекрез резрезрел резрезреж резрезреж резрелреж резрезреж резрелреж резрезрел резрелреж резрезреж резрежрек резрежрек резрезреж резрежрек резреж 101 реп 117рек реп 117рек реп 117рек реп 110рек реп 110рел рдирд┐рд░реНрдорд╛рдг рд╣реЛ рд░рд╣рд╛ рд╣реИред рекрел реп 45рек резрезрел резрежрез резрежрез резрежрез резрекрез рейрек рекрек резрекрез резрекрез резрекрез резрекрез резрекрез резрекрез резрекрез резрекрез резрезрез резрезрез резрезреж резрезрез резрезрез резрезрек резрекрез рекрек рекрек рекрек рек 48 рек 48 рек 48 рек 103 рек 46 рек 103 рек 103 рекреи рекреи рекрек рекрек рекрез рекрек рекрез рекрез рекрез рекрез рдореЗрдВ рекрез рекрез рейрек рекрез резрежрек резрезрез резрезрел резрезрем рекрел резрезреж рез репреп рез реп режрек резрекреж резрекрек рекрек резрекрел резрекрез резрежрез резрезреж резрезреж резрезрез резрез 116 резрез 116 резрез 101 резрез 101 резрезрез резрезрез резрез 101 резрез 114 резрез 114 резрез 114 резрезрек резрезрек резрек 121 реп рекрек реп рекрез резрек 101 рекрек резрек 117 реп рекрек резрезрек реп 108рек резрезрек резрезрекред резрежрез резрежрез резрезрем резрежрез резрекрез резрекрез рейрек резрекрез резрезрез резреирез резрекрез рейрек рел 98 резрезрек резрежрез резрежрез резрежрез резрежрез резрежрез рейрек резреирел резреирел├Е::: doesрдкреНрд▓рдЧрд┐рди рдкреБрд▓ рд╡рд┐рдиреНрдпрд╛рд╕ рд╕рдВрд╕реНрдХрд░рдг рдХрд╛ рд╕рдорд░реНрдерди рдирд╣реАрдВ рдХрд░рддрд╛ рд╣реИ "" 34
Mar 12 05:26:30 ip-172-28-125-218 kubelet653656 W: W0312 05: 26: 30.886428 3656 cni.go: 237├Е cni config рдЕрджреНрдпрддрди рдХрд░рдиреЗ рдореЗрдВ рдЕрд╕рдорд░реНрде: /etc/cni/net.d/ рдореЗрдВ рдХреЛрдИ рдорд╛рдиреНрдп рдкреНрд░рдорд╛рдг рдирд╣реАрдВ рдорд┐рд▓рд╛ред

Cvar рдкреНрд▓рдЧрдЗрди рдХреЛ /var/lib/kubelet/kubeadm-flags.env рд╕реЗ рд╣рдЯрд╛рдХрд░ рднреА CentOS 7.6 рдкрд░ k8s 1.16.8 рдХреЗ рд╕рд╛рде рдХрд╛рдо рдХрд░рддрд╛ рд╣реИ

рдХреГрдкрдпрд╛ рдХреБрдЫ рднреА рди рдмрджрд▓реЗрдВред рдмрд╕ рдЗрд╕ рдХрдорд╛рдВрдб рдХреЛ рдЪрд▓рд╛рддреЗ рд╣реИрдВред рддреНрд░реБрдЯрд┐ рджреВрд░ рд╣реЛ рдЬрд╛рдПрдЧреАред

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

рдзрдиреНрдпрд╡рд╛рдж @ikramuallah , рдХрд┐ 1.18 рдХреЗ рд▓рд┐рдП рдХрд╛рдо рдХрд┐рдпрд╛ рд╣реИ, рдмрд╛рдд рдпрд╣ рд╣реИ рдХрд┐ рдпрд╣ рд╕реАрдзреЗ рдХрд╛рдо рдирд╣реАрдВ рдХрд░рддрд╛ рд╣реИ рдХреНрдпреЛрдВрдХрд┐ рдлрд▓рд╛рд▓реИрди рдлрд▓реА рдореЗрдВ рд╕реЗ рдПрдХ рдХреЛ рдирд╣реАрдВ рдЦреАрдВрдЪрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИ рдХреНрдпреЛрдВрдХрд┐ рдХреНрд╡рд╛рдЗрд▓ рд╕рд╛рдЗрдЯреЛрдВ рдореЗрдВ рд╕реЗ рдПрдХ 500 рдлреЗрдВрдХ рд░рд╣рд╛ рдерд╛ред рдЗрд╕рд▓рд┐рдП рдореЗрд░рд╛ рд╕реБрдЭрд╛рд╡ рд╣реИ рдХрд┐ YAML рд▓рд╛рдЧреВ рдХрд░рдиреЗ рдХреЗ рдмрд╛рдж, рд╕рднреА рдЬрд╛рдВрдЪреЗрдВ рдлрд▓рд╛рд▓реИрди рдлрд▓реА рдКрдкрд░ рдЖ рдЧрдП рд╣реИрдВ рдФрд░ рдбрд┐рдмрдЧ рдХрд░рддреЗ рд╣реИрдВред рд▓рд┐рдВрдХрд┐рдВрдЧ рдореБрджреНрджрд╛ рдореИрдВрдиреЗ рд╕рдВрджрд░реНрдн рдХреЗ рд▓рд┐рдП рдлрд▓рд╛рд▓реИрди рдореЗрдВ рдЙрдард╛рдпрд╛ред coreos / рдлрд▓рд╛рд▓реИрди # 1294

рдХреГрдкрдпрд╛ рдХреБрдЫ рднреА рди рдмрджрд▓реЗрдВред рдмрд╕ рдЗрд╕ рдХрдорд╛рдВрдб рдХреЛ рдЪрд▓рд╛рддреЗ рд╣реИрдВред рддреНрд░реБрдЯрд┐ рджреВрд░ рд╣реЛ рдЬрд╛рдПрдЧреАред

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

рдзрдиреНрдпрд╡рд╛рдж!

рдХреГрдкрдпрд╛ рдХреБрдЫ рднреА рди рдмрджрд▓реЗрдВред рдмрд╕ рдЗрд╕ рдХрдорд╛рдВрдб рдХреЛ рдЪрд▓рд╛рддреЗ рд╣реИрдВред рддреНрд░реБрдЯрд┐ рджреВрд░ рд╣реЛ рдЬрд╛рдПрдЧреАред
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

рдзрдиреНрдпрд╡рд╛рдж!

рдХреНрд╖рдорд╛ рдХрд░реЗрдВ, рдореИрдВ рд▓рд┐рдВрдХ рддрдХ рдирд╣реАрдВ рдкрд╣реБрдБрдЪ рд╕рдХрддрд╛ред рдХреНрдпрд╛ рдХреБрдЫ рдЧрд▓рдд рд╣реЖ ?

@juxuny рд▓рд┐рдВрдХ рдареАрдХ рд╣реИ, рд╢рд╛рдпрдж рдХреБрдЫ рдЕрд╕реНрдерд╛рдпреА netw рдХрдиреЗрдХреНрдЯрд┐рд╡рд┐рдЯреА рдореБрджреНрджреЗ?

рдХреГрдкрдпрд╛ рдХреЛрдИ рдореЗрд░реА рдорджрдж рдХрд░реЗ
рдХреНрдпреВрдм-рдкреНрд░реЙрдХреНрд╕реА-рд╡рд┐рдВрдбреЛрдЬрд╝-xxxw рдкреЙрдб рд╕реНрдЯреЗрдЯрд╕ рдХреЗ рд▓рд┐рдП рдХрдВрдЯреЗрдирд░ рд╣реИред рдЬрдм рдореИрдВ рдкреЙрдбреНрд╕ рдХрд╛ рд╡рд░реНрдгрди рдХрд░рддрд╛ рд╣реВрдВ, рддреЛ

рдЪреЗрддрд╛рд╡рдиреА NetworkNotReady 3m27s (168m рд╕реЗ рдЕрдзрд┐рдХ 168 рдореА) рдХреНрдпреВрдмрд▓реЗрдЯ, рдХрд╛рд╕реНрдЯ 1 рдиреЗрдЯрд╡рд░реНрдХ рддреИрдпрд╛рд░ рдирд╣реАрдВ рд╣реИ: рд░рдирдЯрд╛рдЗрдо рдиреЗрдЯрд╡рд░реНрдХ рддреИрдпрд╛рд░ рдирд╣реАрдВ: NetworkReady = рдЧрд▓рдд рдХрд╛рд░рдг: NetworkPluginNotReady рд╕рдВрджреЗрд╢: docker : рдиреЗрдЯрд╡рд░реНрдХ рдкреНрд▓рдЧрдЗрди рддреИрдпрд╛рд░ рдирд╣реАрдВ рд╣реИ: cni config uninitialized

рдЕрдиреНрдп рд╕рднреА рдкреЙрдбреНрд╕ рдЪрд╛рд▓реВ рд╕реНрдерд┐рддрд┐ рдореЗрдВ рд╣реИрдВред рдХреНрдпреВрдм-рдкреНрд░реЙрдХреНрд╕реА-рд╡рд┐рдВрдбреЛ рдХреЛ рдЫреЛрдбрд╝рдХрд░

рдореИрдВрдиреЗ рдиреАрдЪреЗ рдХреЗ рд░реВрдк рдореЗрдВ рдХреБрдмреЗрд░рдиреЗрдЯреНрд╕ рдПрдирд╡рд╛рдпрд░рдирдореЗрдВрдЯ рдмрдирд╛рдпрд╛ рд╣реИ:
рдорд╛рд╕реНрдЯрд░ рдиреЛрдб рд░реЗрдбреА V1.19.0 RHEL 7 OS
рд╡рд░реНрдХрд░ рдиреЛрдб рдиреЛрдЯрд░реА V1.19.0 рд╡рд┐рдВрдбреЛрдЬ рд╕рд░реНрд╡рд░ 2019
рдореИрдВ рдорд╛рд╕реНрдЯрд░ рдиреЛрдб рдореЗрдВ рд╡рд┐рдВрдбреЛрдЬ рд╡рд░реНрдХрд░ рдиреЛрдб рдореЗрдВ рд╢рд╛рдорд┐рд▓ рд╣реЛрдиреЗ рдХреА рдХреЛрд╢рд┐рд╢ рдХрд░ рд░рд╣рд╛ рд╣реВрдВ

рдореИрдВ рдлрд▓рд╛рд▓реИрди рдиреЗрдЯрд╡рд░реНрдХ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░ рд░рд╣рд╛ рд╣реВрдВред рдореИрдВрдиреЗ рдиреАрдЪреЗ рджрд┐рдП рдЧрдП рд╕рдорд╛рдзрд╛рдиреЛрдВ рдХреА рдХреЛрд╢рд┐рд╢ рдХреА рд╣реИ:
1.kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

  1. 10-рдлрд▓рд╛рд▓реИрди.рдХреЙрдиреНрдлрд╝рд┐рд▓реНрдЯрд░ рдХреЗ cniVersion рдХреЛ "0.3.1" рд╕реЗ "0.2.0" рдореЗрдВ рдмрджрд▓реЗрдВ
    10-рдлрд▓рд╛рд▓реИрди.рдХреЙрдиреНрдлрд╝реНрд▓рд┐рд╕реНрдЯ рдкрд╣рд▓реЗ рд╕реЗ рд╣реА рдерд╛ред

рдХреГрдкрдпрд╛ рдореБрдЭреЗ рд╕рдЯреАрдХ рд╕рдорд╕реНрдпрд╛ рдмрддрд╛рдПрдВ

рдореЗрд░реЗ рдорд╛рдорд▓реЗ рдореЗрдВ рдЬрдм рдореИрдВ init kubernetes рдорд╛рд╕реНрдЯрд░ рд╣реВрдВ рддреЛ рдореЗрд░реЗ рдкрд╛рд╕ рдпрд╣ рдореБрджреНрджрд╛ рдерд╛ред Etcd рдореЗрдВ рд╕рднреА рдбреЗрдЯрд╛ рдХреЛ рд╣рдЯрд╛рдиреЗ рдХреЗ рдмрд╛рдж рдкреНрд░рдХреНрд░рд┐рдпрд╛ init рд╕рдлрд▓ рд░рд╣реА
рд╕рднреА рдкреНрд░рдХрд╛рд░ рдХреЗ рдиреЛрдбреНрд╕ рдкрд░:
systemctl рд╕реНрдЯреЙрдк etcd
rm -rf / var / lib / etcd / *
systemctl рдбреЗрдореЙрди-рд░реАрд▓реЛрдб рдФрд░& systemctl рд╕рдХреНрд╖рдо etcd рдФрд░& systemctl рдкреНрд░рд╛рд░рдВрдн

рдХреНрдпрд╛ рдпрд╣ рдкреГрд╖реНрда рдЙрдкрдпреЛрдЧреА рдерд╛?
0 / 5 - 0 рд░реЗрдЯрд┐рдВрдЧреНрд╕

рд╕рдВрдмрдВрдзрд┐рдд рдореБрджреНрджреЛрдВ

cooligc picture cooligc  ┬╖  3рдЯрд┐рдкреНрдкрдгрд┐рдпрд╛рдБ

errordeveloper picture errordeveloper  ┬╖  3рдЯрд┐рдкреНрдкрдгрд┐рдпрд╛рдБ

montanaflynn picture montanaflynn  ┬╖  3рдЯрд┐рдкреНрдкрдгрд┐рдпрд╛рдБ

alexferl picture alexferl  ┬╖  3рдЯрд┐рдкреНрдкрдгрд┐рдпрд╛рдБ

zetaab picture zetaab  ┬╖  3рдЯрд┐рдкреНрдкрдгрд┐рдпрд╛рдБ