Kubeadm: рдХреБрдмреЗрд░рдиреЗрдЯреНрд╕ 1.12.0 рдореЗрдВ рдкреНрд░рд╡реЗрд╢ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдХреБрдмреЗрджрдо рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛ рд╡рд┐рдлрд▓:рдиреЛрдб "xxx" рдирд╣реАрдВ рдорд┐рд▓рд╛

рдХреЛ рдирд┐рд░реНрдорд┐рдд 3 рдЕрдХреНрддреВре░ 2018  ┬╖  45рдЯрд┐рдкреНрдкрдгрд┐рдпрд╛рдБ  ┬╖  рд╕реНрд░реЛрдд: kubernetes/kubeadm

рдореЗрд░рд╛ рдкрд░реНрдпрд╛рд╡рд░рдг:

CentOS7 рд▓рд┐рдирдХреНрд╕

/рдЖрджрд┐/рдореЗрдЬрдмрд╛рди:

192.168.0.106 рдорд╛рд╕реНрдЯрд░01

192.168.0.107 рдиреЛрдб02

192.168.0.108 рдиреЛрдб01

рдорд╛рд╕реНрдЯрд░01 рдорд╢реАрди рдкрд░:

/рдЖрджрд┐/рд╣реЛрд╕реНрдЯрдирд╛рдо:

рдорд╛рд╕реНрдЯрд░01

рдорд╛рд╕реНрдЯрд░01 рдорд╢реАрди рдкрд░ рдореИрдВ рдирд┐рдореНрдирд╛рдиреБрд╕рд╛рд░ рдХрдорд╛рдВрдб рдирд┐рд╖реНрдкрд╛рджрд┐рдд рдХрд░рддрд╛ рд╣реВрдВ:

1) рдпрдо рдбреЙрдХрд░-рд╕реАрдИ рдХреНрдпреВрдмрд▓реЗрдЯ рдХреБрдмреЗрджрдо рдХреБрдмреЗрдХреНрдЯрд▓ рд╕реНрдерд╛рдкрд┐рдд рдХрд░реЗрдВ

2) systemctl start docker.service

3)рд╡рд┐рдо/рдЖрджрд┐/sysconfig/kubelet

рдлрд╝рд╛рдЗрд▓ рд╕рдВрдкрд╛рджрд┐рдд рдХрд░реЗрдВ:

KUBELET_EXTRA_ARGS="--fail-swap-on=false"

4)systemctl docker kubelet рд╕рдХреНрд╖рдо рдХрд░реЗрдВ

5) Kubeadm init --kubernetes-version=v1.12.0 --pod-network-cidr=10.244.0.0/16 servicecidr=10.96.0.0/12 --ignore-preflight-errors=all

рдлрд┐рд░

E1002 23:32:36.072441 49157 kubelet.go:2236] рдиреЛрдб "рдорд╛рд╕реНрдЯрд░01" рдирд╣реАрдВ рдорд┐рд▓рд╛
E1002 23:32:36.172630 49157 kubelet.go:2236] рдиреЛрдб "рдорд╛рд╕реНрдЯрд░01" рдирд╣реАрдВ рдорд┐рд▓рд╛
E1002 23:32:36.273892 49157 kubelet.go:2236] рдиреЛрдб "рдорд╛рд╕реНрдЯрд░01" рдирд╣реАрдВ рдорд┐рд▓рд╛
рд╕рдордп = "2018-10-02T23: 32: 36 + 08:00" рд╕реНрддрд░ = рдЬрд╛рдирдХрд╛рд░реА рд╕рдВрджреЗрд╢ = "рд╢рд┐рдо рдбреЙрдХрдЯрд░-рдХрдВрдЯреЗрдирд░рдб-рд╢рд┐рдо рд╢реБрд░реВ" рдкрддрд╛ = "/ рдХрдВрдЯреЗрдирд░рдб-рд╢рд┐рдо/рдореЛрдмреА/52fbcdb7864cdf8039ded99b501447f13ba81a3897579fb64581c855653f369a/shim.sock" рдбрд┐рдмрдЧ рдкреАрдЖрдИрдбреА=рекрепреирезреи
E1002 23:32:36.359984 49157 рдкрд░рд╛рд╡рд░реНрддрдХ.go:134] k8s.io/kubernetes/pkg/kubelet/kubelet.go:451: рд╕реВрдЪреАрдмрджреНрдз рдХрд░рдиреЗ рдореЗрдВ рд╡рд┐рдлрд▓ *v1.Node: https://192.168.0.106:6443/api/ рдкреНрд░рд╛рдкреНрдд
I1002 23:32:36.377368 49157 kubelet_node_status.go:276] рд╡реЙрд▓реНрдпреВрдо рдХрдВрдЯреНрд░реЛрд▓рд░ рдЕрдЯреИрдЪ/рдбрд┐рдЯреИрдЪ рд╕рдХреНрд╖рдо рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдиреЛрдб рдПрдиреЛрдЯреЗрд╢рди рд╕реЗрдЯ рдХрд░рдирд╛
E1002 23:32:36.380290 49157 kubelet.go:2236] рдиреЛрдб "рдорд╛рд╕реНрдЯрд░01" рдирд╣реАрдВ рдорд┐рд▓рд╛
E1002 23:32:36.380369 49157 рдкрд░рд╛рд╡рд░реНрддрдХ.go:134] k8s.io/kubernetes/pkg/kubelet/config/apiserver.go:47: рд╕реВрдЪреАрдмрджреНрдз рдХрд░рдиреЗ рдореЗрдВ рд╡рд┐рдлрд▓ *v1.Pod: https://192.168.0.106:6443/ рдкреНрд░рд╛рдкреНрдд
E1002 23:32:36.380409 49157 рдкрд░рд╛рд╡рд░реНрддрдХ.go:134] k8s.io/kubernetes/pkg/kubelet/kubelet.go:442: рд╕реВрдЪреАрдмрджреНрдз рдХрд░рдиреЗ рдореЗрдВ рд╡рд┐рдлрд▓ *v1.рд╕реЗрд╡рд╛: https://192.168.0.106:6443/api/ рдкреНрд░рд╛рдкреНрдд
рд╕рдордп="2018-10-02T23:32:36+08:00" рд╕реНрддрд░ = рдЬрд╛рдирдХрд╛рд░реА рд╕рдВрджреЗрд╢ = "рд╢рд┐рдо рдбреЙрдХрд░-рдХрдВрдЯреЗрдирд░рдб-рд╢рд┐рдо рд╢реБрд░реВ" рдкрддрд╛ = "/ рдХрдВрдЯреЗрдирд░рдб-рд╢рд┐рдо/рдореЛрдмреА/f621eca36ce85e815172c37195ae7ac929112c84f3e37d16dd39c7e44ab13b0c/shim. рдкреАрдЖрдИрдбреА=49243
I1002 23:32:36.414930 49157 kubelet_node_status.go:70] рдиреЛрдб рдорд╛рд╕реНрдЯрд░01 рдХреЛ рдкрдВрдЬреАрдХреГрдд рдХрд░рдиреЗ рдХрд╛ рдкреНрд░рдпрд╛рд╕
E1002 23:32:36.416627 49157 kubelet_node_status.go:92] рдПрдкреАрдЖрдИ рд╕рд░реНрд╡рд░ рдХреЗ рд╕рд╛рде рдиреЛрдб "рдорд╛рд╕реНрдЯрд░01" рдкрдВрдЬреАрдХреГрдд рдХрд░рдиреЗ рдореЗрдВ рдЕрд╕рдорд░реНрде: рдкреЛрд╕реНрдЯ https://192.168.0.106:6443/api/v1/nodes : tcp 192.168.0.106:6443 рдбрд╛рдпрд▓ рдХрд░реЗрдВ: рдХрдиреЗрдХреНрдЯ рдХрд░реЗрдВ : рдХрдиреЗрдХреНрд╢рди рдирд╣реАрдВ рд╣реЛ рд╕рдХрд╛
рд╕рдордп = "2018-10-02T23: 32: 36 + 08:00" рд╕реНрддрд░ = рдЬрд╛рдирдХрд╛рд░реА рд╕рдВрджреЗрд╢ = "рд╢рд┐рдо рдбреЙрдХрдЯрд░-рдХрдВрдЯреЗрдирд░рдб-рд╢рд┐рдо рд╢реБрд░реВ" рдкрддрд╛ = "/ рдХрдВрдЯреЗрдирд░рдб-рд╢рд┐рдо/рдореЛрдмреА/рдбреАрдмреА3f5acb415581d85aef199bea3f85432437c7ef00d357dca1b5684ed95b5591/shim.sock рдкрд┐рдб=рекрепреирелреп
E1002 23:32:36.488013 49157 kubelet.go:2236] рдиреЛрдб "рдорд╛рд╕реНрдЯрд░01" рдирд╣реАрдВ рдорд┐рд▓рд╛
рд╕рдордп = "2018-10-02T23: 32: 36 + 08:00" рд╕реНрддрд░ = рдЬрд╛рдирдХрд╛рд░реА рд╕рдВрджреЗрд╢ = "рд╢рд┐рдо рдбреЙрдХрдЯрд░-рдХрдВрдЯреЗрдирд░рдб-рд╢рд┐рдо рд╢реБрд░реВ" рдкрддрд╛ = "/ рдХрдВрдЯреЗрдирд░рдб-рд╢рд┐рдо/рдореЛрдмреА/505110c39ed4cd5b3fd4fb863012017a71fa782671ead943491afbf38310ffe0/=shim.sock" рдкреАрдЖрдИрдбреА=рекрепреиренрел
E1002 23:32:36.588919 49157 kubelet.go:2236] рдиреЛрдб "рдорд╛рд╕реНрдЯрд░01" рдирд╣реАрдВ рдорд┐рд▓рд╛
E1002 23:32:36.691338 49157 kubelet.go:2236] рдиреЛрдб "рдорд╛рд╕реНрдЯрд░01" рдирд╣реАрдВ рдорд┐рд▓рд╛

рдореИрдВрдиреЗ рдмрд╣реБрдд рдмрд╛рд░ рдХреЛрд╢рд┐рд╢ рдХреА рд╣реИ!

рд╕рдмрд╕реЗ рдЙрдкрдпреЛрдЧреА рдЯрд┐рдкреНрдкрдгреА

Kubernetes v1.13.0 . рдХреЗ рд╕рд╛рде рдпрд╣рд╛рдБ рднреА рдпрд╣реА рд╕рдорд╕реНрдпрд╛ рд╣реИ
рд╕реЗрдВрдЯреЛрд╕ 7
рдбреЙрдХрд░-рд╕реАрдИ 18.06 (рдирд╡реАрдирддрдо рдорд╛рдиреНрдп рд╕рдВрд╕реНрдХрд░рдг)
рдбреЙрдХрд░реНрдб: рд╕рдХреНрд░рд┐рдп, рдЪрд▓ рд░рд╣рд╛ рд╣реИ
рдХреНрдпреВрдмрд▓реЗрдЯ: рд╕рдХреНрд░рд┐рдп, рдЪрд▓ рд░рд╣рд╛
рд╕реЗрд▓рд┐рдирдХреНрд╕: рдЕрдХреНрд╖рдо
рдлрд╛рдпрд░рд╡реЙрд▓: рдЕрдХреНрд╖рдо

рддреНрд░реБрдЯрд┐ рд╣реИ:
kubelet[98023]: E1212 21:10:01.708004 98023 kubelet.go:2266] node "node1" not found
/etc/hosts рдореЗрдВ рдиреЛрдб рд╣реЛрддрд╛ рд╣реИ, рдпрд╣ рдкрд┐рдВрдЧреЗрдмрд▓ рд╣реИ, рдпрд╣ рдкрд╣реБрдВрдЪ рдпреЛрдЧреНрдп рд╣реИ - рд╡рд╛рд╕реНрддрд╡ рдореЗрдВ рд╕рд┐рдВрдЧрд▓-рдорд╛рд╕реНрдЯрд░ рд╕рд┐рдВрдЧрд▓-рд╡рд░реНрдХрд░ (рдпрд╛рдиреА рджрд╛рдЧреА рдиреЛрдб) рдХрд░ рд░рд╣рд╛ рд╣реИред

K8S рдЗрд╕ рдорд╛рди рдХреА рддрд▓рд╛рд╢ рдХрд╣рд╛рдБ рдХрд░рддрд╛ рд╣реИ? /etc/рдореЗрдЬрдмрд╛рди рдореЗрдВ?
рдпрджрд┐ рдЖрд╡рд╢реНрдпрдХ рд╣реЛ рддреЛ рдореИрдВ рд╕рдорд╕реНрдпрд╛ рдирд┐рд╡рд╛рд░рдг рдФрд░ рдЕрдзрд┐рдХ рд╕рдмреВрдд рдкреНрд░рджрд╛рди рдХрд░ рд╕рдХрддрд╛ рд╣реВрдВред

--> рдХреНрдпрд╛ рдХреБрдмреЗрджрдо рдЗрдирд┐рдЯ рдЦрддреНрдо рд╣реЛрддрд╛ рд╣реИ рдФрд░ рдХреНрдпрд╛ рдпрд╣ рдмреВрд╕реНрдЯреНрд░реИрдк рдЯреЛрдХрди рдкреНрд░рд┐рдВрдЯ рдХрд░рддрд╛ рд╣реИ?
рдпрд╣ рдПрдХ рд▓рдВрдмреА рддреНрд░реБрдЯрд┐ рдХреЗ рд╕рд╛рде рд╕рдорд╛рдкреНрдд рд╣реЛрддрд╛ рд╣реИ:

[certs] Generating "etcd/server" certificate and key
[certs] etcd/server serving cert is signed for DNS names [node1 localhost] and IPs [10.10.128.186 127.0.0.1 ::1]
[certs] Generating "etcd/peer" certificate and key
[certs] etcd/peer serving cert is signed for DNS names [node1 localhost] and IPs [10.10.128.186 127.0.0.1 ::1]
[certs] Generating "etcd/healthcheck-client" certificate and key
[certs] Generating "apiserver-etcd-client" certificate and key
[certs] Generating "sa" key and public key
[kubeconfig] Using kubeconfig folder "/etc/kubernetes"
[kubeconfig] Writing "admin.conf" kubeconfig file
[kubeconfig] Writing "kubelet.conf" kubeconfig file
[kubeconfig] Writing "controller-manager.conf" kubeconfig file
[kubeconfig] Writing "scheduler.conf" kubeconfig file
[control-plane] Using manifest folder "/etc/kubernetes/manifests"
[control-plane] Creating static Pod manifest for "kube-apiserver"
[control-plane] Creating static Pod manifest for "kube-controller-manager"
[control-plane] Creating static Pod manifest for "kube-scheduler"
[etcd] Creating static Pod manifest for local etcd in "/etc/kubernetes/manifests"
[wait-control-plane] Waiting for the kubelet to boot up the control plane as static Pods from directory "/etc/kubernetes/manifests". This can take up to 4m0s
[kubelet-check] Initial timeout of 40s passed.

Unfortunately, an error has occurred:
        timed out waiting for the condition

This error is likely caused by:
        - The kubelet is not running
        - The kubelet is unhealthy due to a misconfiguration of the node in some way (required cgroups disabled)

If you are on a systemd-powered system, you can try to troubleshoot the error with the following commands:
        - 'systemctl status kubelet'
        - 'journalctl -xeu kubelet'

Additionally, a control plane component may have crashed or exited when started by the container runtime.
To troubleshoot, list all containers using your preferred container runtimes CLI, e.g. docker.
Here is one example how you may list all Kubernetes containers running in docker:
        - 'docker ps -a | grep kube | grep -v pause'
        Once you have found the failing container, you can inspect its logs with:
        - 'docker logs CONTAINERID'
error execution phase wait-control-plane: couldn't initialize a Kubernetes cluster

рдиреЛрдЯ: рдЯрд╛рдЗрдордЖрдЙрдЯ рдХреЗ рдмрд╛рдж рд╕реБрдЭрд╛рдП рдЧрдП рдХрд┐рд╕реА рднреА рдЖрджреЗрд╢ рдиреЗ рдпрд╣рд╛рдВ рдЙрд▓реНрд▓реЗрдЦ рдХрд░рдиреЗ рд▓рд╛рдпрдХ рдХреБрдЫ рднреА рдирд╣реАрдВ рдмрддрд╛рдпрд╛ред

рдХреНрдпреВрдмрд▓реЗрдЯ рдФрд░ рдХреБрдмреЗрджрдо рд╕рдВрд╕реНрдХрд░рдг?
---> 1.13.0
kubeadm рд╕рдВрд╕реНрдХрд░рдг: рдФрд░ version.Info {рдореЗрдЬрд░: "1", рдорд╛рдЗрдирд░: "13", GitVersion: "v1.13.0", GitCommit: "ddf47ac13c1a9483ea035a79cd7c10005ff21a6d", GitTreeState: "рдХреНрд▓реАрди", рдмрд┐рд▓реНрдбрдбреЗрдЯ: "2018-12-03T21:02: 01Z", GoVersion: "go1.11.2", рдХрдВрдкрд╛рдЗрд▓рд░: "gc", рдкреНрд▓реЗрдЯрдлрд╝реЙрд░реНрдо: "linux/amd64"}

рд╕рд╛рде рд╣реА, рдХреНрдпреВрдм рд▓реЙрдЧ рдореЗрдВ рдереЛрдбрд╝реА рдЕрдзрд┐рдХ рд╕реНрдкрд╖реНрдЯрддрд╛/рд╡рд░реНрдмреЛрд╕рд┐рдЯреА рдХреЗ рд╕рд╛рде "рдиреЛрдб рдирд╣реАрдВ рдорд┐рд▓рд╛" рд╕реЗ рдмреЗрд╣рддрд░ рддреНрд░реБрдЯрд┐ рд╕рдВрджреЗрд╢ рд╕реЗрдЯ рдирд╣реАрдВ рдХрд░рдирд╛ рдЪрд╛рд╣рд┐рдП?

рдзрдиреНрдпрд╡рд╛рдж

рд╕рднреА 45 рдЯрд┐рдкреНрдкрдгрд┐рдпрд╛рдБ

рдкрд╣рд▓рд╛ рддреНрд░реБрдЯрд┐ рд╕рдВрджреЗрд╢: рдХреНрд▓рд╛рдЗрдВрдЯ CA рдлрд╝рд╛рдЗрд▓ /etc/kubernetes/pki/ca.crt рд▓реЛрдб рдХрд░рдиреЗ рдореЗрдВ рдЕрд╕рдорд░реНрде: open /etc/kubernetes/pki/ca.crt: рдРрд╕реА рдХреЛрдИ рдлрд╝рд╛рдЗрд▓ рдпрд╛ рдирд┐рд░реНрджреЗрд╢рд┐рдХрд╛ рдирд╣реАрдВ

рдкрд╣рд▓рд╛ рддреНрд░реБрдЯрд┐ рд╕рдВрджреЗрд╢: рдХреНрд▓рд╛рдЗрдВрдЯ CA рдлрд╝рд╛рдЗрд▓ /etc/kubernetes/pki/ca.crt рд▓реЛрдб рдХрд░рдиреЗ рдореЗрдВ рдЕрд╕рдорд░реНрде: open /etc/kubernetes/pki/ca.crt: рдРрд╕реА рдХреЛрдИ рдлрд╝рд╛рдЗрд▓ рдпрд╛ рдирд┐рд░реНрджреЗрд╢рд┐рдХрд╛ рдирд╣реАрдВ

рдирдорд╕реНрддреЗ, рдпрд╣рд╛рдБ рдХреБрдЫ рдкреНрд░рд╢реНрди рд╣реИрдВ:
1) рдХреНрдпрд╛ kubeadm init рдЦрддреНрдо рд╣реЛрддрд╛ рд╣реИ рдФрд░ рдХреНрдпрд╛ рдпрд╣ рдмреВрд╕реНрдЯрд░ рдЯреЛрдХрди рдкреНрд░рд┐рдВрдЯ рдХрд░рддрд╛ рд╣реИ?
2) рдХрдВрдЯреЗрдирд░ рд░рдирдЯрд╛рдЗрдо рд╕рдВрд╕реНрдХрд░рдг?
3) рдХреНрдпреВрдмрд▓реЗрдЯ рдФрд░ рдХреНрдпреВрдмреЗрдбрдо рд╕рдВрд╕реНрдХрд░рдг 1.12 рд╣реИрдВ?

/рдкреНрд░рд╛рдердорд┐рдХрддрд╛ рдХреА рдЬрд░реВрд░рдд-рдЕрдзрд┐рдХ-рд╕рдмреВрдд

kubeadm init . рд╕реЗ рдкрд╣рд▓реЗ systemctl start kubelet рдирд┐рд╖реНрдкрд╛рджрд┐рдд рдХрд░рдиреЗ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реИ

рдореБрдЭреЗ рднреА рдпрд╣реА рд╕рдорд╕реНрдпрд╛ рд╣реЛ рд░рд╣реА рд╣реИя╝М рдХреНрдпреЛрдВрдХрд┐ рдХрдк рдХрд╛ рдХреЛрд░ 2 . рд╕реЗ рдХрдо рд╣реИ

рд╡рд╣реА рдореБрджреНрджрд╛

@javacppc рдЖрдкрдиреЗ рдЗрд╕реЗ рдХреИрд╕реЗ рд╣рд▓ рдХрд┐рдпрд╛? рдЬрдм рдореИрдВ systemctl start kubelet рдЪрд▓рд╛рддрд╛ рд╣реВрдВ рддреЛ рдореБрдЭреЗ error code

рдХреБрдмреЗрд░рдиреЗрдЯреНрд╕ 1.12.2 рдХреЗ рд╕рд╛рде рдПрдХ рд╣реА рд╕рдорд╕реНрдпрд╛ред
@Javacppc рдЖрдкрдиреЗ рдЗрд╕реЗ рдХреИрд╕реЗ рд╣рд▓ рдХрд┐рдпрд╛?

рд╡рд╣реА рдореБрджреНрджрд╛

рд╡рд╣реА рдореБрджреНрджрд╛

рд╣реИрд▓реЛ рджреЛрд╕реНрддреЛрдВ,

рдореБрдЭреЗ рдпрд╣рд╛рдВ рдПрдХ рд╣реА рд╕рдорд╕реНрдпрд╛ рдХрд╛ рд╕рд╛рдордирд╛ рдХрд░рдирд╛ рдкрдбрд╝ рд░рд╣рд╛ рд╣реИ, рдЬрдм рдореИрдВ рдХреНрд▓рд╕реНрдЯрд░ рд╢реБрд░реВ рдХрд░рддрд╛ рд╣реВрдВ рддреЛ рдореБрдЭреЗ рдЯреЛрдХрди рд╕реЗ рд╕рдВрджреЗрд╢ рдорд┐рд▓рд╛, рд▓реЗрдХрд┐рди рдореИрдВ рдХреНрд▓рд╛рдЙрдб рдмреБрдирд╛рдИ рд╕реНрдерд╛рдкрд┐рдд рдирд╣реАрдВ рдХрд░ рд╕рдХрддрд╛:
kubectl apply -f "https://cloud.weave.works/k8s/net?k8s-version=$(kubectl version | base64 | tr -d '\n')" The connection to the server 192.168.56.104:6443 was refused - did you specify the right host or port?

рдЬрдм рдореИрдВ рд▓реЙрдЧ рдкрд░ рдЬрд╛рддрд╛ рд╣реВрдВ рддреЛ рдореБрдЭреЗ рдиреЛрдб рдирд╛рдо рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рд╕рдВрджреЗрд╢ рдорд┐рд▓рддрд╛ рд╣реИ:

Dec 02 22:27:55 kubemaster5 kubelet[2838]: E1202 22:27:55.128645 2838 kubelet.go:2236] node "kubemaster5" not found

рдХреНрдпрд╛ рдХреЛрдИ рдХреГрдкрдпрд╛ рдореБрдЭреЗ рдХреБрдЫ рдкреНрд░рдХрд╛рд╢ рднреЗрдЬ рд╕рдХрддрд╛ рд╣реИ?

рд╢реБрдХреНрд░рд┐рдпрд╛!

рдореЗрд░реА рд╕рдорд╕реНрдпрд╛ рд╣рд▓ рд╣реЛ рдЧрдИ рд╣реИ рдФрд░ рд╡рд╛рд╕реНрддрд╡ рдореЗрдВ рдпрд╣ рдПрдХ рдмрдЧ рдирд╣реАрдВ рд╣реИ, рдРрд╕рд╛ рдЗрд╕рд▓рд┐рдП рд╣реИ рдХреНрдпреЛрдВрдХрд┐ рдПрдкрд┐рд╕рд░реНрд╡рд░ рдХрд┐рд╕реА рдХрд╛рд░рдг рд╕реЗ рд╢реБрд░реВ рдХрд░рдиреЗ рдореЗрдВ рд╡рд┐рдлрд▓ рд░рд╣рд╛ рд╣реИред

"рдПрдкрд┐рд╕реЗрд╡рд░ рдХрд┐рд╕реА рдХрд╛рд░рдг рд╕реЗ рд╢реБрд░реВ рдХрд░рдиреЗ рдореЗрдВ рд╡рд┐рдлрд▓ рд░рд╣рд╛"? рдХреНрдпрд╛ рдЖрдк рдХреБрдЫ рд╡рд┐рд╡рд░рдг рджреЗ рд╕рдХрддреЗ рд╣реИрдВ ??

рдореИрдВрдиреЗ рдХрдИ рджрд┐рди рдкрд╣рд▓реЗ рдЕрдкрдиреА рд╕рдорд╕реНрдпрд╛ рдХрд╛ рд╕рдорд╛рдзрд╛рди рдХрд┐рдпрд╛ред 1.11.4 -> 1.12.3 рд╕реЗ рдЕрдкрдбреЗрдЯ рдХрд░реЗрдВред рдореБрдЭреЗ рдорд┐рд▓ рдЧрдпрд╛ рд╣реИ:

  1. api-server - рдЕрдкрдиреЗ рд╕реНрд╡рдпрдВ рдХреЗ рдиреЗрдЯрд╡рд░реНрдХ рдХреЗ рд╕рд╛рде рдПрдХ рд╡рд┐рд╢рд┐рд╖реНрдЯ рд╡рд░реНрдЪреБрдЕрд▓ рдЗрдВрдЯрд░рдлрд╝реЗрд╕ рдореЗрдВ рдЪрд▓ рд░рд╣рд╛ рд╣реИред ( рдирдВрдЧреЗ рдзрд╛рддреБ )ред
    kubeadm init/join рдХреЗ рдмрд╛рдж рдзреНрд╡рдЬ apiserver-advertise-address рдпрд╣ рд╡рд┐рд╢рд┐рд╖реНрдЯ рдЗрдВрдЯрд░рдлрд╝реЗрд╕ рдкрд░ рд╢реБрд░реВ рд╣реБрдЖ, рд▓реЗрдХрд┐рди рд╕реЗрдЯрд┐рдВрдЧреНрд╕/рд╕реНрд╡рд╛рд╕реНрдереНрдп рдЬрд╛рдВрдЪ рд╡рд╛рд▓реЗ рдкреИрдХреЗрдЬ рд░реВрдЯрд┐рдВрдЧ рдЯреЗрдмрд▓ (рдбрд┐рдлрд╝реЙрд▓реНрдЯ рдЗрдВрдЯрд░рдлрд╝реЗрд╕) рдХреЗ рдорд╛рдирдХ рдорд╛рд░реНрдЧ рд╕реЗ рдЪрд▓рддреЗ рд╣реИрдВред рд╡рд░реНрдЪреБрдЕрд▓ рдЗрдВрдЯрд░рдлрд╝реЗрд╕ рдХреЗ IP рд╕реЗ рдмрд╛рдЗрдВрдб рдХреЗ рд╕рд╛рде /etc/kubernetes/manifests/kube-apiserver.yaml рдкреИрд░рд╛рдореАрдЯрд░ bind-address рдореЗрдВ рдорджрдж рдХреАред
  2. flannel - controller , scheduler рдкреЙрдб рдмрдирд╛рдиреЗ рдХреЗ рдмрд╛рдж рдиреЗрдЯрд╡рд░реНрдХ рдХреЗ рд╕рд╛рде рднреА рдпрд╣реА рд╕реНрдерд┐рддрд┐ред рдПрдкреАрдЖрдИ рд╕рд░реНрд╡рд░ 10.96.0.1:443 рдХреНрд▓рд╕реНрдЯрд░рдЖрдИрдкреА рдореЗрдВ connection refused рдХрд╛рд░рдг DNS рдкрд░рд┐рдирд┐рдпреЛрдЬрди рд╡рд┐рдлрд▓ рд░рд╣рд╛ред (рдбрд┐рдлрд╝реЙрд▓реНрдЯ рд░реВрдЯрд┐рдВрдЧ рдЯреЗрдмрд▓) рдореИрдВрдиреЗ рд╡рд░реНрдЪреБрдЕрд▓ рдЗрдВрдЯрд░рдлреЗрд╕ рдХреЗ рдЖрдИрдкреА рдХреЗ рд╕рд╛рде node-ip рдлреНрд▓реИрдЧ --node-ip рдореЗрдВ /etc/systemd/system/kubelet.service.d/10-kubeadm.conf рджреНрд╡рд╛рд░рд╛ рдХреНрд▓рд╕реНрдЯрд░ рдиреЛрдб рдХрд╛ рдирд┐рд░реНрджрд┐рд╖реНрдЯ рдХрд┐рдпрд╛ред

рдЗрд╕рдХреЗ рдмрд╛рдж рдореБрдЭреЗ рд╕рдВрд╕реНрдХрд░рдг 1.12.3 рдХреЗ рд╕рд╛рде рддреИрдпрд╛рд░ рдиреЛрдб рдорд┐рд▓ рдЧрдпрд╛ рд╣реИред рд╕рдмрд╕реЗ рдЙрдкрдпреЛрдЧреА рдЬрд╛рдирдХрд╛рд░реА docker logs + kubectl logs

v1.13.0 . рдХреЗ рд╕рд╛рде рдпрд╣рд╛рдБ рдПрдХ рд╣реА рд╕рдорд╕реНрдпрд╛

Kubernetes v1.13.0 . рдХреЗ рд╕рд╛рде рдпрд╣рд╛рдБ рднреА рдпрд╣реА рд╕рдорд╕реНрдпрд╛ рд╣реИ
рд╕реЗрдВрдЯреЛрд╕ 7
рдбреЙрдХрд░-рд╕реАрдИ 18.06 (рдирд╡реАрдирддрдо рдорд╛рдиреНрдп рд╕рдВрд╕реНрдХрд░рдг)
рдбреЙрдХрд░реНрдб: рд╕рдХреНрд░рд┐рдп, рдЪрд▓ рд░рд╣рд╛ рд╣реИ
рдХреНрдпреВрдмрд▓реЗрдЯ: рд╕рдХреНрд░рд┐рдп, рдЪрд▓ рд░рд╣рд╛
рд╕реЗрд▓рд┐рдирдХреНрд╕: рдЕрдХреНрд╖рдо
рдлрд╛рдпрд░рд╡реЙрд▓: рдЕрдХреНрд╖рдо

рддреНрд░реБрдЯрд┐ рд╣реИ:
kubelet[98023]: E1212 21:10:01.708004 98023 kubelet.go:2266] node "node1" not found
/etc/hosts рдореЗрдВ рдиреЛрдб рд╣реЛрддрд╛ рд╣реИ, рдпрд╣ рдкрд┐рдВрдЧреЗрдмрд▓ рд╣реИ, рдпрд╣ рдкрд╣реБрдВрдЪ рдпреЛрдЧреНрдп рд╣реИ - рд╡рд╛рд╕реНрддрд╡ рдореЗрдВ рд╕рд┐рдВрдЧрд▓-рдорд╛рд╕реНрдЯрд░ рд╕рд┐рдВрдЧрд▓-рд╡рд░реНрдХрд░ (рдпрд╛рдиреА рджрд╛рдЧреА рдиреЛрдб) рдХрд░ рд░рд╣рд╛ рд╣реИред

K8S рдЗрд╕ рдорд╛рди рдХреА рддрд▓рд╛рд╢ рдХрд╣рд╛рдБ рдХрд░рддрд╛ рд╣реИ? /etc/рдореЗрдЬрдмрд╛рди рдореЗрдВ?
рдпрджрд┐ рдЖрд╡рд╢реНрдпрдХ рд╣реЛ рддреЛ рдореИрдВ рд╕рдорд╕реНрдпрд╛ рдирд┐рд╡рд╛рд░рдг рдФрд░ рдЕрдзрд┐рдХ рд╕рдмреВрдд рдкреНрд░рджрд╛рди рдХрд░ рд╕рдХрддрд╛ рд╣реВрдВред

--> рдХреНрдпрд╛ рдХреБрдмреЗрджрдо рдЗрдирд┐рдЯ рдЦрддреНрдо рд╣реЛрддрд╛ рд╣реИ рдФрд░ рдХреНрдпрд╛ рдпрд╣ рдмреВрд╕реНрдЯреНрд░реИрдк рдЯреЛрдХрди рдкреНрд░рд┐рдВрдЯ рдХрд░рддрд╛ рд╣реИ?
рдпрд╣ рдПрдХ рд▓рдВрдмреА рддреНрд░реБрдЯрд┐ рдХреЗ рд╕рд╛рде рд╕рдорд╛рдкреНрдд рд╣реЛрддрд╛ рд╣реИ:

[certs] Generating "etcd/server" certificate and key
[certs] etcd/server serving cert is signed for DNS names [node1 localhost] and IPs [10.10.128.186 127.0.0.1 ::1]
[certs] Generating "etcd/peer" certificate and key
[certs] etcd/peer serving cert is signed for DNS names [node1 localhost] and IPs [10.10.128.186 127.0.0.1 ::1]
[certs] Generating "etcd/healthcheck-client" certificate and key
[certs] Generating "apiserver-etcd-client" certificate and key
[certs] Generating "sa" key and public key
[kubeconfig] Using kubeconfig folder "/etc/kubernetes"
[kubeconfig] Writing "admin.conf" kubeconfig file
[kubeconfig] Writing "kubelet.conf" kubeconfig file
[kubeconfig] Writing "controller-manager.conf" kubeconfig file
[kubeconfig] Writing "scheduler.conf" kubeconfig file
[control-plane] Using manifest folder "/etc/kubernetes/manifests"
[control-plane] Creating static Pod manifest for "kube-apiserver"
[control-plane] Creating static Pod manifest for "kube-controller-manager"
[control-plane] Creating static Pod manifest for "kube-scheduler"
[etcd] Creating static Pod manifest for local etcd in "/etc/kubernetes/manifests"
[wait-control-plane] Waiting for the kubelet to boot up the control plane as static Pods from directory "/etc/kubernetes/manifests". This can take up to 4m0s
[kubelet-check] Initial timeout of 40s passed.

Unfortunately, an error has occurred:
        timed out waiting for the condition

This error is likely caused by:
        - The kubelet is not running
        - The kubelet is unhealthy due to a misconfiguration of the node in some way (required cgroups disabled)

If you are on a systemd-powered system, you can try to troubleshoot the error with the following commands:
        - 'systemctl status kubelet'
        - 'journalctl -xeu kubelet'

Additionally, a control plane component may have crashed or exited when started by the container runtime.
To troubleshoot, list all containers using your preferred container runtimes CLI, e.g. docker.
Here is one example how you may list all Kubernetes containers running in docker:
        - 'docker ps -a | grep kube | grep -v pause'
        Once you have found the failing container, you can inspect its logs with:
        - 'docker logs CONTAINERID'
error execution phase wait-control-plane: couldn't initialize a Kubernetes cluster

рдиреЛрдЯ: рдЯрд╛рдЗрдордЖрдЙрдЯ рдХреЗ рдмрд╛рдж рд╕реБрдЭрд╛рдП рдЧрдП рдХрд┐рд╕реА рднреА рдЖрджреЗрд╢ рдиреЗ рдпрд╣рд╛рдВ рдЙрд▓реНрд▓реЗрдЦ рдХрд░рдиреЗ рд▓рд╛рдпрдХ рдХреБрдЫ рднреА рдирд╣реАрдВ рдмрддрд╛рдпрд╛ред

рдХреНрдпреВрдмрд▓реЗрдЯ рдФрд░ рдХреБрдмреЗрджрдо рд╕рдВрд╕реНрдХрд░рдг?
---> 1.13.0
kubeadm рд╕рдВрд╕реНрдХрд░рдг: рдФрд░ version.Info {рдореЗрдЬрд░: "1", рдорд╛рдЗрдирд░: "13", GitVersion: "v1.13.0", GitCommit: "ddf47ac13c1a9483ea035a79cd7c10005ff21a6d", GitTreeState: "рдХреНрд▓реАрди", рдмрд┐рд▓реНрдбрдбреЗрдЯ: "2018-12-03T21:02: 01Z", GoVersion: "go1.11.2", рдХрдВрдкрд╛рдЗрд▓рд░: "gc", рдкреНрд▓реЗрдЯрдлрд╝реЙрд░реНрдо: "linux/amd64"}

рд╕рд╛рде рд╣реА, рдХреНрдпреВрдм рд▓реЙрдЧ рдореЗрдВ рдереЛрдбрд╝реА рдЕрдзрд┐рдХ рд╕реНрдкрд╖реНрдЯрддрд╛/рд╡рд░реНрдмреЛрд╕рд┐рдЯреА рдХреЗ рд╕рд╛рде "рдиреЛрдб рдирд╣реАрдВ рдорд┐рд▓рд╛" рд╕реЗ рдмреЗрд╣рддрд░ рддреНрд░реБрдЯрд┐ рд╕рдВрджреЗрд╢ рд╕реЗрдЯ рдирд╣реАрдВ рдХрд░рдирд╛ рдЪрд╛рд╣рд┐рдП?

рдзрдиреНрдпрд╡рд╛рдж

рд╡рд╣реА рдореБрджреНрджрд╛...

$ systemctl status kubelet
тЧП kubelet.service - kubelet: The Kubernetes Node Agent
   Loaded: loaded (/lib/systemd/system/kubelet.service; enabled; vendor preset: enabled)
  Drop-In: /etc/systemd/system/kubelet.service.d
           тФФтФА10-kubeadm.conf
   Active: active (running) since Fri 2018-12-14 19:05:47 UTC; 2min 2s ago
     Docs: https://kubernetes.io/docs/home/
 Main PID: 9114 (kubelet)
    Tasks: 23 (limit: 4915)
   CGroup: /system.slice/kubelet.service
           тФФтФА9114 /usr/bin/kubelet --bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf --config=/var/lib/kubelet/config.yaml --cgroup-d

Dec 14 19:07:49 pineview kubelet[9114]: E1214 19:07:49.862262    9114 kuberuntime_manager.go:657] createPodSandbox for pod "kube-scheduler-pineview_kube-system(7f99b6875de942b000954351c4a
Dec 14 19:07:49 pineview kubelet[9114]: E1214 19:07:49.862381    9114 pod_workers.go:186] Error syncing pod 7f99b6875de942b000954351c4ac09b5 ("kube-scheduler-pineview_kube-system(7f99b687
Dec 14 19:07:49 pineview kubelet[9114]: E1214 19:07:49.906855    9114 remote_runtime.go:96] RunPodSandbox from runtime service failed: rpc error: code = Unknown desc = failed to start san
Dec 14 19:07:49 pineview kubelet[9114]: E1214 19:07:49.906944    9114 kuberuntime_sandbox.go:65] CreatePodSandbox for pod "etcd-pineview_kube-system(b7841e48f3e7b81c3cda6872104ba3de)" fai
Dec 14 19:07:49 pineview kubelet[9114]: E1214 19:07:49.906981    9114 kuberuntime_manager.go:657] createPodSandbox for pod "etcd-pineview_kube-system(b7841e48f3e7b81c3cda6872104ba3de)" fa
Dec 14 19:07:49 pineview kubelet[9114]: E1214 19:07:49.907100    9114 pod_workers.go:186] Error syncing pod b7841e48f3e7b81c3cda6872104ba3de ("etcd-pineview_kube-system(b7841e48f3e7b81c3c
Dec 14 19:07:49 pineview kubelet[9114]: E1214 19:07:49.933627    9114 kubelet.go:2236] node "pineview" not found
Dec 14 19:07:50 pineview kubelet[9114]: E1214 19:07:50.033880    9114 kubelet.go:2236] node "pineview" not found
Dec 14 19:07:50 pineview kubelet[9114]: E1214 19:07:50.134064    9114 kubelet.go:2236] node "pineview" not found
Dec 14 19:07:50 pineview kubelet[9114]: E1214 19:07:50.184943    9114 event.go:212] Unable to write event: 'Post https://192.168.1.235:6443/api/v1/namespaces/default/events: dial tcp 192.

рд╡рд╣реА рдореБрджреНрджрд╛:

рдЙрдмрдВрдЯреВ резрео.режрек.рез рдПрд▓рдЯреАрдПрд╕
Kubernetes v1.13.1 (cri-o 1.11 рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ)

Kubernetes.io рдкрд░ рдЗрдВрд╕реНрдЯреЙрд▓реЗрд╢рди рдирд┐рд░реНрджреЗрд╢реЛрдВ рдХрд╛ рдкрд╛рд▓рди рдХрд┐рдпрд╛:
https://kubernetes.io/docs/setup/inрдирд┐рд░реНрднрд░/install-kubeadm/
https://kubernetes.io/docs/setup/cri/#cri -o

systemctl enable kubelet.service
kubeadm init --pod-network-cidr=192.168.0.0/16 --cri-socket=/var/run/crio/crio.sock

/etc/hosts

127.0.0.1       localhost
::1             localhost ip6-localhost ip6-loopback
ff02::1         ip6-allnodes
ff02::2         ip6-allrouters

127.0.1.1       master01.mydomain.tld master01
::1             master01.mydomain.tld master01

/etc/hostname


systemctl status kubelet

тЧП kubelet.service - kubelet: The Kubernetes Node Agent
   Loaded: loaded (/lib/systemd/system/kubelet.service; enabled; vendor preset: enabled)
  Drop-In: /etc/systemd/system/kubelet.service.d
           тФФтФА10-kubeadm.conf
   Active: active (running) since Tue 2018-12-18 16:19:54 CET; 20min ago
     Docs: https://kubernetes.io/docs/home/
 Main PID: 10148 (kubelet)
    Tasks: 21 (limit: 2173)
   CGroup: /system.slice/kubelet.service
           тФФтФА10148 /usr/bin/kubelet --bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf --config=/var/lib/kubelet/config.yaml --container-runtime=remote --container-runtime-endpoint=/var/run/crio/crio.sock --resolv-conf=/run/systemd/resolve/resolv.conf

Dec 18 16:40:52 master01 kubelet[10148]: E1218 16:40:52.795313   10148 kubelet.go:2266] node "master01" not found
Dec 18 16:40:52 master01 kubelet[10148]: E1218 16:40:52.896277   10148 kubelet.go:2266] node "master01" not found
Dec 18 16:40:52 master01 kubelet[10148]: E1218 16:40:52.997864   10148 kubelet.go:2266] node "master01" not found
Dec 18 16:40:53 master01 kubelet[10148]: E1218 16:40:53.098927   10148 kubelet.go:2266] node "master01" not found
Dec 18 16:40:53 master01 kubelet[10148]: E1218 16:40:53.200355   10148 kubelet.go:2266] node "master01" not found
Dec 18 16:40:53 master01 kubelet[10148]: E1218 16:40:53.281586   10148 reflector.go:134] k8s.io/kubernetes/pkg/kubelet/config/apiserver.go:47: Failed to list *v1.Pod: Get https://192.168.178.27:6443/api/v1/pods?fieldSelector=spec.nodeName%3Dmaster01limit=500&resourceVersion=0: dial tcp 192.168.178.27:6443: connect: connection refused
Dec 18 16:40:53 master01 kubelet[10148]: E1218 16:40:53.282143   10148 reflector.go:134] k8s.io/kubernetes/pkg/kubelet/kubelet.go:444: Failed to list *v1.Service: Get https://192.168.178.27:6443/api/v1/services?limit=500&resourceVersion=0: dial tcp 192.168.178.27:6443: connect: connection refused
Dec 18 16:40:53 master01 kubelet[10148]: E1218 16:40:53.283945   10148 reflector.go:134] k8s.io/kubernetes/pkg/kubelet/kubelet.go:453: Failed to list *v1.Node: Get https://192.168.178.27:6443/api/v1/nodes?fieldSelector=metadata.name%3Dmaster01limit=500&resourceVersion=0: dial tcp 192.168.178.27:6443: connect: connection refused
Dec 18 16:40:53 master01 kubelet[10148]: E1218 16:40:53.301468   10148 kubelet.go:2266] node "master01" not found
Dec 18 16:40:53 master01 kubelet[10148]: E1218 16:40:53.402256   10148 kubelet.go:2266] node "master01" not found

@fhemberger рдореИрдВрдиреЗ рдЕрдкрдиреА рд╕рдорд╕реНрдпрд╛ рдХрд╛ рдкрддрд╛ рд▓рдЧрд╛ рд▓рд┐рдпрд╛ред рдпрд╣ рдбреЙрдХрд░ рдХреЛ рд╕реНрдерд╛рдкрд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП snap рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░ рд░рд╣рд╛ рдерд╛ред рдЕрдЧрд░ рдореИрдВрдиреЗ рдЗрд╕реЗ рдЕрдирдЗрдВрд╕реНрдЯреЙрд▓ рдХрд┐рдпрд╛ рдФрд░ apt рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдкреБрдирдГ рдЗрдВрд╕реНрдЯреЙрд▓ рдХрд┐рдпрд╛, рддреЛ рдХреБрдмреЗрджрдо рдиреЗ рдареАрдХ рдХрд╛рдо рдХрд┐рдпрд╛ред

@cjbottaro рдореИрдВ рдбреЙрдХрд░ рдХрд╛ рдЙрдкрдпреЛрдЧ рдмрд┐рд▓реНрдХреБрд▓ рдирд╣реАрдВ рдХрд░рддрд╛ рд▓реЗрдХрд┐рди cri-oред

v1.13.1 . рдХреЗ рд╕рд╛рде рдпрд╣рд╛рдБ рдПрдХ рд╣реА рд╕рдорд╕реНрдпрд╛

рдпрджрд┐ рдЖрдк systemd рдФрд░ cri-o рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░ рд░рд╣реЗ рд╣реИрдВ, рддреЛ рдЗрд╕реЗ /var/lib/kubelet/config.yaml рдореЗрдВ cgroup рдбреНрд░рд╛рдЗрд╡рд░ рдХреЗ рд░реВрдк рдореЗрдВ рд╕реЗрдЯ рдХрд░рдирд╛ рд╕реБрдирд┐рд╢реНрдЪрд┐рдд рдХрд░реЗрдВ (рдпрд╛ рдиреАрдЪреЗ рджрд┐рдП рдЧрдП рд╕реНрдирд┐рдкреЗрдЯ рдХреЛ kubeadm init --config=config.yaml рд╣рд┐рд╕реНрд╕реЗ рдХреЗ рд░реВрдк рдореЗрдВ рдкрд╛рд╕ рдХрд░реЗрдВ)ред

apiVersion: kubelet.config.k8s.io/v1beta1
kind: KubeletConfiguration
cgroupDriver: systemd

рдпрджрд┐ рдЖрдк рдЗрд╕реЗ рдЕрдкрдиреЗ рдХреНрдпреВрдмрд▓реЗрдЯ рд▓реЙрдЧ рдореЗрдВ рджреЗрдЦрддреЗ рд╣реИрдВ:

remote_runtime.go:96] RunPodSandbox from runtime service failed: rpc error: code = Unknown desc = cri-o configured with systemd cgroup manager, but did not receive slice as parent: /kubepods/besteffort/тАж

рдореИрдВ рдЖрдЬ рдЙрд╕реА рдореБрджреНрджреЗ рд╕реЗ рдорд┐рд▓рд╛ред

рдореИрдВрдиреЗ рдЗрд╕реЗ rm -rf /var/lib/kubelet/ рдХреЛ рд╣рдЯрд╛рдХрд░ рдФрд░ рдкреБрдирдГ рд╕реНрдерд╛рдкрд┐рдд рдХрд░рдХреЗ рдареАрдХ рдХрд┐рдпрд╛ рд╣реИ

@JishanXing рдзрдиреНрдпрд╡рд╛рдж! рдЗрд╕рдиреЗ рд░рд╛рд╕реНрдкрд┐рдпрди рд╕реНрдХреЗрдЪ рд▓рд╛рдЗрдЯ рдкрд░ рдЪрд▓рдиреЗ рдХреЗ рд▓рд┐рдП рдореЗрд░реА рд╕рдорд╕реНрдпрд╛ рдХрд╛ рднреА рд╕рдорд╛рдзрд╛рди рдХрд┐рдпрд╛

рдореИрдВрдиреЗ рдЗрд╕реЗ /etc/systemd/system/kubelet.service.d/20-etcd-service-manager.conf рдХреЛ рд╣рдЯрд╛рдХрд░ рдареАрдХ рдХрд┐рдпрд╛

kubeadm reset рдХрдорд╛рдВрдб рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛ рдмреЗрд╣рддрд░ рд╣реЛрдЧрд╛ред

@fhemberger рдЗрд╕реЗ рдХреИрд╕реЗ рд╣рд▓ рдХрд░реЗрдВ рд╡рд╣реА рд╕рд╡рд╛рд▓, рдзрдиреНрдпрд╡рд╛рдж

рдореИрдВ рдЙрд╕реА рдореБрджреНрджреЗ рд╕реЗ рдорд┐рд▓рд╛ рдЬрдм рдореИрдВ k8s рдХреЛ 1.13.3 рд╕реЗ 1.13.4 рдореЗрдВ рдЕрдкрдЧреНрд░реЗрдб рдХрд░рддрд╛ рд╣реВрдВ ...
/etc/kubernetes/manifests/kube-scheduler.yaml рд╕рдВрдкрд╛рджрд┐рдд рдХрд░рдиреЗ рдХреЗ рдмрд╛рдж рдореИрдВ рдЗрд╕реЗ рд╣рд▓ рдХрд░рддрд╛ рд╣реВрдВред рдЫрд╡рд┐ рд╕рдВрд╕реНрдХрд░рдг рдХреЛ рд╕рдВрд╢реЛрдзрд┐рдд рдХрд░реЗрдВ
image: k8s.gcr.io/kube-scheduler:v1.13.3 ==> image: k8s.gcr.io/kube-scheduler:v1.13.4
kube-controller-manager.yaml рдФрд░ kube-apiserver.yaml рдХреЗ рд╕рдорд╛рдиред

рдирд╡реАрдирддрдо рддрд░реАрдХрд╛ рд╣реИ рдРрдб рдСрдкреНрд╢рди --image-repository рд░рдЬрд┐рд╕реНрдЯреНрд░реА .aliyuncs.com/google_containers , рдореЗрд░рд╛ k8s verion 1.14.0 рд╣реИ, docker рд╕рдВрд╕реНрдХрд░рдг: 18.09.2,
` kubeadm init --image-repository рд░рдЬрд┐рд╕реНрдЯреНрд░реА.aliyuncs.com/google_containers --kubernetes-version v1.14.0 --pod-network-cidr=192.168.0.0/16
[init] Kubernetes рд╕рдВрд╕реНрдХрд░рдг рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛: v1.14.0
[рдкреНрд░реАрдлреНрд▓рд╛рдЗрдЯ] рдкреНрд░реА-рдлреНрд▓рд╛рдЗрдЯ рдЪреЗрдХ рдЪрд▓ рд░рд╣рд╛ рд╣реИ
[рдЪреЗрддрд╛рд╡рдиреА IsDockerSystemdCheck]: "cgroupfs" рдХреЛ Docker cgroup рдбреНрд░рд╛рдЗрд╡рд░ рдХреЗ рд░реВрдк рдореЗрдВ рдкрд╛рдпрд╛ рдЧрдпрд╛ред рдЕрдиреБрд╢рдВрд╕рд┐рдд рдбреНрд░рд╛рдЗрд╡рд░ "systemd" рд╣реИред рдХреГрдкрдпрд╛ https://kubernetes.io/docs/setup/cri/ рдкрд░ рдЧрд╛рдЗрдб рдХрд╛ рдкрд╛рд▓рди
[рдкреНрд░реАрдлреНрд▓рд╛рдЗрдЯ] рдХреБрдмреЗрд░рдиреЗрдЯреНрд╕ рдХреНрд▓рд╕реНрдЯрд░ рд╕реНрдерд╛рдкрд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдЖрд╡рд╢реНрдпрдХ рдЫрд╡рд┐рдпреЛрдВ рдХреЛ рдЦреАрдВрдЪрдирд╛
[рдкреВрд░реНрд╡ рдЙрдбрд╝рд╛рди] рдЖрдкрдХреЗ рдЗрдВрдЯрд░рдиреЗрдЯ рдХрдиреЗрдХреНрд╢рди рдХреА рдЧрддрд┐ рдХреЗ рдЖрдзрд╛рд░ рдкрд░ рдЗрд╕рдореЗрдВ рдПрдХ рдпрд╛ рджреЛ рдорд┐рдирдЯ рд▓рдЧ рд╕рдХрддреЗ рд╣реИрдВ
[preflight] рдЖрдк 'kubeadm config images pull' рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдкрд╣рд▓реЗ рд╕реЗ рднреА рдпрд╣ рдХреНрд░рд┐рдпрд╛ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ
[рдХреНрдпреВрдмрд▓реЗрдЯ-рд╕реНрдЯрд╛рд░реНрдЯ] рдлрд╛рдЗрд▓ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдЭрдВрдбреЗ рдХреЗ рд╕рд╛рде рдХреНрдпреВрдмрд▓реЗрдЯ рдкрд░реНрдпрд╛рд╡рд░рдг рдлрд╝рд╛рдЗрд▓ рд▓рд┐рдЦрдирд╛ "/var/lib/kubelet/kubeadm-flags.env"
[рдХреНрдпреВрдмрд▓реЗрдЯ-рд╕реНрдЯрд╛рд░реНрдЯ] рдлрд╛рдЗрд▓ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдХреНрдпреВрдмрд▓реЗрдЯ рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди рд▓рд┐рдЦрдирд╛ "/var/lib/kubelet/config.yaml"
[рдХреНрдпреВрдмрд▓реЗрдЯ-рд╕реНрдЯрд╛рд░реНрдЯ] рдХреНрдпреВрдмрд▓реЗрдЯ рд╕реЗрд╡рд╛ рдХреЛ рд╕рдХреНрд░рд┐рдп рдХрд░рдирд╛
[рд╕реАрд░реНрдЯреНрд╕] рд╕рд░реНрдЯрд┐рдлрд┐рдХреЗрдЯ рдбреАрдЖрдИрдЖрд░ рдлреЛрд▓реНрдбрд░ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛ "/ etc/kubernetes/pki"
[рд╕реАрд░реНрдЯреНрд╕] "рдлреНрд░рдВрдЯ-рдкреНрд░реЙрдХреНрд╕реА-рд╕реАрдП" рдкреНрд░рдорд╛рдгрдкрддреНрд░ рдФрд░ рдХреБрдВрдЬреА рдЙрддреНрдкрдиреНрди рдХрд░рдирд╛
[рд╕реАрд░реНрдЯреНрд╕] "рдлреНрд░рдВрдЯ-рдкреНрд░реЙрдХреНрд╕реА-рдХреНрд▓рд╛рдЗрдВрдЯ" рдкреНрд░рдорд╛рдгрдкрддреНрд░ рдФрд░ рдХреБрдВрдЬреА рдЙрддреНрдкрдиреНрди рдХрд░рдирд╛
[рд╕реАрд░реНрдЯреНрд╕] "рд╕реАрдП" рдкреНрд░рдорд╛рдгрдкрддреНрд░ рдФрд░ рдХреБрдВрдЬреА рдЙрддреНрдкрдиреНрди рдХрд░рдирд╛
[рд╕реАрд░реНрдЯреНрд╕] "рдПрдкрд┐рд╕рд░реНрд╡рд░" рдкреНрд░рдорд╛рдгрдкрддреНрд░ рдФрд░ рдХреБрдВрдЬреА рдЙрддреНрдкрдиреНрди рдХрд░рдирд╛
[рд╕реАрд░реНрдЯреНрд╕] рдбреАрдПрдирдПрд╕ рдирд╛рдореЛрдВ рдХреЗ рд▓рд┐рдП рдПрдкрд┐рд╕рд░реНрд╡рд░ рд╕рд░реНрд╡рд┐рдВрдЧ рд╕рд░реНрдЯрд┐рдлрд┐рдХреЗрдЯ рдкрд░ рд╣рд╕реНрддрд╛рдХреНрд╖рд░ рдХрд┐рдП рдЧрдП рд╣реИрдВ [рдЬрд┐рди-рд╡рд░реНрдЪреБрдЕрд▓-рдорд╢реАрди рдХреБрдмреЗрд░рдиреЗрдЯреНрд╕ рдХреБрдмреЗрд░рдиреЗрдЯреНрд╕ред
[рд╕реАрд░реНрдЯреНрд╕] "рдПрдкрд┐рд╕рд░реНрд╡рд░-рдХреНрдпреВрдмрд▓реЗрдЯ-рдХреНрд▓рд╛рдЗрдВрдЯ" рдкреНрд░рдорд╛рдгрдкрддреНрд░ рдФрд░ рдХреБрдВрдЬреА рдЙрддреНрдкрдиреНрди рдХрд░рдирд╛
[рд╕реАрд░реНрдЯреНрд╕] "etcd/ca" рдкреНрд░рдорд╛рдгрдкрддреНрд░ рдФрд░ рдХреБрдВрдЬреА рдмрдирд╛рдирд╛
[рд╕реАрд░реНрдЯреНрд╕] "рдЖрджрд┐/рд╕рд░реНрд╡рд░" рдкреНрд░рдорд╛рдгрдкрддреНрд░ рдФрд░ рдХреБрдВрдЬреА рдЙрддреНрдкрдиреНрди рдХрд░рдирд╛
[рд╕реАрд░реНрдЯреНрд╕] рдЖрджрд┐/рд╕рд░реНрд╡рд░ рд╕рд░реНрд╡рд┐рдВрдЧ рд╕рд░реНрдЯрд┐рдлрд┐рдХреЗрдЯ рдбреАрдПрдирдПрд╕ рдирд╛рдореЛрдВ [рдЬрд┐рди-рд╡рд░реНрдЪреБрдЕрд▓-рдорд╢реАрди рд▓реЛрдХрд▓рд╣реЛрд╕реНрдЯ] рдФрд░ рдЖрдИрдкреА [резрепреи.резремрео.реирейреи.резрейреж резреирен.реж.реж.рез ::рез] рдХреЗ рд▓рд┐рдП рд╣рд╕реНрддрд╛рдХреНрд╖рд░рд┐рдд рд╣реИред
[рд╕реАрд░реНрдЯреНрд╕] "рдЖрджрд┐/рд╕рд╣рдХрд░реНрдореА" рдкреНрд░рдорд╛рдгрдкрддреНрд░ рдФрд░ рдХреБрдВрдЬреА рдмрдирд╛рдирд╛
[рд╕реАрд░реНрдЯреНрд╕] рдЖрджрд┐/рдкреАрдпрд░ рд╕рд░реНрд╡рд┐рдВрдЧ рд╕рд░реНрдЯрд┐рдлрд┐рдХреЗрдЯ рдбреАрдПрдирдПрд╕ рдирд╛рдореЛрдВ [рдЬрд┐рди-рд╡рд░реНрдЪреБрдЕрд▓-рдорд╢реАрди рд▓реЛрдХрд▓рд╣реЛрд╕реНрдЯ] рдФрд░ рдЖрдИрдкреА [резрепреи.резремрео.реирейреи.резрейреж резреирен.реж.реж.рез ::рез] рдХреЗ рд▓рд┐рдП рд╣рд╕реНрддрд╛рдХреНрд╖рд░рд┐рдд рд╣реИред
[рд╕реАрд░реНрдЯреНрд╕] "рдПрдкрд┐рд╕рд░реНрд╡рд░-рдЖрджрд┐-рдХреНрд▓рд╛рдЗрдВрдЯ" рдкреНрд░рдорд╛рдгрдкрддреНрд░ рдФрд░ рдХреБрдВрдЬреА рдмрдирд╛рдирд╛
[рд╕реАрд░реНрдЯреНрд╕] "рдЖрджрд┐/рд╕реНрд╡рд╛рд╕реНрдереНрдп рдЬрд╛рдВрдЪ-рдХреНрд▓рд╛рдЗрдВрдЯ" рдкреНрд░рдорд╛рдгрдкрддреНрд░ рдФрд░ рдХреБрдВрдЬреА рдЙрддреНрдкрдиреНрди рдХрд░рдирд╛
[рд╕рд░реНрдЯ] "рд╕рд╛" рдХреБрдВрдЬреА рдФрд░ рд╕рд╛рд░реНрд╡рдЬрдирд┐рдХ рдХреБрдВрдЬреА рдЙрддреНрдкрдиреНрди рдХрд░рдирд╛
[kubeconfig] kubeconfig рдлрд╝реЛрд▓реНрдбрд░ "/etc/kubernetes" рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛
[kubeconfig] "admin.conf" рд▓рд┐рдЦрдирд╛ kubeconfig рдлрд╝рд╛рдЗрд▓
[kubeconfig] "kubelet.conf" kubeconfig рдлрд╝рд╛рдЗрд▓ рд▓рд┐рдЦрдирд╛
[kubeconfig] "controller-manager.conf" рд▓рд┐рдЦрдирд╛ kubeconfig file
[kubeconfig] "scheduler.conf" рд▓рд┐рдЦрдирд╛ kubeconfig рдлрд╝рд╛рдЗрд▓
[рдХрдВрдЯреНрд░реЛрд▓-рдкреНрд▓реЗрди] рдореЗрдирд┐рдлреЗрд╕реНрдЯ рдлреЛрд▓реНрдбрд░ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛ "/ etc/kubernetes/manifests"
[рдХрдВрдЯреНрд░реЛрд▓-рдкреНрд▓реЗрди] "рдХреНрдпреВрдм-рдПрдкрд┐рд╕рд░реНрд╡рд░" рдХреЗ рд▓рд┐рдП рд╕реНрдЯреИрдЯрд┐рдХ рдкреЙрдб рдореЗрдирд┐рдлреЗрд╕реНрдЯ рдмрдирд╛рдирд╛
[рдХрдВрдЯреНрд░реЛрд▓-рдкреНрд▓реЗрди] "рдХреНрдпреВрдм-рдХрдВрдЯреНрд░реЛрд▓рд░-рдореИрдиреЗрдЬрд░" рдХреЗ рд▓рд┐рдП рд╕реНрдЯреИрдЯрд┐рдХ рдкреЙрдб рдореЗрдирд┐рдлреЗрд╕реНрдЯ рдмрдирд╛рдирд╛
[рдХрдВрдЯреНрд░реЛрд▓-рдкреНрд▓реЗрди] "рдХреНрдпреВрдм-рд╢реЗрдбреНрдпреВрд▓рд░" рдХреЗ рд▓рд┐рдП рд╕реНрдЯреИрдЯрд┐рдХ рдкреЙрдб рдореЗрдирд┐рдлреЗрд╕реНрдЯ рдмрдирд╛рдирд╛
[рдЖрджрд┐] "/ etc / Kubernetes / рдкреНрд░рдХрдЯ" рдореЗрдВ рд╕реНрдерд╛рдиреАрдп etcd рдХреЗ рд▓рд┐рдП рд╕реНрдерд┐рд░ рдкреЙрдб рдореЗрдирд┐рдлреЗрд╕реНрдЯ рдмрдирд╛рдирд╛
[рдкреНрд░рддреАрдХреНрд╖рд╛-рдирд┐рдпрдВрддреНрд░рдг-рд╡рд┐рдорд╛рди] рдХреНрдпреВрдмрд▓реЗрдЯ рдХреЗ рдирд┐рдпрдВрддреНрд░рдг рд╡рд┐рдорд╛рди рдХреЛ рд╕реНрдерд┐рд░ рдкреЙрдбреНрд╕ рдХреЗ рд░реВрдк рдореЗрдВ рдирд┐рд░реНрджреЗрд╢рд┐рдХрд╛ "/ etc/kubernetes/manifests" рд╕реЗ рдмреВрдЯ рдХрд░рдиреЗ рдХреА рдкреНрд░рддреАрдХреНрд╖рд╛ рдХрд░ рд░рд╣рд╛ рд╣реИред рдЗрд╕рдореЗрдВ 4m0s . рддрдХ рдХрд╛ рд╕рдордп рд▓рдЧ рд╕рдХрддрд╛ рд╣реИ
[рдПрдкреНрд▓рд┐рдХреЗрдВрдЯ] резрен.режрежрекрейрелрем рд╕реЗрдХрдВрдб рдХреЗ рдмрд╛рдж рд╕рднреА рдирд┐рдпрдВрддреНрд░рдг рд╡рд┐рдорд╛рди рдШрдЯрдХ рд╕реНрд╡рд╕реНрде рд╣реИрдВ
[рдЕрдкрд▓реЛрдб-рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди] "рдХреНрдпреВрдм-рд╕рд┐рд╕реНрдЯрдо" рдиреЗрдорд╕реНрдкреЗрд╕ рдореЗрдВ рдХреЙрдиреНрдлрд┐рдЧ рдореИрдк "рдХреБрдмреЗрджрдо-рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди" рдореЗрдВ рдкреНрд░рдпреБрдХреНрдд рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди рдХреЛ рд╕рдВрдЧреНрд░рд╣реАрдд рдХрд░рдирд╛
[рдХреНрдпреВрдмрд▓реЗрдЯ] рдХреНрд▓рд╕реНрдЯрд░ рдореЗрдВ рдХреНрдпреВрдмрд▓реЗрдЯ рдХреЗ рд▓рд┐рдП рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди рдХреЗ рд╕рд╛рде рдиреЗрдорд╕реНрдкреЗрд╕ рдХреНрдпреВрдм-рд╕рд┐рд╕реНрдЯрдо рдореЗрдВ рдПрдХ рдХреЙрдиреНрдлрд┐рдЧ рдореИрдк "рдХреНрдпреВрдмрд▓реЗрдЯ-рдХреЙрдиреНрдлрд┐рдЧ-1.14" рдмрдирд╛рдирд╛
[рдЕрдкрд▓реЛрдб-рд╕рд░реНрдЯ] рд▓рдВрдШрди рдЪрд░рдгред рдХреГрдкрдпрд╛ рджреЗрдЦреЗрдВ --рдкреНрд░рд╛рдпреЛрдЧрд┐рдХ-рдЕрдкрд▓реЛрдб-рдкреНрд░рдорд╛рдгрдкрддреНрд░
[рдЪрд┐рд╣реНрди-рдирд┐рдпрдВрддреНрд░рдг-рд╡рд┐рдорд╛рди] "рдиреЛрдб-role.kubernetes.io/master=''" рд▓реЗрдмрд▓ рдЬреЛрдбрд╝рдХрд░ рдиреЛрдб рдЬрд┐рди-рд╡рд░реНрдЪреБрдЕрд▓-рдорд╢реАрди рдХреЛ рдирд┐рдпрдВрддреНрд░рдг-рд╡рд┐рдорд╛рди рдХреЗ рд░реВрдк рдореЗрдВ рдЪрд┐рд╣реНрдирд┐рдд рдХрд░рдирд╛
[рдЪрд┐рд╣реНрди-рдирд┐рдпрдВрддреНрд░рдг-рд╡рд┐рдорд╛рди] рджрд╛рдЧреЛрдВ рдХреЛ рдЬреЛрдбрд╝рдХрд░ рдиреЛрдб рдЬрд┐рди-рд╡рд░реНрдЪреБрдЕрд▓-рдорд╢реАрди рдХреЛ рдирд┐рдпрдВрддреНрд░рдг-рд╡рд┐рдорд╛рди рдХреЗ рд░реВрдк рдореЗрдВ рдЪрд┐рд╣реНрдирд┐рдд рдХрд░рдирд╛ [рдиреЛрдб- role.kubernetes.io/master:NoSchedule ]
[рдмреВрдЯрд╕реНрдЯреНрд░реИрдк-рдЯреЛрдХрди] рдЯреЛрдХрди рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛: xucir0.o4kzo3qqjyjnzphl
[рдмреВрдЯрд╕реНрдЯреНрд░реИрдк-рдЯреЛрдХрди] рдмреВрдЯрд╕реНрдЯреНрд░реИрдк рдЯреЛрдХрди рдХреЛ рдХреЙрдиреНрдлрд╝рд┐рдЧрд░ рдХрд░рдирд╛, рдХреНрд▓рд╕реНрдЯрд░-рдЬрд╛рдирдХрд╛рд░реА рдХреЙрдиреНрдлрд┐рдЧ рдореИрдк, рдЖрд░рдмреАрдПрд╕реА рд░реЛрд▓реНрд╕
[рдмреВрдЯрд╕реНрдЯреНрд░реИрдк-рдЯреЛрдХрди] рдиреЛрдб рдмреВрдЯрд╕реНрдЯреНрд░реИрдк рдЯреЛрдХрди рдХреЛ рд╕реАрдПрд╕рдЖрд░ рдкреЛрд╕реНрдЯ рдХрд░рдиреЗ рдХреА рдЕрдиреБрдорддрд┐ рджреЗрдиреЗ рдХреЗ рд▓рд┐рдП рдЖрд░рдмреАрдПрд╕реА рдирд┐рдпрдореЛрдВ рдХреЛ рдХреЙрдиреНрдлрд╝рд┐рдЧрд░ рдХрд┐рдпрд╛ рдЧрдпрд╛ рддрд╛рдХрд┐ рдиреЛрдбреНрд╕ рдХреЛ рджреАрд░реНрдШрдХрд╛рд▓рд┐рдХ рдкреНрд░рдорд╛рдг рдкрддреНрд░ рдкреНрд░рд╛рдкреНрдд рд╣реЛ рд╕рдХреЗ
[рдмреВрдЯрд╕реНрдЯреНрд░реИрдк-рдЯреЛрдХрди] рд╕реАрдПрд╕рдЖрд░рдкреНрд░реЛрд╡рд░ рдирд┐рдпрдВрддреНрд░рдХ рдХреЛ рдиреЛрдб рдмреВрдЯрд╕реНрдЯреНрд░реИрдк рдЯреЛрдХрди рд╕реЗ рд╕реАрдПрд╕рдЖрд░ рдХреЛ рд╕реНрд╡рдЪрд╛рд▓рд┐рдд рд░реВрдк рд╕реЗ рд╕реНрд╡реАрдХреГрдд рдХрд░рдиреЗ рдХреА рдЕрдиреБрдорддрд┐ рджреЗрдиреЗ рдХреЗ рд▓рд┐рдП рдЖрд░рдмреАрдПрд╕реА рдирд┐рдпрдореЛрдВ рдХреЛ рдХреЙрдиреНрдлрд╝рд┐рдЧрд░ рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИ
[рдмреВрдЯрд╕реНрдЯреНрд░реИрдк-рдЯреЛрдХрди] рдХреНрд▓рд╕реНрдЯрд░ рдореЗрдВ рд╕рднреА рдиреЛрдб рдХреНрд▓рд╛рдЗрдВрдЯ рдкреНрд░рдорд╛рдгрдкрддреНрд░реЛрдВ рдХреЗ рд▓рд┐рдП рдкреНрд░рдорд╛рдгрдкрддреНрд░ рд░реЛрдЯреЗрд╢рди рдХреА рдЕрдиреБрдорддрд┐ рджреЗрдиреЗ рдХреЗ рд▓рд┐рдП RBAC рдирд┐рдпрдореЛрдВ рдХреЛ рдХреЙрдиреНрдлрд╝рд┐рдЧрд░ рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИ
[рдмреВрдЯрд╕реНрдЯреНрд░реИрдк-рдЯреЛрдХрди] "рдХреНрдпреВрдм-рдкрдмреНрд▓рд┐рдХ" рдиреЗрдорд╕реНрдкреЗрд╕ рдореЗрдВ "рдХреНрд▓рд╕реНрдЯрд░-рдЗрдиреНрдлреЛ" рдХреЙрдиреНрдлрд┐рдЧ рдореИрдк рдмрдирд╛рдирд╛
[рдПрдбреЙрдиреНрд╕] рдПрдкреНрд▓рд╛рдЗрдб рдЖрд╡рд╢реНрдпрдХ рдРрдбрдСрди: CoreDNS
[рдПрдбреЙрдиреНрд╕] рдПрдкреНрд▓рд╛рдЗрдб рдПрд╕реЗрдВрд╢рд┐рдпрд▓ рдПрдбрдСрди: рдХреНрдпреВрдм-рдкреНрд░реЙрдХреНрд╕реА

рдЖрдкрдХрд╛ рдХреБрдмреЗрд░рдиреЗрдЯреНрд╕ рдХрдВрдЯреНрд░реЛрд▓-рдкреНрд▓реЗрди рд╕рдлрд▓рддрд╛рдкреВрд░реНрд╡рдХ рдЗрдирд┐рд╢рд┐рдпрд▓рд╛рдЗрдЬрд╝ рд╣реЛ рдЧрдпрд╛ рд╣реИ!

рдЕрдкрдиреЗ рдХреНрд▓рд╕реНрдЯрд░ рдХрд╛ рдЙрдкрдпреЛрдЧ рд╢реБрд░реВ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, рдЖрдкрдХреЛ рдирд┐рдпрдорд┐рдд рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛ рдХреЗ рд░реВрдк рдореЗрдВ рдирд┐рдореНрдирд▓рд┐рдЦрд┐рдд рдХреЛ рдЪрд▓рд╛рдиреЗ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реИ:

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

рдЕрдм рдЖрдкрдХреЛ рдХреНрд▓рд╕реНрдЯрд░ рдореЗрдВ рдкреЙрдб рдиреЗрдЯрд╡рд░реНрдХ рддреИрдирд╛рдд рдХрд░рдирд╛ рдЪрд╛рд╣рд┐рдПред
рдпрд╣рд╛рдВ рд╕реВрдЪреАрдмрджреНрдз рд╡рд┐рдХрд▓реНрдкреЛрдВ рдореЗрдВ рд╕реЗ рдПрдХ рдХреЗ рд╕рд╛рде "kubectl apply -f [podnetwork].yaml" рдЪрд▓рд╛рдПрдБ:
https://kubernetes.io/docs/concepts/cluster-administration/addons/

рдлрд┐рд░ рдЖрдк рдкреНрд░рддреНрдпреЗрдХ рдкрд░ рд░реВрдЯ рдХреЗ рд░реВрдк рдореЗрдВ рдирд┐рдореНрдирд▓рд┐рдЦрд┐рдд рдХреЛ рдЪрд▓рд╛рдХрд░ рдХрд┐рд╕реА рднреА рд╕рдВрдЦреНрдпрд╛ рдореЗрдВ рд╡рд░реНрдХрд░ рдиреЛрдбреНрд╕ рдореЗрдВ рд╢рд╛рдорд┐рд▓ рд╣реЛ рд╕рдХрддреЗ рд╣реИрдВ:

kubeadm 192.168.232.130:6443 --token xucir0.o4kzo3qqjyjnzphl рдореЗрдВ рд╢рд╛рдорд┐рд▓ рд╣реЛрдВ
--рдбрд┐рд╕реНрдХрд╡рд░реА-рдЯреЛрдХрди-рд╕реАрдП-рд╕рд░реНрдЯрд┐рдлрд┐рдХреЗрдЯ-рд╣реИрд╢ sha256:022048b22926a2cb2f8295ce2e3f1f6fa7ffe1098bc116f7d304a26bcfb78656
`

рдЬреАрд╕реАрдкреА рдЙрдмрдВрдЯреВ 18.04 рд╡реАрдПрдо рдкрд░ рдХреБрдмреЗрд░рдиреЗрдЯреНрд╕ v1.14.1 рдФрд░ рдХреНрд░рд┐-рдУ v1.14.0 рдХреЗ рд╕рд╛рде рдПрдХ рд╣реА рд╕рдорд╕реНрдпрд╛ рдореЗрдВ рднрд╛рдЧ рдЧрдпрд╛ред рд╣рд╛рд▓рд╛рдВрдХрд┐ рдбреЙрдХрдЯрд░ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддреЗ рд╕рдордп рдЪреАрдЬреЗрдВ рдареАрдХ рд░рд╣реАрдВред рд╕рдВрджрд░реНрдн: https://github.com/cri-o/cri-o/issues/2357

рдореЗрд░реА рд╕рдорд╕реНрдпрд╛ рд╡рд┐рднрд┐рдиреНрди cgroup рдбреНрд░рд╛рдЗрд╡рд░реЛрдВ рдХреЗ рд╕рд╛рде рдереАред CRIO рдбрд┐рдлрд╝реЙрд▓реНрдЯ рд░реВрдк рд╕реЗ systemd рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддрд╛ рд╣реИ, рдХреНрдпреВрдмрд▓реЗрдЯ рдбрд┐рдлрд╝реЙрд▓реНрдЯ рд░реВрдк рд╕реЗ cgroupfs рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддрд╛ рд╣реИред

cat /etc/crio/crio.conf | grep cgroup
# cgroup_manager is the cgroup management implementation to be used
cgroup_manager = "systemd"

рдпрджрд┐ рдЖрдкрдХрд╛ рдРрд╕рд╛ рдорд╛рдорд▓рд╛ рд╣реИ, рддреЛ рджреЗрдЦреЗрдВ https://kubernetes.io/docs/setup/in рдирд┐рд░реНрднрд░ / #configure -cgroup-driver-used-by-kubelet-on-master-node

рдмрд╕ рдлрд╛рдЗрд▓ рд▓рд┐рдЦреЗрдВ

echo "KUBELET_EXTRA_ARGS=--cgroup-driver=systemd" > /etc/default/kubelet

рдФрд░ рдЙрд╕рдХреЗ рдмрд╛рдж рдХреБрдмреЗрджрдо рдЗрдирд┐рдЯ рдЪрд▓рд╛рдПрдВред рдпрд╛ cgroup_manager рдХреЛ cgroupfs рдмрджрд▓реЗрдВ

рдбреЙрдХрдЯрд░ рдХреЗ рд╡рд┐рдкрд░реАрдд, рдХреНрд░рд┐-рдУ рдФрд░ рдХрдВрдЯреЗрдирд░рдб cgroup рдбреНрд░рд╛рдЗрд╡рд░ рдбрд┐рдЯреЗрдХреНрд╢рди рдХреЗ рдорд╛рдорд▓реЗ рдореЗрдВ рдкреНрд░рдмрдВрдзрди рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдереЛрдбрд╝рд╛ рдЕрдзрд┐рдХ рдореБрд╢реНрдХрд┐рд▓ рд╣реИрдВ, рд▓реЗрдХрд┐рди рдХреБрдмреЗрджрдо рд╕реЗ рдЗрд╕рдХрд╛ рд╕рдорд░реНрдерди рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдХреБрдЫ рдпреЛрдЬрдирд╛рдПрдВ рд╣реИрдВред

docker рдкрд╣рд▓реЗ рд╕реЗ рд╣реА рд╕рдВрднрд╛рд▓рд╛ рд╣реИред

рддреЛ рдЬрд╛рд╣рд┐рд░рд╛ рддреМрд░ рдкрд░ рдХреЛрдИ рд╕рдорд╛рдзрд╛рди рдирд╣реАрдВ рд╣реИ рд▓реЗрдХрд┐рди рдХреНрд▓рд╕реНрдЯрд░ $ (рд╣рд╛рдБ | рдХреБрдмреЗрджрдо рд░реАрд╕реЗрдЯ) рдХреЛ рд░реАрд╕реЗрдЯ рдХрд░рдирд╛ рд╣реИ, рдЬреЛ рдореЗрд░реА рд░рд╛рдп рдореЗрдВ рд╕рдорд╛рдзрд╛рди рдирд╣реАрдВ рд╣реИ!

рдЫрд╡рд┐ рд░реЗрдкреЛ рдмрджрд▓рдирд╛ рдореЗрд░реЗ рд▓рд┐рдП рдХрд╛рдо рдХрд░рддрд╛ рд╣реИ, рд▓реЗрдХрд┐рди рдпрд╣ рдПрдХ рдЕрдЪреНрдЫрд╛ рдлрд┐рдХреНрд╕ рдирд╣реАрдВ рд╣реИред
--рдЫрд╡рд┐-рднрдВрдбрд╛рд░ рд░рдЬрд┐рд╕реНрдЯреНрд░реА.aliyuncs.com/google_containers

рдореЗрд░рд╛ рдорд╛рдорд▓рд╛ рдЗрд╕рдХреЗ рд╕рд╛рде рдХрд╛рдо рдХрд░рддрд╛ рд╣реИ

sed -i 's/cgroup-driver=systemd/cgroup-driver=cgroupfs/g' /etc/systemd/system/kubelet.service.d/10-kubeadm.conf

рдореЗрд░реЗ рдкрд╛рд╕ рдПрдХ рд╣реА рдореБрджреНрджрд╛ рд╣реИред рдореИрдВ kubeadm init --config=init-config.yaml рдЙрдкрдпреЛрдЧ рдХрд░рддрд╛ рд╣реВрдВ рдФрд░ рдЕрд╕рдлрд▓ рд░рд╣рд╛, рдпрд╣ рдлрд╝рд╛рдЗрд▓ kubeadm. рдлрд╝рд╛рдЗрд▓ рдореЗрдВ рдПрдХ рдлрд╝реАрд▓реНрдб рд╡рд┐рдЬреНрдЮрд╛рдкрди рдкрддрд╛ рдбрд┐рдлрд╝реЙрд▓реНрдЯ 1.2.3.4 рд╣реИ, рдЬреЛ etcd contianer рдкреНрд░рд╛рд░рдВрдн рд╡рд┐рдлрд▓ рд╣реЛ рдЬрд╛рддрд╛ рд╣реИред рдЬрдм рдореИрдВ резреирен.реж.реж.рез рдореЗрдВ рдмрджрд▓ рдЬрд╛рддрд╛ рд╣реВрдВ, рдЖрджрд┐ рдкреНрд░рддрд┐рдпреЛрдЧреА рд╕рдлрд▓рддрд╛рдкреВрд░реНрд╡рдХ рд╢реБрд░реВ рд╣реЛрддрд╛ рд╣реИ рдФрд░ рдХреБрдмреЗрджрдо init рд╕рдлрд▓рддрд╛

рдЗрд╕ рд╕рдорд╕реНрдпрд╛ рдХреЛ рд╣рд▓ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, docker ps -a рд╕реВрдЪреА рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░реЗрдВ рд╕рднреА рдХрдВрдЯреЗрдирд░ рдЬрд╛рдВрдЪреЗрдВ рдХрд┐ рдХреНрдпрд╛ рдЙрдирдореЗрдВ рд╕реЗ рдХреБрдЫ рдмрд╛рд╣рд░ рдирд┐рдХрд▓ рдЧрдП рд╣реИрдВ, рдпрджрд┐ рд╣рд╛рдВ, рддреЛ docker logs CONTIANER_ID рджреЗрдЦреЗрдВ рдХрд┐ рдХреНрдпрд╛ рдЦреБрд╢реА рд╣реБрдИред рдЖрд╢рд╛ рд╣реИ рдХрд┐ рдЗрд╕рд╕реЗ рд╕рд╣рд╛рдпрддрд╛ рдорд┐рд▓реЗрдЧреА

рдЕрд░реЗ рд╕рдм рд▓реЛрдЧ, рдХреНрдпрд╛ рдХрд┐рд╕реА рдХреЗ рдкрд╛рд╕ рдХреЛрдИ рд╕рдорд╛рдзрд╛рди рд╣реИ? рдпрд╣рд╛рдБ рд╡рд╣реА рд╕рдорд╕реНрдпрд╛ рд╣реИ, рд▓реЗрдХрд┐рди k3s рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛ред

@MateusMac рдЖрдкрдХреЛ рд╢рд╛рдпрдж k3s рдХреЗ рдЦрд┐рд▓рд╛рдл рднреА рдПрдХ рдмрдЧ рд░рд┐рдкреЛрд░реНрдЯ

kubeadm рдкрд░ рдХрд╛рдо рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдПрдХ рд╕рдкреНрддрд╛рд╣ рддрдХ рдХрд╛рдо рдХрд┐рдпрд╛
рдЙрдмрдВрдЯреВ 18.04
рдбреЙрдХрд░ 18.06-2-рд╕реАрдИ
k8s 1.15.1
sudo kubeadm init --pod-network-cidr=10.244.0.0/16

Fails with:

[etcd] Creating static Pod manifest for local etcd in "/etc/kubernetes/manifests"
[wait-control-plane] Waiting for the kubelet to boot up the control plane as static Pods from directory "/etc/kubernetes/manifests". This can take up to 4m0s
[kubelet-check] Initial timeout of 40s passed.

Unfortunately, an error has occurred:
        timed out waiting for the condition

This error is likely caused by:
        - The kubelet is not running
        - The kubelet is unhealthy due to a misconfiguration of the node in some way (required cgroups disabled)

If you are on a systemd-powered system, you can try to troubleshoot the error with the following commands:
        - 'systemctl status kubelet'
        - 'journalctl -xeu kubelet'

Additionally, a control plane component may have crashed or exited when started by the container runtime.
To troubleshoot, list all containers using your preferred container runtimes CLI, e.g. docker.
Here is one example how you may list all Kubernetes containers running in docker:
        - 'docker ps -a | grep kube | grep -v pause'
        Once you have found the failing container, you can inspect its logs with:
        - 'docker logs CONTAINERID'
error execution phase wait-control-plane: couldn't initialize a Kubernetes cluster

рдХреНрдпреВрдмрд▓реЗрдЯ рд▓реЙрдЧ рджрд┐рдЦрд╛рддреЗ рд╣реИрдВ рдХрд┐ рдпрд╣ рдкрд┐рдЫрд▓реЗ рдкрд╣рд▓реЗ рдЖрдзрд╛рд░ рдХреЛ рдкрд╛рдиреЗ рдХреЗ рд▓рд┐рдП рдиреЛрдбреНрд╕ рдирд╣реАрдВ рдвреВрдВрдв рд╕рдХрддрд╛ рд╣реИ:

warproot<strong i="15">@warp02</strong>:~$ systemctl status kubelet
тЧП kubelet.service - kubelet: The Kubernetes Node Agent
   Loaded: loaded (/lib/systemd/system/kubelet.service; enabled; vendor preset: enabled)
  Drop-In: /etc/systemd/system/kubelet.service.d
           тФФтФА10-kubeadm.conf
   Active: active (running) since Sun 2019-08-04 18:22:26 AEST; 5min ago
     Docs: https://kubernetes.io/docs/home/
 Main PID: 12569 (kubelet)
    Tasks: 27 (limit: 9830)
   CGroup: /system.slice/kubelet.service
           тФФтФА12569 /usr/bin/kubelet --bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf --config=/var/lib/kubelet/config.yaml --cgroup-dri

Aug 04 18:28:03 warp02 kubelet[12569]: E0804 18:28:03.322762   12569 kuberuntime_sandbox.go:68] CreatePodSandbox for pod "kube-scheduler-warp02_kube-system(ecae9d12d3610192347be3d1aa5aa552)"
Aug 04 18:28:03 warp02 kubelet[12569]: E0804 18:28:03.322806   12569 kuberuntime_manager.go:692] createPodSandbox for pod "kube-scheduler-warp02_kube-system(ecae9d12d3610192347be3d1aa5aa552)
Aug 04 18:28:03 warp02 kubelet[12569]: E0804 18:28:03.322872   12569 pod_workers.go:190] Error syncing pod ecae9d12d3610192347be3d1aa5aa552 ("kube-scheduler-warp02_kube-system(ecae9d12d36101
Aug 04 18:28:03 warp02 kubelet[12569]: E0804 18:28:03.373094   12569 kubelet.go:2248] node "warp02" not found
Aug 04 18:28:03 warp02 kubelet[12569]: E0804 18:28:03.375587   12569 reflector.go:125] k8s.io/client-go/informers/factory.go:133: Failed to list *v1beta1.CSIDriver: Get https://10.1.1.4:6443
Aug 04 18:28:03 warp02 kubelet[12569]: E0804 18:28:03.473295   12569 kubelet.go:2248] node "warp02" not found
Aug 04 18:28:03 warp02 kubelet[12569]: E0804 18:28:03.573567   12569 kubelet.go:2248] node "warp02" not found
Aug 04 18:28:03 warp02 kubelet[12569]: E0804 18:28:03.575495   12569 reflector.go:125] k8s.io/client-go/informers/factory.go:133: Failed to list *v1beta1.RuntimeClass: Get https://10.1.1.4:6
Aug 04 18:28:03 warp02 kubelet[12569]: E0804 18:28:03.590886   12569 event.go:249] Unable to write event: 'Post https://10.1.1.4:6443/api/v1/namespaces/default/events: dial tcp 10.1.1.4:6443
Aug 04 18:28:03 warp02 kubelet[12569]: E0804 18:28:03.673767   12569 kubelet.go:2248] node "warp02" not found




рдореБрдЭреЗ рдзреНрдпрд╛рди рджреЗрдирд╛ рдЪрд╛рд╣рд┐рдП рдХрд┐ рдореЗрд░реЗ рдкрд╛рд╕ рдЗрди рдирдВрдЧреЗ рдзрд╛рддреБ рдорд╢реАрдиреЛрдВ рдкрд░ рдХрдИ рдПрдирдЖрдИрд╕реА рд╣реИрдВ:

warproot<strong i="6">@warp02</strong>:~$ ifconfig
docker0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 1500
        inet 172.17.0.1  netmask 255.255.0.0  broadcast 172.17.255.255
        inet6 fe80::42:feff:fe65:37f  prefixlen 64  scopeid 0x20<link>
        ether 02:42:fe:65:03:7f  txqueuelen 0  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 6  bytes 516 (516.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

enp35s0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 10.0.0.2  netmask 255.255.255.0  broadcast 10.0.0.255
        inet6 fe80::32b5:c2ff:fe02:410b  prefixlen 64  scopeid 0x20<link>
        ether 30:b5:c2:02:41:0b  txqueuelen 1000  (Ethernet)
        RX packets 46  bytes 5821 (5.8 KB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 70  bytes 7946 (7.9 KB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

enp6s0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 10.1.1.4  netmask 255.255.255.0  broadcast 10.1.1.255
        inet6 fd42:59ff:1166:0:25a7:3617:fee6:424e  prefixlen 64  scopeid 0x0<global>
        inet6 fe80::1a03:73ff:fe44:5694  prefixlen 64  scopeid 0x20<link>
        inet6 fd9e:fdd6:9e01:0:1a03:73ff:fe44:5694  prefixlen 64  scopeid 0x0<global>
        ether 18:03:73:44:56:94  txqueuelen 1000  (Ethernet)
        RX packets 911294  bytes 1361047672 (1.3 GB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 428759  bytes 29198065 (29.1 MB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
        device interrupt 17  

ib0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 4092
        unspec A0-00-02-10-FE-80-00-00-00-00-00-00-00-00-00-00  txqueuelen 256  (UNSPEC)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

ib1: flags=4099<UP,BROADCAST,MULTICAST>  mtu 4092
        unspec A0-00-02-20-FE-80-00-00-00-00-00-00-00-00-00-00  txqueuelen 256  (UNSPEC)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10<host>
        loop  txqueuelen 1000  (Local Loopback)
        RX packets 25473  bytes 1334779 (1.3 MB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 25473  bytes 1334779 (1.3 MB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0


рдореБрдЭреЗ рдирд╣реАрдВ рдкрддрд╛ рдХрд┐ рдпрд╣ рдХреЛрдИ рд╕рдорд╕реНрдпрд╛ рд╣реИ, рд▓реЗрдХрд┐рди рдореИрдВрдиреЗ рдЕрдкрдиреА /etc/hosts рдлрд╝рд╛рдЗрд▓ рдХреЛ рдЗрд╕ рд░реВрдк рдореЗрдВ рд╕реЗрдЯ рдХрд┐рдпрд╛ рд╣реИ

warproot<strong i="7">@warp02</strong>:~$ cat /etc/hosts
127.0.0.1       localhost.localdomain   localhost
::1             localhost6.localdomain6 localhost6
# add our host name
10.1.1.4 warp02 warp02.ad.xxx.com
# The following lines are desirable for IPv6 capable hosts
::1     localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
ff02::3 ip6-allhosts
# add our ipv6 host name
fd42:59ff:1166:0:25a7:3617:fee6:424e warp02 warp02.ad.xxx.com

warproot<strong i="8">@warp02</strong>:~$ 

рдЗрд╕рд▓рд┐рдП, рдПрдирдЖрдИрд╕реА 10.1.1.4 рдХреЛ k8s рдХреЗ рд▓рд┐рдП "рдиреЗрдЯрд╡рд░реНрдХ" рдХреЗ рд░реВрдк рдореЗрдВ рджреЗрдЦрдиреЗ рдХреЗ рд▓рд┐рдП рдпрд╣ рд╕реЗрдЯ-рдЕрдк (рдореБрдЭреЗ рд▓рдЧрддрд╛ рд╣реИ) рд╣реИ

рдиреЛрдб-рдирд╛рдо рдХреЗ рдЦрд┐рд▓рд╛рдл nslookup рдареАрдХ рдХрд╛рдо рдХрд░ рд░рд╣рд╛ рд╣реИ:

warproot<strong i="13">@warp02</strong>:~$ nslookup warp02
Server:         127.0.0.53
Address:        127.0.0.53#53

Non-authoritative answer:
Name:   warp02.ad.xxx.com
Address: 10.1.1.4
Name:   warp02.ad.xxx.com
Address: fd42:59ff:1166:0:25a7:3617:fee6:424e

warproot<strong i="14">@warp02</strong>:~$ 

рдореИрдВ рдХрдИ рдмрд╛рд░ kubeadm рдЗрдВрд╕реНрдЯрд╛рд▓ рдбреЙрдХреНрдпреВрдореЗрдВрдЯреЗрд╢рди рд╕реЗ рдЧреБрдЬрд░рд╛ рд╣реВрдВред

рдЕрдЬреАрдмред рдпрд╣ рд╕рд┐рд░реНрдл рдиреЗрдЯрд╡рд░реНрдХ рдирд╣реАрдВ рдвреВрдВрдв рд╕рдХрддрд╛ рд╣реИред

рд╕реНрдЯрдореНрдкреНрдбред

рд╕рдВрд╕реНрдХрд░рдг 1.15.3 рдореИрдВ рдЗрд╕реЗ Ubuntu 18.04 рдкрд░ рдЬреЛрдбрд╝рдХрд░ рдареАрдХ рдХрд░рдиреЗ рдореЗрдВ рд╕рдХреНрд╖рдо рдерд╛

kind: InitConfiguration
nodeRegistration:
  kubeletExtraArgs:
    cgroup-driver: "systemd"

рдореЗрд░реЗ kubeadm config рдореЗрдВ рдФрд░ рдлрд┐рд░ kubeadm init рдЪрд▓ рд░рд╣рд╛ рд╣реИ

рдореЗрд░реЗ рдкрд╛рд╕ рдпрд╣рд╛рдБ рдПрдХ рд╣реА рд╕рдорд╕реНрдпрд╛ рд╣реИ, рд╕рдВрд╕реНрдХрд░рдг рез.резрел.рей рдХреЗ рд╕рд╛рде, Ubuntu резрео.режрек рдкрд░
@ рдХреНрд░рд┐рд╕-рдиреЛрд╡рд╛ рдореИрдВ рд╡рд╛рд╕реНрддрд╡ рдореЗрдВ рд╕рд░рд╛рд╣рдирд╛ рдХрд░рддрд╛ рд╣реВрдВ рдпрджрд┐ рдЖрдк рдирд┐рд░реНрджрд┐рд╖реНрдЯ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ рдХрд┐ рдпрд╣ рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди рдлрд╝рд╛рдЗрд▓ рдХрд╣рд╛рдВ рд╕реНрдерд┐рдд рд╣реИ :-)

рдЕрджреНрдпрддрди: рдореИрдВ рд╡рд╛рд╕реНрддрд╡ рдореЗрдВ рдХреНрдпреЛрдВ рдирд╣реАрдВ рдмрддрд╛ рд╕рдХрддрд╛, рд▓реЗрдХрд┐рди рдпрд╣ рдЕрдм рдХрд┐рд╕реА рднреА рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди рдХреЛ рдмрджрд▓реЗ рдмрд┐рдирд╛ рдХрд╛рдо рдХрд░рддрд╛ рд╣реИ!
(рдиреЛрдЯ: рдореБрдЭреЗ рдирд╣реАрдВ рдкрддрд╛ рдХрд┐ рдпрд╣ рд╕рдВрдмрдВрдзрд┐рдд рд╣реИ, рд▓реЗрдХрд┐рди рдореИрдВрдиреЗ kubeadm init рдкреБрдирдГ рдкреНрд░рдпрд╛рд╕ рдХрд░рдиреЗ рд╕реЗ рдкрд╣рд▓реЗ, v.19.03.1 рд╕реЗ v.19.03.2 рдореЗрдВ рдбреЙрдХрд░ рдХреЛ рдЕрдкрдбреЗрдЯ рдХрд┐рдпрд╛)

kubeadm init рдЪрд▓рд╛рддреЗ рд╕рдордп рдореБрдЭреЗ рддреНрд░реБрдЯрд┐ рдорд┐рд▓ рд░рд╣реА рдереА рдпрд╛рдиреА рдиреЛрдбреЗрдХреНрд╕ рдирд╣реАрдВ рдорд┐рд▓рд╛ ..

[ рд░реВрдЯ@рдиреЛрдбрежрез ~]# рдЬрд░реНрдирд▓-рдПрдХреНрд╕рдпреВ рдХреНрдпреВрдмрд▓реЗрдЯ
рдирд╡рдореНрдмрд░ 07 10:34:02 рдиреЛрдб 01 рдХреНрдпреВрдмрд▓реЗрдЯ [2968]: E1107 10:34:02.682095 2968 kubelet.go:2267] рдиреЛрдб "рдиреЛрдб01" рдирд╣реАрдВ рдорд┐рд▓рд╛
рдирд╡рдореНрдмрд░ 07 10:34:02 рдиреЛрдб 01 рдХреНрдпреВрдмрд▓реЗрдЯ [2968]: E1107 10:34:02.782554 2968 kubelet.go:2267] рдиреЛрдб "рдиреЛрдб01" рдирд╣реАрдВ рдорд┐рд▓рд╛
рдирд╡рдореНрдмрд░ режрен резреж:рейрек:режреи рдиреЛрдбрежрез рдХреНрдпреВрдмрд▓реЗрдЯ [реирепремрео]: рдИрезрезрежрен резреж:рейрек:режреи.реореирепрезрекреи реирепремрео рд░рд┐рдлреНрд▓реЗрдХреНрдЯрд░.рдЧреЛ:резреирей] k8s.io/client-go/informers/factory.go:134: рд╕реВрдЪреАрдмрджреНрдз рдХрд░рдиреЗ рдореЗрдВ рд╡рд┐рдлрд▓ *v1beta1.CSID
рдирд╡рдореНрдмрд░ 07 10:34:02 рдиреЛрдб 01 рдХреНрдпреВрдмрд▓реЗрдЯ [2968]: E1107 10:34:02.884058 2968 kubelet.go:2267] рдиреЛрдб "рдиреЛрдб01" рдирд╣реАрдВ рдорд┐рд▓рд╛
рдирд╡рдореНрдмрд░ 07 10:34:02 рдиреЛрдб 01 рдХреНрдпреВрдмрд▓реЗрдЯ [2968]: E1107 10:34:02.984510 2968 kubelet.go:2267] рдиреЛрдб "рдиреЛрдб01" рдирд╣реАрдВ рдорд┐рд▓рд╛
рдирд╡рдореНрдмрд░ режрен резреж:рейрек:режрей рдиреЛрдбрежрез рдХреНрдпреВрдмрд▓реЗрдЯ [реирепремрео]: рдИрезрезрежрен резреж:рейрек:режрей.режрейрежреореорек реирепремрео рд░рд┐рдлреНрд▓реЗрдХреНрдЯрд░.рдЧреЛ:резреирей]

рдХреЗ рдорд╛рдзреНрдпрдо рд╕реЗ рд╣рд▓ рдХрд┐рдпрд╛ рдЧрдпрд╛:

рд╕реЗрдЯрдирдлреЛрд░реНрд╕ 0

sed -i --follow-symlinks 's/SELINUX=enforceing/SELINUX=disabled/g' /etc/sysconfig/selinux

рд╡рд╣реА рдореБрджреНрджрд╛

рдореЗрд░реЗ рдорд╛рдорд▓реЗ рдореЗрдВ рдЬреЛ рдорд╛рд╕реНрдЯрд░ рдиреЛрдб рдореЗрдВ рдПрдХ рд╕рдордп рдХреЗ рдмрд╣рд╛рд╡ рдХреЗ рдХрд╛рд░рдг рд╣реБрдЖ рдерд╛, _рдЬреЛ рдмрд┐рдЬрд▓реА рдХрдЯ-рдСрдл рдХреЗ рдмрд╛рдж рд╣реБрдЖ рдерд╛ред
рдореИрдВрдиреЗ рдЗрд╕реЗ рдЪрд▓рд╛рдХрд░ рдареАрдХ рдХрд┐рдпрд╛ рдерд╛

# Correcting the time as mentioned here https://askubuntu.com/a/254846/861548
sudo service ntp stop
sudo ntpdate -s time.nist.gov
sudo service ntp start
# Then restarting the kubelet
sudo systemctl restart kubelet.service
# I also had to run daemon-reload as I got the following warning
# Warning: The unit file, source configuration file or drop-ins of kubelet.service changed on disk. Run 'systemctl daemon-reload' to reload units.
sudo systemctl daemon-reload
# I also made another restart, which I don't know whether needed or not
sudo systemctl restart kubelet.service

рдореИрдВрдиреЗ рдЕрдкрдиреА рд╕рдорд╕реНрдпрд╛ рдХреЛ рдареАрдХ рдХрд┐рдпрд╛ node "xxxx" not found я╝М рдХрдВрдЯреЗрдирд░ рд▓реЙрдЧ рдЙрдкрдпреЛрдЧ docker logs container_id рджреЗрдЦрдиреЗ рдХрд╛ рдкреНрд░рдпрд╛рд╕ рдХрд░реЗрдВ, рдлрд┐рд░ рдореБрдЭреЗ apiserver 127.0.0.1:2379 рдХрдиреЗрдХреНрдЯ рдХрд░рдиреЗ рдХрд╛ рдкреНрд░рдпрд╛рд╕ рдХрд░реЗрдВ, рдлрд╝рд╛рдЗрд▓ рд╕рдВрдкрд╛рджрд┐рдд рдХрд░реЗрдВ ┬╖ /etc/kubernetes/manifests/etcd.yaml , рдкреБрдирд░рд╛рд░рдВрдн рдХрд░реЗрдВ, рд╕рдорд╕реНрдпрд╛ рдареАрдХ рд╣реЛ рдЧрдИ

рдХреНрдпрд╛ рдпрд╣ рдкреГрд╖реНрда рдЙрдкрдпреЛрдЧреА рдерд╛?
0 / 5 - 0 рд░реЗрдЯрд┐рдВрдЧреНрд╕

рд╕рдВрдмрдВрдзрд┐рдд рдореБрджреНрджреЛрдВ

danderson picture danderson  ┬╖  3рдЯрд┐рдкреНрдкрдгрд┐рдпрд╛рдБ

atoato88 picture atoato88  ┬╖  4рдЯрд┐рдкреНрдкрдгрд┐рдпрд╛рдБ

helphi picture helphi  ┬╖  3рдЯрд┐рдкреНрдкрдгрд┐рдпрд╛рдБ

imedaouidene picture imedaouidene  ┬╖  3рдЯрд┐рдкреНрдкрдгрд┐рдпрд╛рдБ

mattmoyer picture mattmoyer  ┬╖  4рдЯрд┐рдкреНрдкрдгрд┐рдпрд╛рдБ