تقرير الشوائب
إصدار kubeadm
إصدار kubelet
kubernetes- cni: 0.6.0-00 amd64
إصدار docker -ce
إصدار النظام
آلة فيزيائية
تثبيت مجموعة kubernetes على ubuntu 16.04. عند تشغيل kubeadm init ، هناك خطأ:
[init] قد يستغرق هذا دقيقة أو أكثر إذا كان لا بد من سحب صور مستوى التحكم.
[kubelet-check] يبدو أن الكوبيليت لا يعمل أو لا يتمتع بصحة جيدة.
[kubelet-check] يبدو أن الكوبيليت لا يعمل أو لا يتمتع بصحة جيدة.
[kubelet-check] يبدو أن الكوبيليت لا يعمل أو لا يتمتع بصحة جيدة.
[kubelet-check] يبدو أن الكوبيليت لا يعمل أو لا يتمتع بصحة جيدة.
[kubelet-check] يبدو أن الكوبيليت لا يعمل أو لا يتمتع بصحة جيدة.
[kubelet-check] يبدو أن الكوبيليت لا يعمل أو لا يتمتع بصحة جيدة.
[kubelet-check] يبدو أن الكوبيليت لا يعمل أو لا يتمتع بصحة جيدة.
بعد أن رأيت syslog / var / log / syslog ، حصلت على أخطاء على النحو التالي:
يناير 04 16:20:58 kubelet master03 [10360]: W0104 16: 20: 58.268285 10360 cni.go: 171] تعذر تحديث تكوين cni: لم يتم العثور على شبكات في /etc/cni/net.d
يناير 04 16:20:58 kubelet master03 [10360]: W0104 16: 20: 58.269487 10360 cni.go: 171] تعذر تحديث تكوين cni: لم يتم العثور على شبكات في /etc/cni/net.d
يناير 04 16:20:58 kubelet master03 [10360]: I0104 16: 20: 58.269527 10360 docker_service.go: 232] شبكة Docker cri التي تديرها cni
يناير 04 16:20:58 master03 kubelet [10360]: I0104 16: 20: 58.274386 10360 docker_service.go: 237] معلومات Docker: & {ID: 3 XXZ: XEDW : ZDQS: A2MI : 5 AEN : CFEP: 44AQ: YDS4 : CRME: UBRS : 46LI: MXNS C ontainers: 0 Containe rs الجري: 0 تابع
يناير 04 16:20:58 kubelet master03 [10360]: خطأ: فشل تشغيل Kubelet: فشل في إنشاء kubelet: تكوين خاطئ: kubelet cgroup driver: "cgroupfs" يختلف عن docker cgroup driver: "systemd"
وتحققت من برنامج تشغيل مجموعة Docker Cgroup: معلومات عامل الإرساء | grep -i cgroup
سائق Cgroup: systemd
إصدار kubeadm (استخدم kubeadm version
):
البيئة :
kubectl version
):uname -a
):خطأ: فشل في تشغيل Kubelet: فشل في إنشاء kubelet: تكوين خاطئ: kubelet cgroup driver: "cgroupfs" يختلف عن Docker cgroup driver: "systemd"
معلومات عامل الميناء | grep -i cgroup
سائق Cgroup: systemd
أستطيع أن أؤكد هذا.
@ lavender2020 تحتاج إلى إلحاق --cgroup-driver=systemd
يدويًا برسوم بدء التشغيل kubelet
وإعادة تحميل ملف وحدة kubelet لإعادة تشغيل الخدمة.
برنامج التشغيل الافتراضي الذي يستخدمه kubelet
للتعامل مع مجموعات cgroup على المضيف هو cgroupfs
.
يلجأ معظم الأشخاص إلى kubeadm
بشكل أساسي لإنشاء كتلة بسرعة كبيرة. إنها بسيطة وعملية。
luxas هل نضيف فحصًا مسبقًا على تناسق برنامج تشغيل cgroup بين docker
و kubelet
لإعطاء تحذيرات أكثر صراحة؟ أو إضافة مندوب آخر مقابل kubelet.service
؟ أو مجرد تعديل /etc/systemd/system/kubelet.service.d/10-kubeadm.conf
في المكان؟
ولكن إذا كان الأمر كذلك ، فقد نحتاج إلى الحصول على امتياز الجذر لإجراء هذه التغييرات.
لقد واجهت نفس المشكلة مع kubeadm v1.9.2
لكن يمكنني أن أرى أن kubelet مهيأ لاستخدام برنامج تشغيل systemd cgroup.
يستخدم kubelet --cgroup-driver = systemd
cat /etc/systemd/system/kubelet.service.d/10-kubeadm.conf
[Service]
Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf"
Environment="KUBELET_SYSTEM_PODS_ARGS=--pod-manifest-path=/etc/kubernetes/manifests --allow-privileged=true"
Environment="KUBELET_NETWORK_ARGS=--network-plugin=cni --cni-conf-dir=/etc/cni/net.d --cni-bin-dir=/opt/cni/bin"
Environment="KUBELET_DNS_ARGS=--cluster-dns=10.96.0.10 --cluster-domain=cluster.local"
Environment="KUBELET_AUTHZ_ARGS=--authorization-mode=Webhook --client-ca-file=/etc/kubernetes/pki/ca.crt"
Environment="KUBELET_CADVISOR_ARGS=--cadvisor-port=0"
Environment="KUBELET_CGROUP_ARGS=--cgroup-driver=systemd"
Environment="KUBELET_CERTIFICATE_ARGS=--rotate-certificates=true --cert-dir=/var/lib/kubelet/pki"
ExecStart=
ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_SYSTEM_PODS_ARGS $KUBELET_NETWORK_ARGS $KUBELET_DNS_ARGS $KUBELET_AUTHZ_ARGS $KUBELET_CADVISOR_ARGS $KUBELET_CGROUP_ARGS $KUBELET_CERTIFICATE_ARGS $KUBELET_EXTRA_ARGS
معلومات عامل ميناء |
WARNING: Usage of loopback devices is strongly discouraged for production use. Use `--storage-opt dm.thinpooldev` to specify a custom block storage device.
Cgroup Driver: systemd
سجلات kubelet
I0206 16:20:40.010949 5712 feature_gate.go:220] feature gates: &{{} map[]}
I0206 16:20:40.011054 5712 controller.go:114] kubelet config controller: starting controller
I0206 16:20:40.011061 5712 controller.go:118] kubelet config controller: validating combination of defaults and flags
W0206 16:20:40.015566 5712 cni.go:171] Unable to update cni config: No networks found in /etc/cni/net.d
I0206 16:20:40.019079 5712 server.go:182] Version: v1.9.2
I0206 16:20:40.019136 5712 feature_gate.go:220] feature gates: &{{} map[]}
I0206 16:20:40.019240 5712 plugins.go:101] No cloud provider specified.
W0206 16:20:40.019273 5712 server.go:328] standalone mode, no API client
W0206 16:20:40.041031 5712 server.go:236] No api server defined - no events will be sent to API server.
I0206 16:20:40.041058 5712 server.go:428] --cgroups-per-qos enabled, but --cgroup-root was not specified. defaulting to /
I0206 16:20:40.041295 5712 container_manager_linux.go:242] container manager verified user specified cgroup-root exists: /
I0206 16:20:40.041308 5712 container_manager_linux.go:247] Creating Container Manager object based on Node Config: {RuntimeCgroupsName: SystemCgroupsName: KubeletCgroupsName: ContainerRuntime:docker CgroupsPerQOS:true CgroupRoot:/ CgroupDriver:cgroupfs KubeletRootDir:/var/lib/kubelet ProtectKernelDefaults:false NodeAllocatableConfig:{KubeReservedCgroupName: SystemReservedCgroupName: EnforceNodeAllocatable:map[pods:{}] KubeReserved:map[] SystemReserved:map[] HardEvictionThresholds:[{Signal:memory.available Operator:LessThan Value:{Quantity:100Mi Percentage:0} GracePeriod:0s MinReclaim:<nil>} {Signal:nodefs.available Operator:LessThan Value:{Quantity:<nil> Percentage:0.1} GracePeriod:0s MinReclaim:<nil>} {Signal:nodefs.inodesFree Operator:LessThan Value:{Quantity:<nil> Percentage:0.05} GracePeriod:0s MinReclaim:<nil>} {Signal:imagefs.available Operator:LessThan Value:{Quantity:<nil> Percentage:0.15} GracePeriod:0s MinReclaim:<nil>}]} ExperimentalQOSReserved:map[] ExperimentalCPUManagerPolicy:none ExperimentalCPUManagerReconcilePeriod:10s}
I0206 16:20:40.041412 5712 container_manager_linux.go:266] Creating device plugin manager: false
W0206 16:20:40.043521 5712 kubelet_network.go:139] Hairpin mode set to "promiscuous-bridge" but kubenet is not enabled, falling back to "hairpin-veth"
I0206 16:20:40.043541 5712 kubelet.go:571] Hairpin mode set to "hairpin-veth"
I0206 16:20:40.044909 5712 client.go:80] Connecting to docker on unix:///var/run/docker.sock
I0206 16:20:40.044937 5712 client.go:109] Start docker client with request timeout=2m0s
W0206 16:20:40.046785 5712 cni.go:171] Unable to update cni config: No networks found in /etc/cni/net.d
I0206 16:20:40.049953 5712 docker_service.go:232] Docker cri networking managed by kubernetes.io/no-op
I0206 16:20:40.055138 5712 docker_service.go:237] Docker Info: &{ID:ZXWO:G2FL:QM3S:IAWM:ITQL:XHRH:ZA3T:FJMV:5JDW:IMKI:NIFS:2Z4M Containers:8 ContainersRunning:0 ContainersPaused:0 ContainersStopped:8 Images:11 Driver:devicemapper DriverStatus:[[Pool Name docker-253:0-33593794-pool] [Pool Blocksize 65.54 kB] [Base Device Size 10.74 GB] [Backing Filesystem xfs] [Data file /dev/loop0] [Metadata file /dev/loop1] [Data Space Used 1.775 GB] [Data Space Total 107.4 GB] [Data Space Available 14.72 GB] [Metadata Space Used 2.093 MB] [Metadata Space Total 2.147 GB] [Metadata Space Available 2.145 GB] [Thin Pool Minimum Free Space 10.74 GB] [Udev Sync Supported true] [Deferred Removal Enabled true] [Deferred Deletion Enabled true] [Deferred Deleted Device Count 0] [Data loop file /var/lib/docker/devicemapper/devicemapper/data] [Metadata loop file /var/lib/docker/devicemapper/devicemapper/metadata] [Library Version 1.02.140-RHEL7 (2017-05-03)]] SystemStatus:[] Plugins:{Volume:[local] Network:[overlay host null bridge] Authorization:[] Log:[]} MemoryLimit:true SwapLimit:true KernelMemory:true CPUCfsPeriod:true CPUCfsQuota:true CPUShares:true CPUSet:true IPv4Forwarding:true BridgeNfIptables:true BridgeNfIP6tables:true Debug:true NFd:16 OomKillDisable:true NGoroutines:25 SystemTime:2018-02-06T16:20:40.054685386Z LoggingDriver:journald CgroupDriver:systemd NEventsListener:0 KernelVersion:3.10.0-693.el7.x86_64 OperatingSystem:CentOS Linux 7 (Core) OSType:linux Architecture:x86_64 IndexServerAddress:https://index.docker.io/v1/ RegistryConfig:0xc42021a380 NCPU:2 MemTotal:2097782784 GenericResources:[] DockerRootDir:/var/lib/docker HTTPProxy: HTTPSProxy: NoProxy: Name:master1 Labels:[] ExperimentalBuild:false ServerVersion:1.12.6 ClusterStore: ClusterAdvertise: Runtimes:map[docker-runc:{Path:/usr/libexec/docker/docker-runc-current Args:[]} runc:{Path:docker-runc Args:[]}] DefaultRuntime:docker-runc Swarm:{NodeID: NodeAddr: LocalNodeState:inactive ControlAvailable:false Error: RemoteManagers:[] Nodes:0 Managers:0 Cluster:0xc420472640} LiveRestoreEnabled:false Isolation: InitBinary: ContainerdCommit:{ID: Expected:} RuncCommit:{ID: Expected:} InitCommit:{ID: Expected:} SecurityOptions:[seccomp]}
error: failed to run Kubelet: failed to create kubelet: misconfiguration: kubelet cgroup driver: "cgroupfs" is different from docker cgroup driver: "systemd"
معلومات الإصدار:
kubeadm version
kubeadm version: &version.Info{Major:"1", Minor:"9", GitVersion:"v1.9.2", GitCommit:"5fa2db2bd46ac79e5e00a4e6ed24191080aa463b", GitTreeState:"clean", BuildDate:"2018-01-18T09:42:01Z", GoVersion:"go1.9.2", Compiler:"gc", Platform:"linux/amd64"}
kubelet --version
Kubernetes v1.9.2
docker version
Client:
Version: 1.12.6
API version: 1.24
Package version: docker-1.12.6-71.git3e8e77d.el7.centos.1.x86_64
Go version: go1.8.3
Git commit: 3e8e77d/1.12.6
Built: Tue Jan 30 09:17:00 2018
OS/Arch: linux/amd64
Server:
Version: 1.12.6
API version: 1.24
Package version: docker-1.12.6-71.git3e8e77d.el7.centos.1.x86_64
Go version: go1.8.3
Git commit: 3e8e77d/1.12.6
Built: Tue Jan 30 09:17:00 2018
OS/Arch: linux/amd64
dkirrane هل kubelet.service
؟
قم بتشغيل systemctl daemon-reload
. ثم systemctl restart kubelet
.
لم يتم إصلاح هذه المشكلة في 1.9.3
معلومات الإصدار:
kubeadm version
kubeadm version: &version.Info{Major:"1", Minor:"9", GitVersion:"v1.9.3", GitCommit:"d2835416544f298c919e2ead3be3d0864b52323b", GitTreeState:"clean", BuildDate:"2018-02-07T11:55:20Z", GoVersion:"go1.9.2", Compiler:"gc", Platform:"linux/amd64"}
kubelet --version
Kubernetes v1.9.3
docker version
Client:
Version: 1.13.1
API version: 1.26
Go version: go1.6.2
Git commit: 092cba3
Built: Thu Nov 2 20:40:23 2017
OS/Arch: linux/amd64
Server:
Version: 1.13.1
API version: 1.26 (minimum version 1.12)
Go version: go1.6.2
Git commit: 092cba3
Built: Thu Nov 2 20:40:23 2017
OS/Arch: linux/amd64
Experimental: false
gades ما هو برنامج تشغيل cgroup الخاص بك؟
$ docker info | grep -i cgroup
تواجه نفس المشكلة.
docker info | grep -i cgroup
Cgroup Driver: systemd
cat /etc/systemd/system/kubelet.service.d/10-kubeadm.conf
[Service]
Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf"
Environment="KUBELET_SYSTEM_PODS_ARGS=--pod-manifest-path=/etc/kubernetes/manifests --allow-privileged=true"
Environment="KUBELET_NETWORK_ARGS=--network-plugin=cni --cni-conf-dir=/etc/cni/net.d --cni-bin-dir=/opt/cni/bin"
Environment="KUBELET_DNS_ARGS=--cluster-dns=10.96.0.10 --cluster-domain=cluster.local"
Environment="KUBELET_AUTHZ_ARGS=--authorization-mode=Webhook --client-ca-file=/etc/kubernetes/pki/ca.crt"
Environment="KUBELET_CADVISOR_ARGS=--cadvisor-port=0"
Environment="KUBELET_CGROUP_ARGS=--cgroup-driver=systemd"
Environment="KUBELET_CERTIFICATE_ARGS=--rotate-certificates=true --cert-dir=/var/lib/kubelet/pki"
ExecStart=
ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_SYSTEM_PODS_ARGS $KUBELET_NETWORK_ARGS $KUBELET_DNS_ARGS $KUBELET_AUTHZ_ARGS $KUBELET_CADVISOR_ARGS $KUBELET_CGROUP_ARGS $KUBELET_CERTIFICATE_ARGS $KUBELET_EXTRA_ARGS
I0227 13:17:43.802942 3493 docker_service.go:237] Docker Info: &{ID:RJUG:6DLB:A4JM:4T6H:JYKO:7JUC:NQCI:SLI2:DC64:ZXOT:DIX6:ASJY Containers:0 ContainersRunning:0 ContainersPaused:0 ContainersStopped:0 Images:0 Driver:overlay DriverStatus:[[Backing Filesystem extfs]] SystemStatus:[] Plugins:{Volume:[local] Network:[bridge overlay null host] Authorization:[] Log:[]} MemoryLimit:true SwapLimit:true KernelMemory:true CPUCfsPeriod:true CPUCfsQuota:true CPUShares:true CPUSet:true IPv4Forwarding:true BridgeNfIptables:true BridgeNfIP6tables:true Debug:false NFd:26 OomKillDisable:true NGoroutines:47 SystemTime:2018-02-27T13:17:43.802488651-08:00 LoggingDriver:journald CgroupDriver:systemd NEventsListener:0 KernelVersion:3.10.0-693.11.6.el7.x86_64 OperatingSystem:CentOS Linux 7 (Core) OSType:linux Architecture:x86_64 IndexServerAddress:https://index.docker.io/v1/ RegistryConfig:0xc42033d7a0 NCPU:64 MemTotal:270186274816 GenericResources:[] DockerRootDir:/var/lib/docker HTTPProxy: HTTPSProxy: NoProxy: Name:param03.lancelot.cluster.bds Labels:[] ExperimentalBuild:false ServerVersion:1.12.6 ClusterStore: ClusterAdvertise: Runtimes:map[docker-runc:{Path:/usr/libexec/docker/docker-runc-current Args:[]} runc:{Path:docker-runc Args:[]}] DefaultRuntime:docker-runc Swarm:{NodeID: NodeAddr: LocalNodeState:inactive ControlAvailable:false Error: RemoteManagers:[] Nodes:0 Managers:0 Cluster:0xc420360640} LiveRestoreEnabled:false Isolation: InitBinary: ContainerdCommit:{ID: Expected:} RuncCommit:{ID: Expected:} InitCommit:{ID: Expected:} SecurityOptions:[seccomp]}
error: failed to run Kubelet: failed to create kubelet: misconfiguration: kubelet cgroup driver: "cgroupfs" is different from docker cgroup driver: "systemd"
هل هناك مكان آخر يحصل فيه Kubelet على توجيه سائق cgroupfs؟
@ mas-dse-greina يرجى الرجوع إلى الحل في تعليقي .
dixudx حتى بعد إلحاق --cgroup-driver=systemd
بـ /etc/systemd/system/kubelet.service.d/10-kubeadm.conf
لا تزال المشكلة قائمة.
هذا هو أحدث ملف ،
[Service]
Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf"
Environment="KUBELET_SYSTEM_PODS_ARGS=--pod-manifest-path=/etc/kubernetes/manifests --allow-privileged=true"
Environment="KUBELET_NETWORK_ARGS=--network-plugin=cni --cni-conf-dir=/etc/cni/net.d --cni-bin-dir=/opt/cni/bin"
Environment="KUBELET_DNS_ARGS=--cluster-dns=10.96.0.10 --cluster-domain=cluster.local"
Environment="KUBELET_AUTHZ_ARGS=--authorization-mode=Webhook --client-ca-file=/etc/kubernetes/pki/ca.crt"
Environment="KUBELET_CADVISOR_ARGS=--cadvisor-port=0"
Environment="KUBELET_CERTIFICATE_ARGS=--rotate-certificates=true --cert-dir=/var/lib/kubelet/pki"
ExecStart=
ExecStart=/usr/bin/kubelet --cgroup-driver=systemd $KUBELET_KUBECONFIG_ARGS $KUBELET_SYSTEM_PODS_ARGS $KUBELET_NETWORK_ARGS $KUBELET_DNS_ARGS $KUBELET_AUTHZ_ARGS $KUBELET_CADVISOR_ARGS $KUBELET_CERTIFICATE_ARGS $KUBELET_EXTRA_ARGS
ملاحظة: لقد تم إصلاحها. بعد إعادة تشغيل البرنامج الخفي و kubelet ، استخدمت kubeadm init --pod-network-cidr = 10.244.0.0 / 16
نعم. أجد نفس الشيء. إلحاق --cgroup-driver = systemd
لا يبدو أن لها أي تأثير. لقد أعدت تشغيل الخدمة وحتى
أعاد تشغيل الكمبيوتر.
يبدو أن السلوك موجود فقط على هذه الآلة الواحدة. لقد كنت
ناجحًا مع 4 آلات أخرى ، ولكن يبدو أن هذا الجهاز لا يريد ذلك
الانضمام إلى الكتلة.
توني
يوم الخميس ، 1 مارس 2018 الساعة 11:44 صباحًا ، srinivas491-oneconvergence <
[email protected]> كتب:
dixudx https://github.com/dixudx حتى بعد إلحاق ملف
--cgroup-driver = systemd to / etc / systemd / system / kubelet.
service.d / 10-kubeadm.conf لا تزال المشكلة قائمة.-
أنت تتلقى هذا لأنه تم ذكرك.
قم بالرد على هذا البريد الإلكتروني مباشرة ، وقم بعرضه على GitHub
https://github.com/kubernetes/kubeadm/issues/639#issuecomment-369707723 ،
أو كتم الخيط
https://github.com/notifications/unsubscribe-auth/AVReEuQHJR80-8J4VLvACnGt1lTjEbYrks5taE-BgaJpZM4RSs0P
.
بعد تغيير ملف الوحدة ، تحتاج إلى systemdctl daemon-reload
حتى يسري التغيير.
FWIW هذا هو الافتراضي في RPMs ولكن ليس في .debs. هل هناك أي توزيع حالي في الدعم الرئيسي غير الافتراضي إلى systemd الآن؟
/ تعيين detiber
لقد واجهت نفس المشكلة مع kubeadm v1.9.3 و v1.9.4.
ابدأ تشغيل kubelet باستخدام --cgroup-driver = systemd
$ cat /etc/systemd/system/kubelet.service.d/10-kubeadm.conf
[Service]
Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf"
Environment="KUBELET_SYSTEM_PODS_ARGS=--pod-manifest-path=/etc/kubernetes/manifests --allow-privileged=true"
Environment="KUBELET_NETWORK_ARGS=--network-plugin=cni --cni-conf-dir=/etc/cni/net.d --cni-bin-dir=/opt/cni/bin"
Environment="KUBELET_DNS_ARGS=--cluster-dns=10.96.0.10 --cluster-domain=cluster.local"
Environment="KUBELET_AUTHZ_ARGS=--authorization-mode=Webhook --client-ca-file=/etc/kubernetes/pki/ca.crt"
Environment="KUBELET_CADVISOR_ARGS=--cadvisor-port=0"
Environment="KUBELET_CGROUP_ARGS=--cgroup-driver=systemd"
Environment="KUBELET_CERTIFICATE_ARGS=--rotate-certificates=true --cert-dir=/var/lib/kubelet/pki"
ExecStart=
ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_SYSTEM_PODS_ARGS $KUBELET_NETWORK_ARGS $KUBELET_DNS_ARGS $KUBELET_AUTHZ_ARGS $KUBELET_CADVISOR_ARGS $KUBELET_CGROUP_ARGS $KUBELET_CERTIFICATE_ARGS $KUBELET_EXTRA_ARGS
خدمة إعادة التحميل
$ systemctl daemon-reload
$ systemctl restart kubelet
تحقق من معلومات عامل الإرساء
$ docker info |grep -i cgroup
WARNING: Usage of loopback devices is strongly discouraged for production use. Use `--storage-opt dm.thinpooldev` to specify a custom block storage device.
Cgroup Driver: systemd
سجلات kubelet
$ kubelet logs
error: failed to run Kubelet: failed to create kubelet: misconfiguration: kubelet cgroup driver: "cgroupfs" is different from docker cgroup driver: "systemd"
معلومات الإصدار
$ kubeadm version
kubeadm version: &version.Info{Major:"1", Minor:"9", GitVersion:"v1.9.3", GitCommit:"d2835416544f298c919e2ead3be3d0864b52323b", GitTreeState:"clean", BuildDate:"2018-02-07T11:55:20Z", GoVersion:"go1.9.2", Compiler:"gc", Platform:"linux/amd64"}
$ kubelet --version
Kubernetes v1.9.3
$ docker version
Client:
Version: 1.12.6
API version: 1.24
Package version: docker-1.12.6-71.git3e8e77d.el7.centos.1.x86_64
Go version: go1.8.3
Git commit: 3e8e77d/1.12.6
Built: Tue Jan 30 09:17:00 2018
OS/Arch: linux/amd64
Server:
Version: 1.12.6
API version: 1.24
Package version: docker-1.12.6-71.git3e8e77d.el7.centos.1.x86_64
Go version: go1.8.3
Git commit: 3e8e77d/1.12.6
Built: Tue Jan 30 09:17:00 2018
OS/Arch: linux/amd64
$ cat /etc/redhat-release
CentOS Linux release 7.2.1511 (Core)
FrostyLeaf هل يمكنك إلقاء نظرة على سطر أوامر تشغيل kubelet لمعرفة ما إذا تم تحديد برنامج تشغيل cgroup هناك؟
شيء مثل ps aux |grep kubelet
أو cat /proc/<kubelet pid>/cmdline
المفترض أن يساعدك في رؤية ذلك.
@ bart0sh هذا هو:
$ ps aux |grep /bin/kubelet
root 13025 0.0 0.0 112672 980 pts/4 S+ 01:49 0:00 grep --color=auto /bin/kubelet
root 30495 4.5 0.6 546152 76924 ? Ssl 00:14 4:22 /usr/bin/kubelet --bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf --pod-manifest-path=/etc/kubernetes/manifests --allow-privileged=true --network-plugin=cni --cni-conf-dir=/etc/cni/net.d --cni-bin-dir=/opt/cni/bin --cluster-dns=10.96.0.10 --cluster-domain=cluster.local --authorization-mode=Webhook --client-ca-file=/etc/kubernetes/pki/ca.crt --cadvisor-port=0 --cgroup-driver=systemd --rotate-certificates=true --cert-dir=/var/lib/kubelet/pki --fail-swap-on=false
FrostyLeaf شكرا لك! يمكنني إعادة إنتاج هذا أيضًا. يبدو أن يكون خطأ. النظر اليها.
كحل مؤقت يمكنك تبديل عامل الإرساء و kubelet إلى برنامج تشغيل cgroupfs. يجب أن تعمل.
@ bart0sh غرامة. شكرا جزيلا. سأحاول ذلك.
كذلك هنا.
[root<strong i="7">@kubernetes</strong> ~]# cat /etc/redhat-release
CentOS Linux release 7.4.1708 (Core)
"" باش
[ root @ kubernetes ~] # kubelet --version
Kubernetes v1.9.4
```bash
[root<strong i="14">@kubernetes</strong> ~]# docker version
Client:
Version: 1.13.1
API version: 1.26
Package version: <unknown>
Go version: go1.8.3
Git commit: 774336d/1.13.1
Built: Wed Mar 7 17:06:16 2018
OS/Arch: linux/amd64
Server:
Version: 1.13.1
API version: 1.26 (minimum version 1.12)
Package version: <unknown>
Go version: go1.8.3
Git commit: 774336d/1.13.1
Built: Wed Mar 7 17:06:16 2018
OS/Arch: linux/amd64
Experimental: false
"" باش
[ root @ kubernetes ~] # إصدار kubeadm
إصدار kubeadm: & version.Info {Major: "1"، Minor: "9"، GitVersion: "v1.9.4"، GitCommit: "bee2d1505c4fe820744d26d41ecd3fdd4a3d6546"، GitTreeState: "clean"، BuildDate: "21-03-12T16 35Z "، GoVersion:" go1.9.3 "، المترجم:" gc "، النظام الأساسي:" linux / amd64 "}
### docker Cgroup is systemd
```bash
[root<strong i="21">@kubernetes</strong> ~]# docker info | grep Cgroup
WARNING: You're not using the default seccomp profile
Cgroup Driver: systemd
[root<strong i="25">@kubernetes</strong> ~]# grep cgroup /etc/systemd/system/kubelet.service.d/10-kubeadm.conf
Environment="KUBELET_CGROUP_ARGS=--cgroup-driver=systemd --runtime-cgroups=/systemd/system.slice --kubelet-cgroups=/systemd/system.slice"
[root<strong i="29">@kubernetes</strong> ~]# systemctl daemon-reload
[root<strong i="30">@kubernetes</strong> ~]# systemctl stop kubelet.service
[root<strong i="31">@kubernetes</strong> ~]# systemctl start kubelet.service
[root<strong i="6">@kubernetes</strong> ~]# kubelet logs
I0318 02:07:10.006151 29652 feature_gate.go:226] feature gates: &{{} map[]}
I0318 02:07:10.006310 29652 controller.go:114] kubelet config controller: starting controller
I0318 02:07:10.006315 29652 controller.go:118] kubelet config controller: validating combination of defaults and flags
I0318 02:07:10.018880 29652 server.go:182] Version: v1.9.4
I0318 02:07:10.018986 29652 feature_gate.go:226] feature gates: &{{} map[]}
I0318 02:07:10.019118 29652 plugins.go:101] No cloud provider specified.
W0318 02:07:10.019239 29652 server.go:328] standalone mode, no API client
W0318 02:07:10.068650 29652 **server.go:236] No api server defined - no events will be sent to API server.**
I0318 02:07:10.068670 29652 **server.go:428] --cgroups-per-qos enabled, but --cgroup-root was not specified. defaulting to /**
I0318 02:07:10.069130 29652 container_manager_linux.go:242] container manager verified user specified cgroup-root exists: /
I0318 02:07:10.069306 29652 container_manager_linux.go:247] Creating Container Manager object based on Node Config: {RuntimeCgroupsName: SystemCgroupsName: KubeletCgroupsName: ContainerRuntime:docker CgroupsPerQOS:true CgroupRoot:/ CgroupDriver:cgroupfs KubeletRootDir:/var/lib/kubelet ProtectKernelDefaults:false NodeAllocatableConfig:{KubeReservedCgroupName: SystemReservedCgroupName: EnforceNodeAllocatable:map[pods:{}] KubeReserved:map[] SystemReserved:map[] HardEvictionThresholds:[{Signal:nodefs.inodesFree Operator:LessThan Value:{Quantity:<nil> Percentage:0.05} GracePeriod:0s MinReclaim:<nil>} {Signal:imagefs.available Operator:LessThan Value:{Quantity:<nil> Percentage:0.15} GracePeriod:0s MinReclaim:<nil>} {Signal:memory.available Operator:LessThan Value:{Quantity:100Mi Percentage:0} GracePeriod:0s MinReclaim:<nil>} {Signal:nodefs.available Operator:LessThan Value:{Quantity:<nil> Percentage:0.1} GracePeriod:0s MinReclaim:<nil>}]} ExperimentalQOSReserved:map[] ExperimentalCPUManagerPolicy:none ExperimentalCPUManagerReconcilePeriod:10s}
I0318 02:07:10.069404 29652 container_manager_linux.go:266] Creating device plugin manager: false
W0318 02:07:10.072836 29652 kubelet_network.go:139] Hairpin mode set to "promiscuous-bridge" but kubenet is not enabled, falling back to "hairpin-veth"
I0318 02:07:10.072860 29652 kubelet.go:576] Hairpin mode set to "hairpin-veth"
I0318 02:07:10.075139 29652 client.go:80] Connecting to docker on unix:///var/run/docker.sock
I0318 02:07:10.075156 29652 client.go:109] Start docker client with request timeout=2m0s
I0318 02:07:10.080336 29652 docker_service.go:232] Docker cri networking managed by kubernetes.io/no-op
I0318 02:07:10.090943 29652 docker_service.go:237] Docker Info: &{ID:DUEI:P7Y3:JKGP:XJDI:UFXG:NAOX:K7ID:KHCF:PCGW:46QA:TQZB:WEXF Containers:18 ContainersRunning:17 ContainersPaused:0 ContainersStopped:1 Images:11 Driver:overlay2 DriverStatus:[[Backing Filesystem xfs] [Supports d_type true] [Native Overlay Diff true]] SystemStatus:[] Plugins:{Volume:[local] Network:[bridge host macvlan null overlay] Authorization:[] Log:[]} MemoryLimit:true SwapLimit:true KernelMemory:true CPUCfsPeriod:true CPUCfsQuota:true CPUShares:true CPUSet:true IPv4Forwarding:true BridgeNfIptables:true BridgeNfIP6tables:true Debug:false NFd:89 OomKillDisable:true NGoroutines:98 SystemTime:2018-03-18T02:07:10.083543475+01:00 LoggingDriver:journald CgroupDriver:systemd NEventsListener:0 KernelVersion:3.10.0-693.21.1.el7.x86_64 OperatingSystem:CentOS Linux 7 (Core) OSType:linux Architecture:x86_64 IndexServerAddress:https://index.docker.io/v1/ RegistryConfig:0xc42027b810 NCPU:2 MemTotal:2097364992 GenericResources:[] DockerRootDir:/var/lib/docker HTTPProxy: HTTPSProxy: NoProxy: Name:kubernetes.master Labels:[] ExperimentalBuild:false ServerVersion:1.13.1 ClusterStore: ClusterAdvertise: Runtimes:map[runc:{Path:docker-runc Args:[]} docker-runc:{Path:/usr/libexec/docker/docker-runc-current Args:[]}] DefaultRuntime:docker-runc Swarm:{NodeID: NodeAddr: LocalNodeState:inactive ControlAvailable:false Error: RemoteManagers:[] Nodes:0 Managers:0 Cluster:0xc4202a8f00} LiveRestoreEnabled:false Isolation: InitBinary:docker-init ContainerdCommit:{ID: Expected:aa8187dbd3b7ad67d8e5e3a15115d3eef43a7ed1} RuncCommit:{ID:N/A Expected:9df8b306d01f59d3a8029be411de015b7304dd8f} InitCommit:{ID:N/A Expected:949e6facb77383876aeff8a6944dde66b3089574} SecurityOptions:[name=seccomp,profile=/etc/docker/seccomp.json name=selinux]}
**error: failed to run Kubelet: failed to create kubelet: misconfiguration: kubelet cgroup driver: "cgroupfs" is different from docker cgroup driver: "systemd"**
[root<strong i="6">@kubernetes</strong> ~]# ps aux | grep -i kube
root 10182 0.4 1.2 54512 25544 ? Ssl mars17 1:10 kube-scheduler --leader-elect=true --kubeconfig=/etc/kubernetes/scheduler.conf --address=127.0.0.1
root 10235 1.8 12.7 438004 261948 ? Ssl mars17 4:44 kube-apiserver --kubelet-client-certificate=/etc/kubernetes/pki/apiserver-kubelet-client.crt --admission-control=Initializers,NamespaceLifecycle,LimitRanger,ServiceAccount,DefaultStorageClass,DefaultTolerationSeconds,NodeRestriction,ResourceQuota --allow-privileged=true --requestheader-group-headers=X-Remote-Group --requestheader-extra-headers-prefix=X-Remote-Extra- --requestheader-allowed-names=front-proxy-client --service-account-key-file=/etc/kubernetes/pki/sa.pub --client-ca-file=/etc/kubernetes/pki/ca.crt --kubelet-client-key=/etc/kubernetes/pki/apiserver-kubelet-client.key --requestheader-client-ca-file=/etc/kubernetes/pki/front-proxy-ca.crt --proxy-client-key-file=/etc/kubernetes/pki/front-proxy-client.key --requestheader-username-headers=X-Remote-User --tls-private-key-file=/etc/kubernetes/pki/apiserver.key --insecure-port=0 --enable-bootstrap-token-auth=true --tls-cert-file=/etc/kubernetes/pki/apiserver.crt --secure-port=6443 --kubelet-preferred-address-types=InternalIP,ExternalIP,Hostname --advertise-address=192.168.1.70 --service-cluster-ip-range=10.96.0.0/12 --proxy-client-cert-file=/etc/kubernetes/pki/front-proxy-client.crt --authorization-mode=Node,RBAC --etcd-servers=http://127.0.0.1:2379
root 10421 0.1 1.0 52464 22052 ? Ssl mars17 0:20 /usr/local/bin/kube-proxy --config=/var/lib/kube-proxy/config.conf
root 12199 1.7 8.5 326552 174108 ? Ssl mars17 4:11 kube-controller-manager --address=127.0.0.1 --leader-elect=true --controllers=*,bootstrapsigner,tokencleaner --cluster-signing-key-file=/etc/kubernetes/pki/ca.key --cluster-signing-cert-file=/etc/kubernetes/pki/ca.crt --use-service-account-credentials=true --kubeconfig=/etc/kubernetes/controller-manager.conf --root-ca-file=/etc/kubernetes/pki/ca.crt --service-account-private-key-file=/etc/kubernetes/pki/sa.key
root 22928 0.0 1.0 279884 20752 ? Sl 01:10 0:00 /home/weave/weaver --port=6783 --datapath=datapath --name=fe:9b:da:25:e2:b2 --host-root=/host --http-addr=127.0.0.1:6784 --status-addr=0.0.0.0:6782 --docker-api= --no-dns --db-prefix=/weavedb/weave-net --ipalloc-range=10.32.0.0/12 --nickname=kubernetes.master --ipalloc-init consensus=1 --conn-limit=30 --expect-npc 192.168.1.70
root 23308 0.0 0.7 38936 15340 ? Ssl 01:10 0:01 /kube-dns --domain=cluster.local. --dns-port=10053 --config-dir=/kube-dns-config --v=2
65534 23443 0.0 0.8 37120 18028 ? Ssl 01:10 0:03 /sidecar --v=2 --logtostderr --probe=kubedns,127.0.0.1:10053,kubernetes.default.svc.cluster.local,5,SRV --probe=dnsmasq,127.0.0.1:53,kubernetes.default.svc.cluster.local,5,SRV
root 29547 1.6 2.9 819012 61196 ? Ssl 02:07 0:22 /usr/bin/kubelet --bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf --pod-manifest-path=/etc/kubernetes/manifests --allow-privileged=true --network-plugin=cni --cni-conf-dir=/etc/cni/net.d --cni-bin-dir=/opt/cni/bin --cluster-dns=10.96.0.10 --cluster-domain=cluster.local --authorization-mode=Webhook --client-ca-file=/etc/kubernetes/pki/ca.crt --cadvisor-port=0 --cgroup-driver=systemd --runtime-cgroups=/systemd/system.slice --kubelet-cgroups=/systemd/system.slice --rotate-certificates=true --cert-dir=/var/lib/kubelet/pki
v1.9.5 تم إصلاح هذه المشكلة ، رائع! @ bart0sh
FrostyLeaf ما زلت قادرًا على إعادة إنتاجه باستخدام 1.9.5:
$ rpm -qa | grep kube
kubeadm-1.9.5-0.x86_64
kubelet-1.9.5-0.x86_64
kubernetes-cni-0.6.0-0.x86_64
kubectl-1.9.5-0.x86_64
معلومات عامل الإرساء 2> / dev / null | grep -i cgroup
سائق Cgroup: systemd
$ ps aux | grep cgroup-driver
جذر 29078 1.9 0.1 1222632 91824؟ Ssl 13:45 0:04 / usr / bin / kubelet --bootstrap-kubeconfig = / etc / kubernetes / bootstrap-kubelet.conf --kubeconfig = / etc / kubernetes / kubelet.conf --pod-manifest-path = / etc / kubernetes / manifests --allow -ivileged = true --network-plugin = cni --cni-conf-dir = / etc / cni / net.d --cni-bin-dir = / opt / cni / bin - -cluster-dns = 10.96.0.10 --cluster-domain = cluster.local --authorization-mode = Webhook --client-ca-file = / etc / kubernetes / pki / ca.crt - Tripadvisor-port = 0 - -cgroup-driver = systemd --rotate-الشهادات = صحيح --cert-dir = / var / lib / kubelet / pki
I0321 13: 50: 29.901008 30817 container_manager_linux.go: 247] إنشاء كائن مدير الحاوية استنادًا إلى تكوين العقدة: {RuntimeCgroupsName: SystemCgroupsName: KubeletCgroupsName: احتواء erRuntime: docker Cgro upsPerQOS: صحيح CgroupRoot: / Cgr: oupelet / kubelet ProtectKerne lDefaults: كاذبة NodeAllocatableConfig: {KubeReservedCgroupName: SystemReservedCgroupName: EnforceNodeAl تحديد مواقعها: خريطة [القرون: {}] KUB eReserved: خريطة [] الانظمه mReserved: خريطة [] HardEvictionThresholds: [{ إشارة: memory.available المشغل: LessThan القيمة: { الكمية: 100Mi P ercentage: 0 } Gr acePer: 0s MinReclaim:
خطأ: فشل في تشغيل Kubelet: فشل في إنشاء kubelet: تكوين خاطئ: kubelet cgroup driver: "cgroupfs" يختلف عن Docker cgroup driver: "systemd"
هل ما زلت تستخدم برنامج تشغيل systemd cgroup؟
أقترح إغلاق هذه القضية
لقد لاحظت سببين وراء ظهور معظم التقارير هنا:
نسيان تشغيل "systemctl daemon-reload" بعد تحرير عمليات الانسحاب في systemd. Eventhough -cgroup-driver = تمت إضافة systemd إلى /etc/systemd/system/kubelet.service.d/10-kubeadm.conf ولم يكن له أي تأثير وكان المحرك الافتراضي (أو المحدد مسبقًا مع --cgroup-driver) تستخدم.
تشغيل الأمر 'kubelet logs' لرؤية سجلات kubelet. الأمر الفرعي 'logs' غير موجود في kubelet ، لذا فإن 'kubelet logs' و 'kubelet' هما نفس الأوامر. تقوم 'kubelet logs' بتشغيل kubelet باستخدام برنامج التشغيل الافتراضي cgroup 'cgroupfs' ويشكو kubelet من عدم الاتساق بين برامج تشغيل kubelet و docker. يجب استخدام "journalctl -ux kubelet" لرؤية السجلات.
لقد اختبرت - برنامج تشغيل المجموعة = خيار النظام باستخدام kubelet 1.8.0 و 1.9.0 و 1.9.3 و 1.9.5. لم تكن هناك رسائل خطأ "cgroupfs مختلفة عن docker cgroup driver: systemd" في السجلات.
timothysc لا توجد اعتراضات بخصوص تعليقي الأخير. هل يمكنك إغلاق هذه القضية من فضلك؟ إنه ليس خطأ ، لأنه ناتج عن نقص المعرفة حول kubelet و / أو systemd.
أمرين قد يكون من المنطقي القيام به من وجهة نظري:
قد نرغب في النظر في إنشاء قضايا منفصلة لهؤلاء.
على أي حال ، يمكن إغلاق هذه القضية.
تبدو الأمور جيدة بالنسبة لي بفضل الإصدار 1.9.5.
اتفق مع @ bart0sh حول الحرف الأول الذي يتحقق من اتساق برنامج تشغيل المجموعة بين kubelet و docker.
ربما يجب أن تشير سجلات kublet {إلى journalactl -u kubelet.service
فقط 2 قيراط.
مرحبًا ، لدي نفس المشكلة.
سنتوس 7
إصدار kubeadm هو: 1.9.6
إصدار عامل ميناء هو: 1.13.1 إصدار API: 1.26
عندما ركضت: docker info | grep -i cgroup
،
حصلت على هذا:
WARNING: You're not using the default seccomp profile
Cgroup Driver: systemd
عندما أقوم بتشغيل cat /etc/systemd/system/kubelet.service.d/10-kubeadm.conf
،
يمكنني رؤية الإعدادات Environment="KUBELET_CGROUP_ARGS=--cgroup-driver=systemd"
في المكان.
لقد قمت بتشغيل برنامج systemctl daemon-reload * و * systemctl أعد تشغيل kubelet ، لكنه لا يزال معروضًا
التكوين الخاطئ: kubelet cgroup driver: "cgroupfs" يختلف عن docker cgroup driver: "systemd"
شيء غريب آخر هو: عندما قمت بتشغيل sed -i "s/cgroup-driver=systemd/cgroup-driver=cgroupfs/g" /etc/systemd/system/kubelet.service.d/10-kubeadm.conf
رأيت - تم تغيير cgroupfs .
ولكن بعد ذلك تم عرض رسالة الخطأ نفسها بالضبط عندما قمت بتشغيل kubelet status
مرة أخرى.
التكوين الخاطئ: kubelet cgroup driver: "cgroupfs" يختلف عن docker cgroup driver: "systemd"
لا أستطيع معرفة المشكلة.
سأحاول مع الإصدارات المذكورة أعلاه. هل يعرف أي شخص كيفية تثبيت إصدار أقدم من kubernetes؟ شكرا لك.
moqichenle هذا غريب. يجب أن تعمل. هل يمكنك إظهار إخراج الأوامر التالية؟
systemctl daemon-reload
systemctl restart kubelet
docker info 2>/dev/null |grep -i group
ps aux |grep group-driver
journalctl -u kubelet.service | grep "is different from docker cgroup driver"
هذا ما أراه في نظامي:
# systemctl daemon-reload
# systemctl restart kubelet
# docker info 2>/dev/null |grep -i group
Cgroup Driver: systemd
# ps aux |grep group-driver
root 25062 5.7 0.1 983760 78888 ? Ssl 15:26 0:00 /usr/bin/kubelet --bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf --pod-manifest-path=/etc/kubernetes/manifests --allow-privileged=true --network-plugin=cni --cni-conf-dir=/etc/cni/net.d --cni-bin-dir=/opt/cni/bin --cluster-dns=NN.NN.NN.NN --cluster-domain=cluster.local --authorization-mode=Webhook --client-ca-file=/etc/kubernetes/pki/ca.crt --cadvisor-port=0 --cgroup-driver=systemd --rotate-certificates=true --cert-dir=/var/lib/kubelet/pki
root 25520 0.0 0.0 9288 1560 pts/0 R+ 15:26 0:00 grep --color=auto group-driver
# journalctl -u kubelet.service | grep "is different from docker cgroup driver"
#
@ bart0sh مرحبًا ، شكرًا لك على المساعدة.
هذا ما لدي (قبل بدء kubeadm init):
[root<strong i="8">@localhost</strong> bin]# docker info 2>/dev/null |grep -i group
Cgroup Driver: systemd
[root<strong i="9">@localhost</strong> bin]# ps aux |grep group-driver
root 13472 0.0 0.1 12476 984 pts/0 R+ 13:23 0:00 grep --color=auto group-driver
بعد كتابة الأمر kubeadm init ،
هذا ما لدي:
[vagrant<strong i="14">@localhost</strong> ~]$ ps aux |grep group-driver
root 13606 5.1 4.5 605240 22992 ? Ssl 13:25 0:03 /usr/bin/kubelet --kubeconfig=/etc/kubernetes/kubelet.conf --require-kubeconfig=true --pod-manifest-path=/etc/kubernetes/manifests --allow-privileged=true --network-plugin=cni --cni-conf-dir=/etc/cni/net.d --cni-bin-dir=/opt/cni/bin --cluster-dns=10.96.0.10 --cluster-domain=cluster.local --cgroup-driver=systemd --hostname-override=default
vagrant 13924 0.0 0.1 12476 984 pts/1 R+ 13:26 0:00 grep --color=auto group-driver
ولكن بعد ذلك ستفشل kubeadm init بسبب أن kubelet غير صحي أو أن kubelet لا يعمل.
moqichenle هل قمت بتشغيل systemctl daemon-reload
و systemctl restart kubelet
قبل تشغيل kubeadm init
؟
هل يمكنك تشغيل journalctl -u kubelet.service
بعد kubeadm init
وإظهار ناتجها هنا؟
نعم لقد قمت بتشغيل الأمرين قبل الحرف الأول.
شيء غريب: لم أر أي ناتج عندما قمت بتشغيل journalctl -u kubelet.service | grep "is different from docker cgroup driver"
.
لقد رأيت هذا الخطأ فقط عندما قمت بتشغيل kubelet status
.
moqichenle kubelet status
الأمر غير موجود. هذا يعني أنك تقوم بتشغيل kubelet باستخدام المعلمات الافتراضية (وبرنامج تشغيل cgroup الافتراضي). لهذا السبب تحصل على الخطأ. انظر رسائلي بخصوص kubelet logs
لمزيد من التفاصيل.
هل ترى أي شيء مشبوه (أخطاء ، تحذيرات) في إخراج journalctl -u kubelet.service
؟
آه لقد فهمت. شكرا لك. :)
حسنًا .. هناك أخطاء موضحة أدناه:
Mar 26 13:39:40 localhost.localdomain kubelet[13606]: E0326 13:39:34.198202 13606 kuberuntime_image.go:140] ListImages failed: rpc error: code = DeadlineExceeded desc = context deadline exceeded
Mar 26 13:39:45 localhost.localdomain kubelet[13606]: E0326 13:39:44.824222 13606 kubelet.go:1259] Container garbage collection failed: rpc error: code = DeadlineExceeded desc = context deadline exceeded
Mar 26 13:39:47 localhost.localdomain kubelet[13606]: W0326 13:39:44.749819 13606 image_gc_manager.go:173] [imageGCManager] Failed to monitor images: rpc error: code = DeadlineExceeded desc = context deadline exceeded
Mar 26 13:39:49 localhost.localdomain kubelet[13606]: E0326 13:39:49.486990 13606 kubelet.go:1281] Image garbage collection failed once. Stats initialization may not have completed yet: failed to get image stats: rpc error: code = DeadlineExceeded desc = context deadline exceeded
Mar 26 13:42:03 localhost.localdomain kubelet[13606]: E0326 13:42:03.934312 13606 remote_runtime.go:169] ListPodSandbox with filter nil from runtime service failed: rpc error: code = DeadlineExceeded desc = context deadline exceeded
Mar 26 13:42:03 localhost.localdomain kubelet[13606]: E0326 13:42:03.934359 13606 kuberuntime_sandbox.go:192] ListPodSandbox failed: rpc error: code = DeadlineExceeded desc = context deadline exceeded
Mar 26 13:42:03 localhost.localdomain kubelet[13606]: E0326 13:42:03.934374 13606 generic.go:197] GenericPLEG: Unable to retrieve pods: rpc error: code = DeadlineExceeded desc = context deadline exceeded
Mar 26 13:42:03 localhost.localdomain kubelet[13606]: E0326 13:42:03.936761 13606 remote_image.go:67] ListImages with filter nil from image service failed: rpc error: code = DeadlineExceeded desc = context deadline exceeded
Mar 26 13:42:03 localhost.localdomain kubelet[13606]: E0326 13:42:03.936788 13606 kuberuntime_image.go:106] ListImages failed: rpc error: code = DeadlineExceeded desc = context deadline exceeded
Mar 26 13:42:03 localhost.localdomain kubelet[13606]: W0326 13:42:03.936795 13606 image_gc_manager.go:184] [imageGCManager] Failed to update image list: rpc error: code = DeadlineExceeded desc = context deadline exceeded
Mar 26 13:42:03 localhost.localdomain kubelet[13606]: E0326 13:42:03.937002 13606 remote_runtime.go:69] Version from runtime service failed: rpc error: code = DeadlineExceeded desc = context deadline exceeded
Mar 26 13:42:03 localhost.localdomain kubelet[13606]: E0326 13:42:03.937020 13606 kuberuntime_manager.go:245] Get remote runtime version failed: rpc error: code = DeadlineExceeded desc = context deadline exceeded
عندما قمت بتشغيل kubeadm init ، إذا كانت إعدادات محرك cgroup مختلفة:
يظهر:
`[etcd] كتب بيان Static Pod لمثيل محلي إلخ إلى" /etc/kubernetes/manifests/etcd.yaml "
[init] انتظار kubelet لتمهيد مستوى التحكم مثل Static Pods من الدليل "/ etc / kubernetes / manifests".
[init] قد يستغرق هذا دقيقة أو أكثر إذا كان لا بد من سحب صور مستوى التحكم.
[kubelet-check] يبدو أن الكوبيليت لا يعمل أو لا يتمتع بصحة جيدة.
عندما تكون إعدادات محرك cgroup هي نفسها ،
يتم تعليقه فقط في خطوة سحب لوحة التحكم وينتهي به الأمر مع kubelet غير صحي أو لا يعمل.
moqichenle يبدو الأمر وكأنه مشكلة عامل ميناء بالنسبة لي. لا علاقة له بهذا الذي أعتقد.
يمكنك البحث عن "تجاوز الموعد النهائي للسياق" لمزيد من المعلومات.
@ bart0sh نعم ، لا تعتقد أنه يتعلق بهذه المشكلة بعد الآن. سوف تفعل. شكرا جزيلا لك د
يجب أن يساعد هذا PR في تقليل الارتباك الناجم عن تشغيل "سجلات kubelet" و "حالة kubelet" وأوامر kubelet الأخرى غير الموجودة: # 61833
يجعل kubelet ينتج خطأ ويخرج إذا تم تشغيله باستخدام سطر أوامر غير صحيح.
من فضلك اعد النظر.
مرحبًا ، يمكنني إعادة إنتاج هذه المشكلة على 1.10 ، فقط للتحقق من أن هذا خطأ وسيتم إصلاحه في الإصدار 1.10؟
هل هذا خطأ وسيتم إصلاحه في الإصدار 1.11
IMO هذا هو عدم تطابق في التكوين بين docker
و kubelet
، وليس خطأ.
قبل تشغيل kubeadm init
، يجب إجراء فحص مطلوب مسبقًا لبرنامج تشغيل cgroup .
dixudx أحاول تثبيت k8s متبوعًا بدليل التثبيت من موقع الويب https://kubernetes.io/docs/setup/independent/install-kubeadm/ ، وتم تعليق الخطوات بسبب هذه المشكلة ، فيما يلي تفاصيل بيئتي ؛
نظام التشغيل:
CentOS Linux release 7.4.1708 (Core)
<br i="12"/>
Server Version: 1.13.1<br i="13"/>
API version: 1.26 (minimum version 1.12)<br i="14"/>
Package version: <unknown i="15"><br i="16"/>
Go version: go1.8.3<br i="17"/>
Git commit: 774336d/1.13.1<br i="18"/>
Built: Wed Mar 7 17:06:16 2018<br i="19"/>
OS/Arch: linux/amd64<br i="20"/>
Experimental: false</unknown>
kubeadm.x86_64 1.10.1-0<br i="24"/>
kubectl.x86_64 1.10.1-0<br i="25"/>
kubelet.x86_64 1.10.1-0<br i="26"/>
kubernetes-cni.x86_64 0.6.0-0
cgroup بين عامل ميناء و kubelet
docker info | grep -i cgroup<br i="30"/> WARNING: You're not using the default seccomp profile<br i="31"/> Cgroup Driver: systemd
cat /etc/systemd/system/kubelet.service.d/10-kubeadm.conf | grep -i cgroup<br i="35"/> Environment="KUBELET_CGROUP_ARGS=--cgroup-driver=systemd"
إنها نفس مجموعة cgroup مثل systemd ، وبالتالي لا حاجة لضبط cgroup من kubelet يدويًا. وبدأت في تشغيل kubelet لكنها فشلت بسبب رسالة الخطأ كما ذكرنا
[root@K8S-Master /]# kubelet logs
I0424 10:41:29.240854 19245 feature_gate.go:226] feature gates: &{{} map[]}
W0424 10:41:29.247770 19245 cni.go:171] Unable to update cni config: No networks found in /etc/cni/net.d
W0424 10:41:29.253069 19245 hostport_manager.go:68] The binary conntrack is not installed, this can cause failures in network connection cleanup.
I0424 10:41:29.253111 19245 server.go:376] Version: v1.10.1
I0424 10:41:29.253175 19245 feature_gate.go:226] feature gates: &{{} map[]}
I0424 10:41:29.253290 19245 plugins.go:89] No cloud provider specified.
W0424 10:41:29.253327 19245 server.go:517] standalone mode, no API client
W0424 10:41:29.283851 19245 server.go:433] No api server defined - no events will be sent to API server.
I0424 10:41:29.283867 19245 server.go:613] --cgroups-per-qos enabled, but --cgroup-root was not specified. defaulting to /
I0424 10:41:29.284091 19245 container_manager_linux.go:242] container manager verified user specified cgroup-root exists: /
I0424 10:41:29.284101 19245 container_manager_linux.go:247] Creating Container Manager object based on Node Config: {RuntimeCgroupsName: SystemCgroupsName: KubeletCgroupsName: ContainerRuntime:docker CgroupsPerQOS:true CgroupRoot:/ CgroupDriver:cgroupfs KubeletRootDir:/var/lib/kubelet ProtectKernelDefaults:false NodeAllocatableConfig:{KubeReservedCgroupName: SystemReservedCgroupName: EnforceNodeAllocatable:map[pods:{}] KubeReserved:map[] SystemReserved:map[] HardEvictionThresholds:[{Signal:memory.available Operator:LessThan Value:{Quantity:100Mi Percentage:0} GracePeriod:0s MinReclaim:<nil i="39">} {Signal:nodefs.available Operator:LessThan Value:{Quantity:<nil i="40"> Percentage:0.1} GracePeriod:0s MinReclaim:<nil i="41">} {Signal:nodefs.inodesFree Operator:LessThan Value:{Quantity:<nil i="42"> Percentage:0.05} GracePeriod:0s MinReclaim:<nil i="43">} {Signal:imagefs.available Operator:LessThan Value:{Quantity:<nil i="44"> Percentage:0.15} GracePeriod:0s MinReclaim:<nil i="45">}]} ExperimentalQOSReserved:map[] ExperimentalCPUManagerPolicy:none ExperimentalCPUManagerReconcilePeriod:10s ExperimentalPodPidsLimit:-1 EnforceCPULimits:true}
I0424 10:41:29.284195 19245 container_manager_linux.go:266] Creating device plugin manager: true
I0424 10:41:29.284242 19245 state_mem.go:36] [cpumanager] initializing new in-memory state store
I0424 10:41:29.284292 19245 state_mem.go:87] [cpumanager] updated default cpuset: ""
I0424 10:41:29.284326 19245 state_mem.go:95] [cpumanager] updated cpuset assignments: "map[]"
W0424 10:41:29.286890 19245 kubelet_network.go:139] Hairpin mode set to "promiscuous-bridge" but kubenet is not enabled, falling back to "hairpin-veth"
I0424 10:41:29.286912 19245 kubelet.go:556] Hairpin mode set to "hairpin-veth"
I0424 10:41:29.288233 19245 client.go:75] Connecting to docker on unix:///var/run/docker.sock
I0424 10:41:29.288268 19245 client.go:104] Start docker client with request timeout=2m0s
W0424 10:41:29.289762 19245 cni.go:171] Unable to update cni config: No networks found in /etc/cni/net.d
W0424 10:41:29.292669 19245 hostport_manager.go:68] The binary conntrack is not installed, this can cause failures in network connection cleanup.
I0424 10:41:29.293904 19245 docker_service.go:244] Docker cri networking managed by kubernetes.io/no-op
I0424 10:41:29.302849 19245 docker_service.go:249] Docker Info: &{ID:UJ6K:K2AW:HKQY:5MRL:KROX:FTJV:3TKY:GHGI:L7GV:UQFP:AU2Q:AKC6 Containers:0 ContainersRunning:0 ContainersPaused:0 ContainersStopped:0 Images:0 Driver:overlay2 DriverStatus:[[Backing Filesystem xfs] [Supports d_type true] [Native Overlay Diff true]] SystemStatus:[] Plugins:{Volume:[local] Network:[bridge host macvlan null overlay] Authorization:[] Log:[]} MemoryLimit:true SwapLimit:true KernelMemory:true CPUCfsPeriod:true CPUCfsQuota:true CPUShares:true CPUSet:true IPv4Forwarding:true BridgeNfIptables:true BridgeNfIP6tables:true Debug:false NFd:16 OomKillDisable:true NGoroutines:26 SystemTime:2018-04-24T10:41:29.295491971+08:00 LoggingDriver:journald CgroupDriver:systemd NEventsListener:0 KernelVersion:3.10.0-693.5.2.el7.x86_64 OperatingSystem:CentOS Linux 7 (Core) OSType:linux Architecture:x86_64 IndexServerAddress:https://index.docker.io/v1/ RegistryConfig:0xc4203dcbd0 NCPU:4 MemTotal:8371650560 GenericResources:[] DockerRootDir:/var/lib/docker HTTPProxy: HTTPSProxy: NoProxy: Name:K8S-Master Labels:[] ExperimentalBuild:false ServerVersion:1.13.1 ClusterStore: ClusterAdvertise: Runtimes:map[docker-runc:{Path:/usr/libexec/docker/docker-runc-current Args:[]} runc:{Path:docker-runc Args:[]}] DefaultRuntime:docker-runc Swarm:{NodeID: NodeAddr: LocalNodeState:inactive ControlAvailable:false Error: RemoteManagers:[] Nodes:0 Managers:0 Cluster:0xc4201317c0} LiveRestoreEnabled:false Isolation: InitBinary:docker-init ContainerdCommit:{ID: Expected:aa8187dbd3b7ad67d8e5e3a15115d3eef43a7ed1} RuncCommit:{ID:N/A Expected:9df8b306d01f59d3a8029be411de015b7304dd8f} InitCommit:{ID:N/A Expected:949e6facb77383876aeff8a6944dde66b3089574} SecurityOptions:[name=seccomp,profile=/etc/docker/seccomp.json name=selinux]}
F0424 10:41:29.302989 19245 server.go:233] failed to run Kubelet: failed to create kubelet: misconfiguration: kubelet cgroup driver: <font i="46">"cgroupfs"</font> is different from docker cgroup driver: "systemd"</nil></nil></nil></nil></nil></nil></nil>
المعلومات الأساسية التي أراها من السجل هي CgroupDriver لا تزال cgroupfs ، أعتقد أن هذا هو السبب وراء مشكلة عدم تطابق cgroup ، ولكن ليس لدي فكرة عن كيفية ضبط هذه القيمة الافتراضية؟ هل يمكنك المساعدة في توضيح ذلك ، شكرا!
wshandao من فضلك توقف عن استخدام kubelet logs
، وهي ليست الطريقة الصحيحة لمشاهدة السجل.
الطريقة الصحيحة لمشاهدة السجل هي journalctl -f -u kubelet
.
شكرًا dixudx ، خطأي وهذه ليست مشكلة في الواقع لعقد التثبيت الخاص بي
أنا أؤيد طلبات إغلاق هذا.
تغطي الوثائق بالفعل ما يحتاجه المستخدمون للتحقق من برنامج تشغيل cgroups مطابق.
هذا مستقل عن kubeadm وهو أكثر من مشكلة kubelet vs docker.
تقارير مماثلة:
https://github.com/kubernetes/kubernetes/issues/59794
https://github.com/openshift/origin/issues/18776
https://github.com/kubernetes/kubernetes/issues/43805
تضمين التغريدة
FWIW هذا هو الافتراضي في RPMs ولكن ليس في .debs. هل هناك أي توزيع حالي في الدعم الرئيسي غير الافتراضي إلى systemd الآن؟
لقد اختبرت هذا على 3 أنواع مختلفة من Ubuntu 16.04.2 و 16.04.0 و 17.04 ويبدو أن برنامج تشغيل عامل الإرساء هو cgroupfs
، وهو ما يطابق قيمة الوسيطة الافتراضية لـ kublet.
على عكس تقرير المستخدم في المنشور الأصلي حيث يستخدم عامل الإرساء systemd
على 16.04.3
، لذلك يمكن أن يتغير تكوين عامل الإرساء بين إصدارات عامل الإرساء. من الصعب القول.
نظرًا لاختباراتي ، لا أرى حاجة لإضافة Environment="KUBELET_CGROUP_ARGS=--cgroup-driver=systemd"
في debs لأن ذلك سيكون خطأ بالنسبة لإصدارات Ubuntu هذه على الأقل.
ما يجب أن يفعله kublet لتجربة مستخدم ودية هو دائمًا مطابقة سائق عامل الإرساء تلقائيًا.
@ neolit123 موافق.
ومع ذلك ، أعتقد أننا يجب أن نفتح مشكلة مستند تحرّي الخلل وإصلاحه JIC.
إغلاق هذا واحد وسأبدأ المستندات الخاصة بي.
واجهت نفس المشكلة على Ubuntu 16.04 ، إصدار Kube v1.10.4. إصدار Docker 1.13.1
بدأ Docker بـ native.cgroupdriver = systemd. تم تعيين هذا التكوين بواسطتي في /etc/docker/daemon.json
{
"exec-opts": ["native.cgroupdriver=systemd"]
}
لقد قمت بتعديل التكوين في /etc/systemd/system/kubelet.service.d/10-kubeadm.conf
تمت إضافة سطر جديد: Environment="KUBELET_CGROUP_ARGS=--cgroup-driver=systemd"
وأضف المعلمة $KUBELET_CGROUP_ARGS
في ExecStart
ثم قام Systemctl daemon-reload وإعادة تشغيل kubelet الخدمة.
بدأ Kubelet بشكل صحيح.
تضمين التغريدة
نحن نعمل على تحسين مستندات تحرّي الخلل وإصلاحه ، ولكن أيضًا في 1.11 وما بعده يجب أن تتم مطابقة برنامج تشغيل cgroup لـ docker تلقائيًا بواسطة kubeadm.
أعتقد أنه خطأ. لقد راجعت إصدار عامل الإرساء وملف kubeadm ، بالطبع يقوم البرنامج النصي kubeadm بهذا التحقق أيضًا. ومع ذلك أحصل على رسالة خطأ عدم تطابق. إذا قرأ شخص ما بعناية ، يمكنك رؤية بعض ما ورد أعلاه لديه مشكلة بعد تعيين المعلمة بشكل صحيح.
هذا لا يزال يحدث ، لا شيء يعمل!
التعليق الأكثر فائدة
لقد واجهت نفس المشكلة مع kubeadm
v1.9.2
لكن يمكنني أن أرى أن kubelet مهيأ لاستخدام برنامج تشغيل systemd cgroup.يستخدم kubelet --cgroup-driver = systemd
معلومات عامل ميناء |
سجلات kubelet
معلومات الإصدار: