Kubernetes: क्यूब-प्रॉक्सी आईपीवी मोड कुछ घंटों के बाद हैंग हो जाता है, मैनुअल रीस्टार्ट की जरूरत होती है

/ sig नेटवर्क

वही त्रुटि। 1.11.1 से अपग्रेड। क्यूब-प्रॉक्सी बीकॉम के अलावा सब कुछ अच्छा हो जाता है स्थिर नहीं है, कुछ समय फली svc तक नहीं पहुंच सकते हैं हालांकि उनके समापन बिंदु ठीक हैं .. और नाम रिज़ॉल्यूशन के समान है। इसलिए मुझे लगता है कि यहां एक महत्वपूर्ण बग मौजूद हो सकता है।

/ क्षेत्र आईपीवी

@gjcarneiro क्या आप इस समस्या का समाधान करते हैं?

खैर, मैंने क्लस्टर को डिफ़ॉल्ट (iptables) मोड पर वापस स्विच किया, तब से बहुत स्थिर प्रतीत होता है ...

@ कुबेरनेट्स / सिग-नेटवर्क-बग्स

@berlinsaint : एक अधिसूचना को ट्रिगर करने के लिए उल्लेख दोहराते हुए:
@ Kubernetes / sig-नेटवर्क-कीड़े

एक ही समस्या, दोनों 1.12.2 और 1.13.0-beta1। @ m1093782566 @ सिंह-वी

@gjcarneiro का मतलब है कि कर्नेल 4.15 में, यह एक ही समस्या है?

@annProg

वही समस्या, दोनों 1.12.2 और 1.13.0-beta1। @ m1093782566 @ शेर-वी

आपका मेलबॉक्स कितना है, इसे जानें। ।किशोर

@annProg

वही समस्या, दोनों 1.12.2 और 1.13.0-beta1। @ m1093782566 @ शेर-वी

आपका मेलबॉक्स कितना है, इसे जानें। ।किशोर

देखने के लिए मेरे अवतार पर क्लिक करें

मैं अपने केंद्रीकृत लॉगिंग सिस्टम में भी इसे बार-बार देख रहा हूं:

  | Time | sys_name | log_lvl | tag | log_msg
  | November 27th 2018, 17:56:23.501 | k8lab2bs | 6 | kube.kube-system.kube-proxy | lw: remote out of the list: 10.12.12.1:443/TCP/10.12.100.133:6443
  | November 27th 2018, 17:56:23.500 | k8lab2bs | 6 | kube.kube-system.kube-proxy | Deleting rs: 10.12.12.1:443/TCP/10.12.100.133:6443
  | November 27th 2018, 17:56:23.497 | k8lab2bs | 6 | kube.kube-system.kube-proxy | Trying to delete rs: 10.12.12.1:443/TCP/10.12.100.133:6443

मैं v1.12.3 चला रहा हूं (ताजा इंस्टॉल, अपग्रेड नहीं)।

नमस्ते। रिपोर्ट के लिए धन्यवाद, मैं एक शोध करूंगा और यह पता लगाने की कोशिश करूंगा कि क्या हुआ, किसी भी प्रगति की रिपोर्ट मैं यहां करूंगा।

क्या हुआ इसके अलावा, जो पता लगाना अच्छा है, मैं आईपीवीएस के बारे में आश्वस्त नहीं हूं, जब तक कि कोड में जगह नहीं है जो टूटे हुए नेटलिंक सॉकेट का पता लगाता है और रीसेट करता है। क्योंकि लॉग से जो मैं अनुमान लगा सकता हूं और यह पता चलता है कि नेटलिंक सॉकेट टूटी हुई स्थिति में हो जाता है और जो कार्य / से / के लिए इसे पढ़ता / लिखता है वह हमेशा के लिए लटका रहेगा। मुझे लगता है कि क्यूब-प्रॉक्सी को कोड की आवश्यकता होती है जो इस समस्या का पता लगाता है, और अगर ऐसा होता है तो खरोंच से एक नया नेटलिंक सॉकेट बनाता है, और शायद उस कार्य को पुनरारंभ करें जो इसे संभालता है। लेकिन, नहीं, मैं स्वयंसेवा नहीं कर रहा हूं, मुझे भी नहीं पता, क्षमा करें।

क्योंकि लॉग से जो मैं अनुमान लगा सकता हूं और यह पता चलता है कि नेटलिंक सॉकेट टूटी हुई स्थिति में हो जाता है और जो कार्य / से / के लिए इसे पढ़ता / लिखता है वह हमेशा के लिए लटका रहेगा।

हमने सुशोभित समाप्ति का समर्थन करने के लिए कुछ दिनों पहले गो नेटलिंक संस्करण को अपग्रेड किया था। नेटलिंक लाइब्रेरी पहले से काफी स्थिर चल रही थी। मुझे यकीन नहीं है कि अगर यह कारण है।

1.12.3 एक ही त्रुटि के साथ।
INFO लॉग को फ़िल्टर करने के बाद,
kubectl -n kube-system logs kube-proxy-29zh8|egrep ^E; kubectl -n kube-system logs kube-proxy-2pqdn|egrep ^E; kubectl -n kube-system logs kube-proxy-4xw8q|egrep ^E; kubectl -n kube-system logs kube-proxy-6j4bc|egrep ^E; kubectl -n kube-system logs kube-proxy-brbjb|egrep ^E; kubectl -n kube-system logs kube-proxy-r6cg2|egrep ^E; kubectl -n kube-system logs kube-proxy-rpl6t|egrep ^E; निष्पादित करें
और सभी प्रॉक्सी नोड लॉग है

bash E1129 01:01:10.862180 1 proxier.go:430] Failed to execute iptables-restore for nat: exit status 1 (iptables-restore: line 7 failed E1129 21:09:11.422553 1 proxier.go:1485] Failed to get IPVS service, error: Expected only one service obtained=0 E1129 21:09:11.422699 1 proxier.go:1116] Failed to sync endpoint for service: 172.17.0.1:31800/TCP, err: Expected only one service obtained=0 E1129 01:01:11.618125 1 proxier.go:430] Failed to execute iptables-restore for nat: exit status 1 (iptables-restore: line 7 failed E1129 01:01:11.905626 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:01:41.771596 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:02:11.923872 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:02:42.060658 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:03:12.326762 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:03:42.718417 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:04:12.859933 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:04:42.963527 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:05:13.078486 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:05:43.185141 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:06:13.303090 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:06:43.408582 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:07:13.550358 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:07:43.686235 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:08:13.786326 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:08:43.981764 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:09:14.188053 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:09:44.316316 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:10:14.440466 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:10:44.550092 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:11:14.658190 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:11:44.765396 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:12:14.975724 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:12:45.085632 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:13:15.317679 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:13:45.432469 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:14:15.689681 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:14:45.813565 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:15:33.434931 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:16:03.578017 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:16:33.709744 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:17:03.823325 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:17:33.935191 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:18:04.053183 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:18:34.248994 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:19:04.375946 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:19:34.552779 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:19:36.596182 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:19:47.433846 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:20:17.534206 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:20:47.682350 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:21:17.825175 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:21:47.942548 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:22:18.055820 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:22:48.149494 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:23:18.564985 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:23:48.678462 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:24:18.836217 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:24:48.991344 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:25:19.091032 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:25:49.187178 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:26:19.301770 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:26:49.425812 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:27:19.606711 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:27:49.721224 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:28:20.109117 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:28:50.211574 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:29:20.405007 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:29:50.507766 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:30:20.605471 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:30:50.702798 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:31:20.807400 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:31:50.903049 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:32:21.005618 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:32:51.106378 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:33:21.224447 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:33:51.354916 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:34:21.467898 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:34:51.583216 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:35:21.691099 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:35:51.797151 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:36:21.921057 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:36:52.083821 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:37:02.445737 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:37:07.427811 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:37:37.546362 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:38:07.651769 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:38:37.797858 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:39:08.064112 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:39:38.181089 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:40:08.282892 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:40:38.390167 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:41:08.508549 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:41:38.617921 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:42:08.728384 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:42:38.844074 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:43:08.973517 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:43:39.092095 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:44:09.202329 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:44:39.363721 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:45:09.476240 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:45:39.764944 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:46:09.894587 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:46:40.013388 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:47:10.127894 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:47:40.236119 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:48:10.397111 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:48:40.600084 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:49:10.877034 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:49:41.023593 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:50:11.149894 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:50:41.262320 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:51:11.410407 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:51:41.547057 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:52:11.609974 1 proxier.go:1544] Failed to add destination: 172.31.200.9:443, error: file exists E1129 01:52:11.610088 1 graceful_termination.go:89] Try delete rs "10.96.0.1:443/TCP/172.31.10.38:6443" err: invalid argument E1129 01:52:11.616690 1 proxier.go:1485] Failed to get IPVS service, error: Expected only one service obtained=0 E1129 01:52:11.616767 1 proxier.go:1116] Failed to sync endpoint for service: 172.18.0.1:31645/TCP, err: Expected only one service obtained=0 E1129 01:01:12.181112 1 proxier.go:430] Failed to execute iptables-restore for nat: exit status 1 (iptables-restore: line 7 failed E1129 01:01:22.278474 1 proxier.go:430] Failed to execute iptables-restore for nat: exit status 1 (iptables-restore: line 7 failed E1129 01:01:21.459378 1 proxier.go:430] Failed to execute iptables-restore for nat: exit status 1 (iptables-restore: line 7 failed E1129 01:01:17.442316 1 proxier.go:430] Failed to execute iptables-restore for nat: exit status 1 (iptables-restore: line 7 failed E1129 20:10:17.955872 1 proxier.go:1455] Failed to add IPVS service "dev-fffrf/mysql-testportal:mysql": file exists E1129 20:10:17.955863 1 graceful_termination.go:89] Try delete rs "10.100.217.68:15004/TCP/192.100.143.225:15004" err: Failed to delete rs "10.100.217.68:15004/TCP/192.100.143.225:15004", can't find the real server E1129 20:10:17.955892 1 proxier.go:1119] Failed to sync service: 172.17.0.1:31645/TCP, err: file exists E1129 20:10:17.956412 1 proxier.go:1485] Failed to get IPVS service, error: invalid argument E1129 20:10:17.956417 1 graceful_termination.go:89] Try delete rs "10.96.0.1:443/TCP/172.31.10.38:6443" err: Failed to delete rs "10.96.0.1:443/TCP/172.31.10.38:6443", can't find the real server E1129 20:10:17.956426 1 proxier.go:1116] Failed to sync endpoint for service: 172.31.200.67:31645/TCP, err: invalid argument E1129 20:10:17.956448 1 graceful_termination.go:89] Try delete rs "10.101.1.98:5672/TCP/192.100.29.180:5672" err: invalid argument E1129 20:10:17.956547 1 graceful_termination.go:183] Try flush graceful termination list err E1129 01:01:17.484679 1 proxier.go:430] Failed to execute iptables-restore for nat: exit status 1 (iptables-restore: line 7 failed E1129 02:52:17.498135 1 graceful_termination.go:89] Try delete rs "10.96.0.1:443/TCP/172.31.10.38:6443" err: invalid argument E1129 02:52:17.498396 1 graceful_termination.go:183] Try flush graceful termination list err E1129 06:28:17.607394 1 graceful_termination.go:89] Try delete rs "10.96.0.1:443/TCP/172.31.10.38:6443" err: device or resource busy E1129 06:28:17.607513 1 graceful_termination.go:183] Try flush graceful termination list err E1129 10:02:17.718458 1 proxier.go:1544] Failed to add destination: 192.100.183.139:3306, error: file exists E1129 10:02:17.718606 1 proxier.go:1544] Failed to add destination: 192.100.183.152:8080, error: invalid argument

Btw। मेरे लॉग के ऊपर से, क्यूब-प्रॉक्सी ऐसा लगता है जैसे अभी भी iptables- पुनर्स्थापना के साथ कई समस्याएं हैं। मेरे सभी नोड UBUNTU 16.04 हैं जिनके पास iptable का संस्करण 1.6.0 है।
@ m1093782566 @ सिंह-वी

हम इसे 1.12.1 से अपग्रेड करते समय देखते हैं। यह इस प्रकार 1.12.1 और 1.12.2 के डेल्टा में होना चाहिए।

मुद्दा सुशोभित समाप्ति से संबंधित है और मुझे लगता है कि हमने v1.13.1 में बग को ठीक कर दिया है।

@ m1093782566 क्या फिक्स को 1.12 लाइन पर

1.11.2 से 1.11.5 तक के उन्नयन के साथ ही मिला।

@ m1093782566 क्या आप फिक्स पर अधिक जानकारी प्रदान कर सकते हैं? मैं कमिटमेंट देखने का इच्छुक हूं।

यह बहुत पागल है, हम आज पहले वास्तव में मुश्किल से काट लिया।

हम इसे 1.12.1 से अपग्रेड करते समय देखते हैं। यह इस प्रकार 1.12.1 और 1.12.2 के डेल्टा में होना चाहिए।

1.11.2 से 1.11.5 तक के उन्नयन के साथ ही मिला।

क्या बग को चुना गया था?

यह समस्या को ठीक करने वाले PR की तरह दिखता है: https://github.com/kubernetes/kubernetes/pull/71515

सच @ क्वेंटिन-एम

हाँ यह शायद delete फ़ंक्शन में ठीक से आता है (वास्तव में PR के शीर्षक से संबंधित नहीं है)।

@ m1093782566 मैं 1.12 के लिए चेरी-पिक बना सकता हूं। क्या हम पूर्ण पीआर को वापस करना चाहते हैं या केवल डिलीट फ़ंक्शन को ठीक करना चाहते हैं? (1.12 में UDP प्रवाह के साथ बदलते व्यवहार से बचने के लिए)

क्या बग को चुना गया था?

@ क्वेंटिन-एम ऐसा लग रहा है कि बग को https://github.com/kubernetes/kubernetes/pull/66012 द्वारा पेश किया गया था जो चेरी से 1.11.5 और 1.12.2 रिलीज के लिए उठाया गया था:
https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG-1.11.md#changelog -since-v1114
https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG-1.12.md#other -notable-changes-1

मुझे लगता है कि सभी # 71515 को चेरी-उठाया जाना चाहिए। संपूर्ण रूप से ग्रेसफुल समाप्ति केवल # 66012 के साथ ही शुरू की गई थी और व्यवहार-परिवर्तन पहले ही हो चुका है।

k8s.gcr.io/kube-proxy:v1.13.1-beta.0 अभी भी हमारे समूहों पर बासी जा रहे हैं। उनमें से 60% 24 घंटे से कम समय में अटक गए। 1.12.1 अभी कोशिश कर रहा है।

@ क्वेंटिन-एम: क्या आप क्यूब-प्रॉक्सी पर लॉग की जांच कर सकते हैं और पुष्टि कर सकते हैं कि इस प्रकार के संदेश चले गए हैं:

Nov 15 07:49:52 hex-48b-pm kube-proxy[5389]: I1115 07:49:52.393664    5389 graceful_termination.go:160] Trying to delete rs: 10.128.33.237:6379/TCP/10.125.6.34:6379
Nov 15 07:49:52 hex-48b-pm kube-proxy[5389]: E1115 07:49:52.393690    5389 graceful_termination.go:89] Try delete rs "10.128.33.237:6379/TCP/10.125.6.34:6379" err: Failed to delete rs "10.128.33.237:6379/TCP/10.125.6.34:6379", can't find the real server
Nov 15 07:49:52 hex-48b-pm kube-proxy[5389]: I1115 07:49:52.393697    5389 graceful_termination.go:93] lw: remote out of the list: 10.128.33.237:6379/TCP/10.125.6.34:6379

Nov 15 07:51:22 hex-48b-pm kube-proxy[5389]: E1115 07:51:22.420950    5389 proxier.go:1455] Failed to add IPVS service "monitoring/extradata-inserter:": file exists

दोनों पीआर में तय किए गए डिलीट फंक्शन से संबंधित हैं। यदि ये चले गए हैं और आप अभी भी समस्या देखते हैं, तो यह ठीक नहीं है

इसके अलावा, अगर सब कुछ 1.12.1 साथ काम करता है, तो इस बात की प्रबल संभावना है कि मुद्दा सुशोभित समाप्ति (# 66012) से आता है

मुझे लगता है कि मेरे पास एक विचार है: मुझे आश्चर्य है कि क्या होता है अगर हम एक वास्तविक-सर्वर को जोड़ने की कोशिश करते हैं जो अभी भी सुंदर समाप्ति में है। इस मामले में हमें सिर्फ 1 वजन बढ़ाना चाहिए और इसे ग्रेसफुलमिनेशन लिस्ट से हटा देना चाहिए।

मैं जितनी जल्दी हो सके इस परिदृश्य का परीक्षण करने की कोशिश करूंगा (लेकिन यह मुश्किल होगा क्योंकि मैं अगले सप्ताह कुबेकॉन में हूं)

@ शेर-वी तुम्हें क्या लगता है?

ठीक है कि खरोंच, मैं सिर्फ परीक्षण किया है और यह ठीक काम करता है। इसके लिए ज़िम्मेदार कोड यहाँ है: https://github.com/kubernetes/kubernetes/blob/456c351e31517543e0686b2cadf21615d30a7384f=pkg/proxy/ipvs/proxier.go#L1538 -L1542 -L1542

उस स्थिति में, RS को gracefulDelete सूची से और IPVS RS से निकाल दिया जाता है। मुझे आश्चर्य है कि अगर वजन को वापस 1 पर सेट किया जाए तो बेहतर नहीं हो सकता है

मैं लॉग्स के इस हिस्से के आधार पर अन्य चीजों की कोशिश करूँगा, जो एक हटाई गई सेवा के लिए समापन बिंदुओं को सिंक करने की कोशिश करने के लिए इंगित करता है

Nov 15 07:51:22 hex-48b-pm kube-proxy[5389]: E1115 07:51:22.420734    5389 proxier.go:1496] Failed to list IPVS destinations, error: invalid argument
Nov 15 07:51:22 hex-48b-pm kube-proxy[5389]: E1115 07:51:22.420763    5389 proxier.go:809] Failed to sync endpoint for service: 10.128.33.156:8125/TCP, err: invalid argument
Nov 15 07:51:22 hex-48b-pm kube-proxy[5389]: E1115 07:51:22.420889    5389 proxier.go:1485] Failed to get IPVS service, error: Expected only one service obtained=0
Nov 15 07:51:22 hex-48b-pm kube-proxy[5389]: E1115 07:51:22.420903    5389 proxier.go:809] Failed to sync endpoint for service: 10.128.35.150:6379/TCP, err: Expected only one service obtained=0
Nov 15 07:51:22 hex-48b-pm kube-proxy[5389]: E1115 07:51:22.420950    5389 proxier.go:1455] Failed to add IPVS service "monitoring/extradata-inserter:": file exists
Nov 15 07:51:22 hex-48b-pm kube-proxy[5389]: E1115 07:51:22.420961    5389 proxier.go:812] Failed to sync service: 10.128.34.54:80/TCP, err: file exists
Nov 15 07:51:22 hex-48b-pm kube-proxy[5389]: E1115 07:51:22.421886    5389 proxier.go:1544] Failed to add destination: 10.125.27.66:80, error: file exists

ठीक है, एक त्वरित जाँच के बाद, वह मुद्दा जो डिलीट करने की समस्या को ठीक करता है, v1.13.1-beta.0 और न ही v1.14.0-alpha.0 जो 7 नवंबर को काटा गया था
मुझे लगता है कि यह अगले 1.14 अल्फा रिलीज में होगा जो मास्टर पर आधारित होगा

मैं 1.13 के लिए भी चेरी पिक बनाने जा रहा हूं

१.१२.० से १.१३.० तक के उन्नयन के साथ एक मुद्दा मिला, ऐसा लगता है कि यह एक से संबंधित है, लेकिन ऐसा नहीं है।

हम इसे iptables पर वापस लाकर ठीक नहीं कर सकते। कृपया मेरी मदद करें।

मैंने इसे stackoverflow पर पोस्ट किया है

1.11.5 पर समान मिला। अस्थायी आईपीवी से iptables पर वापस लौटा।

1.11.5 पर ही। इसमें मौजूद भेद्यता के कारण 1.11.4 पर वापस नहीं जा सकते। Iptables पर स्विच करना पड़ा। क्या इसके लिए तय 1.11.x के लिए जारी किया जा रहा है?

आप भेद्यता से प्रभावित हुए बिना, विशेष रूप से क्यूब-प्रॉक्सी को रोलबैक कर सकते हैं।

@ क्वेंटिन-एम हाँ, उस विचार ने मेरे दिमाग पर प्रहार किया है, लेकिन फिर दूसरे विचार पर अगर मैंने ऐसा किया है तो मेरे पास शालीन समाप्ति नहीं होगी, जो कि सभी iptables के साथ हुई है। यह सुनिश्चित नहीं है कि हमारे ग्राहक परिवर्तन पसंद करेंगे।

@ क्वेंटिन-एम का मतलब है कि इस बग को संबोधित करने के लिए 1.11.x के लिए कोई फिक्स नहीं होगा?

@emptywee मैंने 1.11 के लिए चेरी-पिक बनाई: https://github.com/kubernetes/kubernetes/pull/71848
उम्मीद है कि यह बहुत जल्द विलय हो जाएगा और 1.11.6

इसे पहले ही 1.12 में विलय कर दिया गया है ( 1.12.4 ) और 1.13 ( 1.13.1 )

चेरी-पिक का सिर्फ 1.11 में विलय हो गया
हमें केवल 3 शाखाओं में अगले पैच रिलीज़ की प्रतीक्षा करने की आवश्यकता है (लेकिन अगर आप इसे पहले परीक्षण करना चाहते हैं तो मैं आसानी से एक कस्टम क्यूब-प्रॉक्सी बिल्ड बना सकता हूं (या, और भी आसान, पैच के साथ हाइपरक्यूब डॉकटर छवि)

बहुत बहुत शुक्रिया @lbernail ! एक सार्वजनिक रूप से उपलब्ध docker छवि के लिए अच्छा होगा! मुझे इसका परीक्षण करना अच्छा लगेगा!

फिक्स पहले से ही v1.11, v1.12 और v1.13 के लिए चेरी-उठाया है।

क्या आप कृपया उनका परीक्षण करेंगे ताकि हम इस मुद्दे को बंद कर सकें।

@ m1093782566 मैं

धन्यवाद @berlinsaint , कृपया मुझे परीक्षा परिणाम दें।

समुदाय कब इसके लिए छोटी रिलीज़ प्रकाशित करेगा?

फिक्स के साथ नई छोटी रिलीज को 2 सप्ताह से कम समय में प्रकाशित किया जाएगा।

@emptywee : यहाँ आप जाते हैं: lbernail/hyperkube:v1.12.4-beta.1
हमें बताये यह आप के लिए कैसे काम करता है!

@lbernail को

@emptywee हाँ, यह बिना किसी समस्या के काम करना चाहिए (मैं महीनों से 1.10 क्लस्टर पर 1.11 क्लस्टर-क्यूब चला रहा हूँ)

मैं भी आज बाद में 1.11 बिल्ड कर सकता हूं

@lbernail हाँ, एक ही रिलीज़ संस्करण से छवि बनाना अच्छा होगा।

@emptywee यहाँ आप जाएँ: lbernail/hyperkube:v1.11.6-beta.1

@ m1093782566 @lbernail एक रात के
यह एक रात पहले कम से कम एक बार होता है। लेकिन अभी भी इसे सत्यापित करने के लिए और समय चाहिए, बहुत धन्यवाद, इसने मुझे लंबे समय तक परेशान किया।

मैं कल 1.11 पर परीक्षण शुरू करूंगा और मैं इसे कुछ दिन भी दूंगा।

@lbernail मैंने आपको lbernail/hyperkube:v1.11.6-beta.1 की कोशिश की (इसके लिए धन्यवाद!)
हमें तुरंत लगा कि चीजें तय हो गई हैं, क्योंकि हमने can't find the real server लॉग संदेश देखना बंद कर दिया है। हालाँकि, एक-डेढ़ दिन बाद, हम 3/6 क्लस्टर नोड्स पर बासी आईपीवी प्रविष्टियों के साथ मुद्दों को देख रहे हैं।
यह एक टूटी हुई क्लस्टर नोड पर एक सेवा के लिए आईपीवी प्रविष्टियां है।
क्यूब-प्रॉक्सी पुनः आरंभ करने से पहले:

-A -t 10.230.65.211:9494 -s rr
-a -t 10.230.65.211:9494 -r 10.230.158.10:9494 -m -w 1
-a -t 10.230.65.211:9494 -r 10.230.158.57:9494 -m -w 1
-a -t 10.230.65.211:9494 -r 10.230.213.245:9494 -m -w 1
-a -t 10.230.65.211:9494 -r 10.230.216.170:9494 -m -w 1
-a -t 10.230.65.211:9494 -r 10.230.216.180:9494 -m -w 0
-a -t 10.230.65.211:9494 -r 10.230.222.151:9494 -m -w 1
-a -t 10.230.65.211:9494 -r 10.230.222.158:9494 -m -w 0
-a -t 10.230.65.211:9494 -r 10.230.222.160:9494 -m -w 1
-a -t 10.230.65.211:9494 -r 10.230.226.82:9494 -m -w 1
-a -t 10.230.65.211:9494 -r 10.230.226.85:9494 -m -w 1
-a -t 10.230.65.211:9494 -r 10.230.226.117:9494 -m -w 0
-a -t 10.230.65.211:9494 -r 10.230.242.229:9494 -m -w 1

क्यूब-प्रॉक्सी पुनः आरंभ करने के बाद:

-A -t 10.230.65.211:9494 -s rr
-a -t 10.230.65.211:9494 -r 10.230.158.36:9494 -m -w 1
-a -t 10.230.65.211:9494 -r 10.230.213.236:9494 -m -w 1
-a -t 10.230.65.211:9494 -r 10.230.216.129:9494 -m -w 1
-a -t 10.230.65.211:9494 -r 10.230.216.163:9494 -m -w 1
-a -t 10.230.65.211:9494 -r 10.230.226.84:9494 -m -w 1
-a -t 10.230.65.211:9494 -r 10.230.226.124:9494 -m -w 1

@lbernail @bjornryden यही कारण था कि जब मैं 1.11.5 पर
बस आपको यह बताने के लिए कि मुझे क्यूब-प्रॉक्सी के v1.11.5 के साथ एक समान समस्या (आईपीवी तालिका में गलत आईपी) थी।

@bjornryden विलोपन त्रुटियों के लिए अच्छी खबर (यह वही था जो पैच को संबोधित कर रहा था)

यह तथ्य कि बैकएंड ठीक से अपडेट नहीं है, अजीब है क्योंकि सुशोभित समाप्ति नए समापन बिंदु को प्रभावित नहीं करना चाहिए (यदि कुछ बासी समापन बिंदु अभी भी थे उदाहरण के लिए मैं कम आश्चर्यचकित हो जाएगा)

क्या आप क्यूब-प्रॉक्सी के लॉग को 10.230.65.211:9494 सेवा से संबंधित बता सकते हैं?

इसके अलावा, इस सेवा / तैनाती के साथ कोई विशेष व्यवहार? (उदाहरण के लिए, पॉड्स को बहुत बार अपडेट किया जाता है, या HPA के पीछे?)

तो यह मेरे लैब क्लस्टर में 2 दिनों के लिए चल रहा है। IPvs मोड में @lbernail द्वारा
अब तक अच्छा, यह लटका नहीं है और आईपीवी प्रविष्टियों को अद्यतन करता रहता है।

एक अजीब अवलोकन हालांकि:

lvdkbm501 ~ # ipvsadm -L -n -t 10.158.9.61:443
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.158.9.61:443 rr
  -> 10.158.128.28:8443           Masq    1      0          0         
  -> 10.158.130.24:8443           Masq    1      0          0         
lvdkbm501 ~ # ipvsadm -L -n -t 10.158.9.61:443
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.158.9.61:443 rr
  -> 10.158.128.28:8443           Masq    1      0          0         
lvdkbm501 ~ # ipvsadm -L -n -t 10.158.9.61:443
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.158.9.61:443 rr
  -> 10.158.128.28:8443           Masq    1      0          0         
lvdkbm501 ~ # ipvsadm -L -n -t 10.158.9.61:443
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.158.9.61:443 rr
  -> 10.158.128.28:8443           Masq    1      0          0         
  -> 10.158.128.28:8443           Masq    1      0          0         
lvdkbm501 ~ # ipvsadm -L -n -t 10.158.9.61:443
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.158.9.61:443 rr
  -> 10.158.128.28:8443           Masq    1      0          0         
  -> 10.158.129.28:8443           Masq    1      0          0         

सेवा के लिए एक पॉड्स को हटाने से पहले ipvsadm को पहला कॉल प्रारंभिक स्थिति दिखाता है। कुछ अगले शो कि एक प्रविष्टि चली गई है, क्योंकि फली को हटा दिया गया था। हालाँकि, मुझे नहीं पता कि यह कैसा होना चाहिए, लेकिन इसने उसी आईपी पते के साथ दूसरी प्रविष्टि बनाई जो फली के समान थी। और फिर इसे हटाए गए को बदलने के लिए आए नए पॉड के सही आईपी से अपडेट किया गया।

इसके अलावा यह ठीक है। लेकिन लैब क्लस्टर अन्य लोगों की तरह व्यस्त नहीं है। @Bjornryden की टिप्पणी ने मुझे व्यस्त क्लस्टर्स में छवि की कोशिश करने के लिए थोड़ा चिंतित कर दिया, जहां यह हमारे ग्राहकों को प्रभावित कर सकता है।

@emptywee मुझे लगता है कि हटाए गए फली 10.158.130.24 । मुझे यह समझ में नहीं आता है:

TCP  10.158.9.61:443 rr
  -> 10.158.128.28:8443           Masq    1      0          0         
  -> 10.158.128.28:8443           Masq    1      0          0 

दो बार एक ही असली सर्वर होने का कोई मतलब नहीं है। क्या आप इसे पुन: पेश कर सकते हैं?

फली हटाने पर सामान्य व्यवहार होना चाहिए:

• यदि इस पॉड से कोई कनेक्शन नहीं है, तो RS को हटा दें
• यदि कनेक्शन हैं, तो 0 पर वजन सेट करें (स्थापित कनेक्शन जारी है, कोई नया कनेक्शन नहीं)
• हर मिनट वजन के साथ सभी रुपये की जाँच करें (यह वही है जो सुंदर समाप्ति की सूची है) और उन लोगों को हटा दें जिनके पास अब कनेक्शन नहीं है

@ लंबन सही। हटाए गए पॉड में वह IP पता था। और हाँ, यह मुझे भी अजीब लगा। मैं मौका मिलने पर पुन: प्रयास करूँगा। यदि आप एक ही व्यवहार को पुन: पेश करने में सक्षम हैं तो क्या आप लॉग वर्बोसिटी बढ़ाना चाहेंगे? यदि हाँ, तो किस स्तर तक?

@emptywee : यह बहुत धन्यवाद होगा, --v=5 हमें बहुत सारी जानकारी देनी चाहिए
मुख्य बात यह है कि मुझे नहीं लगता कि एक RS आईपीवीएस में एक वीएस में दो बार दिखाई दे सकता है (मैंने ऐसा कभी नहीं देखा)। आप कौन सा कर्नेल चला रहे हैं?

@lbernail इसे

मैं CoreOS पर स्थिर हूं:

4.14 बहुत हाल ही में है, इसलिए मुझे आश्चर्य होगा कि अगर कोई आईपीवीएस मुद्दा था
मैं कोशिश करने जा रहा हूं और पैच संस्करण के साथ क्लस्टर को देखने के लिए यह देखने के लिए कि क्या मैं @bjornryden से समस्या को पुन: उत्पन्न कर सकता

@lbernail दुर्भाग्य से, मैं उस ipvs प्रविष्टि दोहराव व्यवहार को पुन: उत्पन्न नहीं कर सका जिसे मैंने केवल एक बार देखा है। अलग-अलग सेवाओं के साथ कई बार कोशिश की। हालाँकि, मैंने वजन 0 के साथ कोई प्रविष्टि नहीं देखी है, लेकिन यह इस तथ्य से समझाया जा सकता है कि फली को मैं बहुत जल्दी से हटा देता हूं। इसके अलावा, 5 दिनों के लिए चलने के बाद क्यूब-प्रॉक्सी उत्तरदायी हो गया है। मैं इसे फिर से इस तरह से अधिक व्यस्त क्लस्टर के रूप में एक कोशिश दे सकता हूँ।

@emptywee यह "अच्छी" खबर है (यहां तक ​​कि अगर मैं बल्कि हम इसे पुन: पेश करने और इसे समझने में सक्षम थे, तो शायद यह ipvsadm में एक प्रदर्शन गड़बड़ था?)

वजन केवल 0 पर सेट है यदि वे कुछ ActiveConn या InActiveConn हैं। यह देखने के लिए कि संबंधित पॉड को हटाने से पहले एक सेवा के लिए एक लंबे समय तक जीवित कनेक्शन खोलें (उदाहरण के लिए टेलनेट का उपयोग करके)

5 दिनों की स्थिरता अच्छी खबर है! आइए जानते हैं कि एक व्यस्त क्लस्टर पर आप कब / कैसे जाते हैं

मेरे पास रास्ते में कुछ छोटे सुधार हैं:

• https://github.com/kubernetes/kubernetes/pull/71834 : sessionAffinity (पहले से मास्टर, 1.13, 1.12 और 1.11 के लिए बनाई गई चेरी पिक्स) का उपयोग करके सेवाओं के साथ सुंदर समाप्ति कार्य करें
• https://github.com/kubernetes/kubernetes/pull/71895 और https://github.com/kubernetes/kubernetes/pull/72106 : एक सेवा को हटाने पर सुशोभित समाप्ति का समर्थन

इसके अलावा, 1.11.6 , 1.12.4 और 1.13.1 जारी किए गए हैं और हटाए गए फ़ंक्शन में फ़िक्सेस हैं

मैंने सप्ताहांत में इस मुद्दे के बारे में एक छोटा लेख लिखा था /। मैं निश्चित संस्करण के साथ इसे अपडेट करना सुनिश्चित करूँगा!

@lbernail ज़रूर, करेंगे! क्या आपकी हाइपरकुब की छवि वही है जो 1.11.6 के रूप में जारी की गई है? मैंने आपकी छवि को क्यूब-प्रॉक्सी के लिए केवल अधिक व्यस्त क्लस्टर में स्थापित किया है और परीक्षण के लिए फिर से आईपीवी में स्विच किया है। क्या आप चाहते हैं कि मैं अधिकारी का उपयोग करूं?

@emptywee मेरी छवि और -11 के शाखा के प्रमुख से बनाया था, इसलिए अंतर कुछ कम से कम होता है, जिसमें कोई भी आईपीवीएस शामिल नहीं है। इसलिए मुझे नहीं लगता कि यह आपके क्लस्टर को फिर से अपडेट करने के प्रयास के लायक है

बुरी खबर :( बस मेरे क्यूब-प्रॉक्सी को आईपीवी बैकएंड्स अपडेट करने में विफल रहा। आईपैड पर वापस स्विच करना और लॉग एकत्र करना। हे क्यूब-प्रॉक्सी --v=5 ध्वज के साथ चल रहा था।

@lbernail तो, यह निश्चित नहीं है कि लॉग की कितनी आवश्यकता है, लेकिन हमें मूल रूप से कुछ सेवाओं के साथ एक समस्या का सामना करना पड़ा, जिसमें उनके आईपीवी बैकएंड आईपी अपडेट नहीं थे। लॉग, हालांकि, हमें बताएं कि यह ठीक से समापन बिंदुओं को अपडेट कर रहा था:

$ cat kube-proxy-issue.log | egrep -e 'c-qa4/ycsdtleuk|10.148.191.69|10.148.192.14|10.148.183.70|10.148.184.67'
I1217 19:12:52.849863       1 graceful_termination.go:160] Trying to delete rs: 10.148.6.202:80/TCP/10.148.192.14:8080
I1217 19:12:52.849948       1 graceful_termination.go:173] Deleting rs: 10.148.6.202:80/TCP/10.148.192.14:8080
I1217 19:12:52.850000       1 graceful_termination.go:160] Trying to delete rs: 10.148.6.202:80/TCP/10.148.191.69:8080
I1217 19:12:52.850069       1 graceful_termination.go:173] Deleting rs: 10.148.6.202:80/TCP/10.148.191.69:8080
I1217 19:12:53.425438       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 19:13:00.501203       1 ipset.go:140] Successfully delete legacy ip set entry: 10.148.191.69,tcp:8080,10.148.191.69 from ip set: KUBE-LOOP-BACK
I1217 19:13:00.543691       1 ipset.go:140] Successfully delete legacy ip set entry: 10.148.192.14,tcp:8080,10.148.192.14 from ip set: KUBE-LOOP-BACK
I1217 19:13:06.916777       1 service.go:309] Adding new service port "c-qa4/ycsdtleuk:http" at 10.148.6.202:80/TCP
I1217 19:13:08.345142       1 proxier.go:1465] Adding new service "c-qa4/ycsdtleuk:http" 10.148.6.202:80/TCP
I1217 19:13:13.939763       1 ipset.go:148] Successfully add entry: 10.148.191.69,tcp:8080,10.148.191.69 to ip set: KUBE-LOOP-BACK
I1217 19:13:14.002663       1 ipset.go:148] Successfully add entry: 10.148.192.14,tcp:8080,10.148.192.14 to ip set: KUBE-LOOP-BACK
I1217 19:27:53.485483       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 19:27:53.485526       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 19:42:53.388638       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 19:42:53.388673       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 19:57:53.643829       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 19:57:53.644032       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 20:12:53.541080       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 20:12:53.541129       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 20:27:53.368129       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 20:27:53.368306       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 20:42:53.539517       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 20:42:53.539542       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 20:57:53.624320       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 20:57:53.624371       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 21:12:53.630561       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 21:12:53.630585       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 21:26:20.897397       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 21:26:20.897463       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 21:26:46.630013       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 21:26:46.630084       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 21:26:57.995544       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 21:26:57.995657       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.183.68:8080 10.148.191.69:8080 10.148.192.14:8080]
I1217 21:27:24.296606       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.183.68:8080 10.148.187.41:8080 10.148.191.69:8080 10.148.192.14:8080]
I1217 21:27:53.678172       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.183.68:8080 10.148.187.41:8080 10.148.191.69:8080 10.148.192.14:8080]
I1217 21:28:21.517538       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.183.68:8080 10.148.187.41:8080 10.148.191.69:8080]
I1217 21:28:21.595632       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.183.68:8080 10.148.187.41:8080]
I1217 21:42:53.491595       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.183.68:8080 10.148.187.41:8080]
I1217 21:57:53.492214       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.183.68:8080 10.148.187.41:8080]
I1217 22:05:45.760620       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.183.68:8080]
I1217 22:06:24.890429       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.183.68:8080]
I1217 22:07:15.463144       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.134.231:8080 10.148.183.68:8080]
I1217 22:07:43.201415       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.134.231:8080]
I1217 22:08:18.268005       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.134.231:8080]
I1217 22:08:58.774066       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.134.231:8080 10.148.192.70:8080]
I1217 22:12:53.528515       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.134.231:8080 10.148.192.70:8080]
I1217 22:27:53.522197       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.134.231:8080 10.148.192.70:8080]
I1217 22:29:20.396794       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.134.231:8080 10.148.192.70:8080]
I1217 22:29:43.994895       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.134.231:8080 10.148.192.70:8080]
I1217 22:29:54.382253       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.134.231:8080 10.148.183.70:8080 10.148.192.70:8080]
I1217 22:30:17.895084       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.134.231:8080 10.148.183.70:8080 10.148.184.67:8080 10.148.192.70:8080]
I1217 22:31:45.791871       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.134.231:8080 10.148.183.70:8080 10.148.184.67:8080]
I1217 22:31:45.855011       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.183.70:8080 10.148.184.67:8080]
I1217 22:42:53.652587       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.183.70:8080 10.148.184.67:8080]
I1217 22:57:53.509372       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.183.70:8080 10.148.184.67:8080]

लेकिन जब मैंने इसे ipvsadm से चेक किया, तो यह अभी भी पहले दो दिखा रहा था: 10.148.191.69:8080 10.148.192.14:8080

जबकि kubectl -n c-qa4 describe svc ycsdtleuk यह कह रहा था कि समापन बिंदु 10.148.183.70:8080 10.148.184.67:8080 , और अन्य बॉक्सों पर समान सेवा के लिए ipvs प्रविष्टियां ठीक से अपडेट हो रही थीं।

$ kubectl -n c-qa4 describe svc ycsdtleuk
Name:              ycsdtleuk
Namespace:         c-qa4
Labels:            country=uk
                   env=qa
                   run=ycsdtleuk
                   stack=c
                   track=4
Annotations:       run: ycsdtleuk
Selector:          load-balancer-ycsdtleuk=true
Type:              ClusterIP
IP:                10.148.6.202
Port:              http  80/TCP
TargetPort:        8080/TCP
Endpoints:         10.148.183.70:8080,10.148.184.67:8080
Session Affinity:  None
Events:            <none>

मैं मूल रूप से एक ही समय में दो बक्से पर निम्नलिखित देख रहा था:

(incorrect ipvs config)
rnqkbm401 ~ # ipvsadm -L -t 10.148.6.202:80
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  rnqkbm401:http rr
  -> 10.148.191.69:http-alt       Masq    1      0          0
  -> 10.148.192.14:http-alt       Masq    1      0          0

(correct ipvs config)
rnqkbw401 ~ # ipvsadm -L -t 10.148.6.202:80
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  rnqkbw401:http rr
  -> 10.148.183.70:http-alt       Masq    1      0          0
  -> 10.148.184.67:http-alt       Masq    1      0          0

कोई स्पष्ट त्रुटि संदेश या कुछ भी चिल्ला नहीं है जो किसी भी समस्या के किसी भी संकेत को इंगित करेगा। मैं पूर्ण लॉग फ़ाइल (18M असम्पीडित) सीधे आपको भेज सकता हूं, अगर आप चाहें।

लंबी कहानी छोटी: ऐसा महसूस होता है कि सेवाओं में बदलाव के बारे में सुनने वाला हिस्सा ठीक काम कर रहा है, लेकिन आईपीवी मॉड्यूल के साथ बातचीत करने वाला हिस्सा नहीं है। मैं यह भी नहीं देख रहा हूँ कि यह आरंभिक दो IP पतों को हटाने की कोशिश कर रहा था, क्योंकि यह उन्हें जोड़ देता था। कहीं कुछ अटक रहा है।

@emptywee विस्तृत रिपोर्ट के लिए धन्यवाद। इन लॉग में कुछ भी अजीब नहीं है।

आश्चर्य की बात यह है कि syncProxyRules कम से कम हर 30s (डिफ़ॉल्ट) चलाए जाते हैं और उन्हें एंडपॉइंट्स के साथ IPVS वास्तविक सर्वरों को समेटना चाहिए। यह syncEndpoints कॉल करता है जो AddRealServer और ipvsHandle.NewDestination ट्रिगर करता है

यह सब पुराने समापन बिंदुओं के विलोपन से पहले होता है इसलिए इसे सुशोभित समाप्ति से प्रभावित नहीं किया जाना चाहिए

क्या आप मुझे पूर्ण लॉग भेज सकते हैं ताकि मैं देख सकूँ कि 21:26 और 21:29 बीच क्या होता है?

दो अतिरिक्त प्रश्न:

• एक ही क्यूब-प्रॉक्सी प्रभावित हुआ था, है ना?
• क्या एक एकल सेवा प्रभावित थी (क्या अन्य सामान्य रूप से अद्यतन करना जारी रखती है?)

अगली बार, SIGABRT को प्रक्रिया में भेजने का प्रयास करें, ताकि यह कार्य बताता है।

जब मुझे समस्या थी, यह हमेशा libnetwork/ipvs/netlink.go अंदर कुछ कर रहा था, जिससे मुझे संदेह होता है कि नेटलिंक सिस्टम कॉल किसी कारण से अटक जाता है।

मेरी अनुपस्थिति के बारे में खेद है, लेकिन सप्ताहांत और फिर हमारे सेटअप के लिए iptables पर वापस लौटने पर ध्यान केंद्रित करना था।

सेवा के लिए अनुरोध किए गए लॉग पर वापस देख, @lbernail , हमारे पास इनमें से बहुत कुछ हैं:

I1214   11:48:44.889081       1   graceful_termination.go:160] Trying to delete rs:   172.17.0.1:31663/TCP/10.230.213.204:9300
I1214 11:48:44.889099       1 graceful_termination.go:173]   Deleting rs: 172.17.0.1:31663/TCP/10.230.213.204:9300
I1214 11:48:44.889113       1 graceful_termination.go:160] Trying   to delete rs: 172.17.0.1:31663/TCP/10.230.226.83:9300
I1214 11:48:44.889130       1 graceful_termination.go:173]   Deleting rs: 172.17.0.1:31663/TCP/10.230.226.83:9300
...

हमने ये भी देखा:

I1214 12:15:44.920364       1 graceful_termination.go:160] Trying to delete rs: 10.230.65.211:9494/TCP/10.230.226.124:9494
I1214 12:15:44.920489       1 graceful_termination.go:173] Deleting rs: 10.230.65.211:9494/TCP/10.230.226.124:9494
I1214 12:15:44.920512       1 graceful_termination.go:93] lw: remote out of the list: 10.230.65.211:9494/TCP/10.230.226.124:9494

जैसा कि दूसरों ने बताया है, यह केवल कुछ नोड्स पर हुआ है। जब तक मुझे समस्या मिली, हमारे पास 3 क्लस्टर नोड थे जो इस विशिष्ट सेवा के लिए टूट गए थे।

@ लम्बरनेल बिल्कुल। यहाँ लॉग का अनुरोधित टुकड़ा है, मैंने स्टार्टअप का टुकड़ा भी शामिल किया है: https://gist.github.com/emptywee/6f7e9c9e43f10288950d1d8420c038f0

अगर आपको पूरी फाइल की जरूरत है तो मुझे बताएं। यदि हाँ, तो आप मुझे कहाँ भेजना चाहते हैं, या अपलोड करना चाहते हैं।

अपने सवालों के जवाब देने के लिए:

1. क्लस्टर में 60+ से अधिक नोड्स हैं, मैंने कुछ अन्य नोड्स पर जांच की, आईपीवीएस प्रविष्टि सही थी। हालांकि सभी प्रविष्टियों के बारे में निश्चित नहीं है। लेकिन मास्टर नोड पर, जिसके माध्यम से हम सभी ट्रैफ़िक को सेवाओं तक ले जाते हैं, कम से कम दो सेवाएँ ठीक से अपडेट नहीं हो रही हैं। अधिक हो सकता है, लेकिन एक बार जब हमने ग्राहकों से शिकायतें प्राप्त करना शुरू कर दिया, तो हमने तुरंत दो सेवाओं के सुलभ नहीं होने के बारे में सुना। मैंने लॉग एकत्र किए और प्रभाव को कम करने के लिए क्यूब-प्रॉक्सी को फिर से शुरू किया। मैंने उस मास्टर नोड पर ipvs प्रविष्टियों की स्थिति की तुलना की और समस्या निवारण के हिस्से के रूप में कार्यकर्ता नोड्स में से एक और महसूस किया कि यह अलग था। ऐसी संभावना है कि अन्य नोड्स में अलग-अलग प्रविष्टियां हो सकती हैं जो ठीक से अपडेट नहीं हुई हैं, लेकिन चूंकि ट्रैफ़िक उनके माध्यम से नहीं जाता है, इसलिए हमने कोई प्रभाव नहीं देखा।

2. नहीं, कम से कम दो सेवाएं प्रभावित हुईं। संभवतः अधिक, लेकिन मैंने उसके लिए जांच नहीं की।

लॉग से दो दिलचस्प बातें:

• I1217 21:26:57.995657 1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.183.68:8080 10.148.191.69:8080 10.148.192.14:8080] को IPVS द्वारा कभी संसाधित नहीं किया जाता है, लेकिन कोई त्रुटि नहीं है क्योंकि आप दो पुराने RS रखते हैं (हम सुनिश्चित नहीं हो सकते हैं, एक RS जोड़ने से लॉग उत्पन्न नहीं होता है)
• I1217 21:28:21.517538 1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.183.68:8080 10.148.187.41:8080 10.148.191.69:8080] 10.148.192.14:8080 लिए डिलीट कॉल को ट्रिगर नहीं करता है (हमें वहां लॉग होना चाहिए)

@emptywee सुशोभित समाप्ति से पहले आपके लिए IPVS काम कर रहा था या आप iptables का उपयोग कर रहे थे?

@ m1093782566 / @ लायन-वी किसी भी विचार यहाँ क्या हो सकता है?

@lbernail हमने

@emptywee : मैं कुछ और जानकारी स्तर लॉग जोड़ने की कोशिश कर रहा हूँ और समस्या को इंगित करना चाहता हूँ। क्या आप कुछ घंटों के लिए अधिक वर्बोज़ संस्करण चलाना ठीक रहेगा? (यदि आप पूरी तरह से समझ गए हैं कि आप नहीं, बल्कि मैं अभी तक अपनी तरफ से पुन: पेश नहीं कर पाया हूं)

हम मई से आईपीवीएस का उपयोग कर रहे हैं और 1.12.1 और 1.11.1 में कोई समस्या नहीं थी।

हमने इसे कई पर भी देखा, लेकिन अब तक सभी नोड्स नहीं, 1.12.3 पर अपग्रेड करने के बाद। प्रभावित नोड्स ने अपग्रेड के कुछ घंटों बाद आईपीवीएस को अपडेट करना बंद कर दिया, लेकिन समन्वित तरीके से नहीं जिसे मैं समझ सकता था।

ध्यान देने वाली बात यह है कि क्यूब-प्रॉक्सी ने उस समय पूरी तरह से लॉगिंग बंद कर दी थी, इसलिए ऐसा प्रतीत होता है कि यह पूरी तरह से अटक गया है।

लॉग फ़ाइल यह दिखाती है कि यह अटक गया है, और SIGQUIT के बाद एक गोरेपन डंप (हल्के से redacted)

@matthiasr की लॉग फ़ाइल फिर से एक goutoutine को नेटलिंक सॉकेट से पढ़ी हुई दिखाता है। मेरे जैसा।

आप तर्क दे सकते हैं कि नेटलिंक सॉकेट के साथ बहुत अधिक इंटरैक्शन के कारण कुछ तर्क त्रुटि है। लेकिन अगर नेटलिंक के साथ संचार ठोस नहीं है, तो आईपीवी अंततः अटक जाएगा। यदि तर्क त्रुटि ठीक हो जाती है, तो इस स्थिति तक पहुंचने में बहुत अधिक समय लग सकता है, लेकिन इसका मतलब यह नहीं है कि यह पर्याप्त समय नहीं दे सकता है।

यही कारण है कि मैं netlink बातचीत में कुछ समय के लिए सलाह देंगे; यदि ऑपरेशन का समय समाप्त हो जाता है, तो नेटलिंक सॉकेट को बंद कर दें और रिकवरी मैकेनिज्म के रूप में एक नया स्वचालित रूप से खोलें।

@matthiasr ठीक है यह अच्छी खबर है (हम किसी भी मुद्दे के बिना 6 महीने से अधिक समय से

ऐसा लग रहा है कि हमारे पास कहीं गतिरोध हो सकता है

@ lbernail जबकि यह पूरे क्लस्टर को ipvs में बदलने के लिए थोड़ा बोझिल है, अगर यह इस समस्या को हल करने में मदद करने वाला है, तो मैं नीचे हूं। मुझे उपयोग करने के लिए छवि का नाम बताएं और मैं आपकी मदद करने के लिए अपनी शक्ति में जो भी करूंगा।

हमने 1.11.6 पर IPVS पर वापस लौटकर देखा है कि क्या हम अपनी समस्या को फिर से बना सकते हैं। 5 से सेट करना और अगले दिनों में क्लस्टर में कुछ गतिविधि चलाना। मैं कल काम नहीं करूंगा, लेकिन मैं यह देखने के लिए ऑनलाइन पॉप करूंगा कि क्या बढ़ी हुई लॉगिंग के साथ एक छवि है जिसे मुझे बदलना चाहिए।

@matthiasr : 1.12.3 निश्चित रूप से एक समस्या है (इस धागे के बाकी हिस्सों को देखें)। इसका एक भाग 1.12.4 में हल किया जाता है। आपको लॉग में बहुत कम त्रुटियां मिलेंगी। ये सभी गायब हो जाना चाहिए: Failed to add destination: 10.zz.yy.xx, error: file exists

हमारे पास अभी भी समस्या है जहां क्यूब-प्रॉक्सी एक वास्तविक अपडेट्स को लटका देता है।
मैंने इसे थोड़ा और अधिक देखा:

• @emptywee से ऐसा लगता है कि समस्या शुरू होने के बाद हम किसी भी प्रॉक्सियर.गो, ipset.go या ग्रेसफुल_टर्मिनेशन.गो में से कोई लॉग नहीं देखते हैं, जिससे लगता है कि हम कहीं फंस गए हैं। यदि आप इन फ़ाइलों के लिए 21:30 के बाद लॉग करते हैं तो @emptywee आप
• गो रुटीन डंप में, नेटलिंक सॉकेट पर दो syscall प्राप्त होते हैं। इसलिए हमें वहां समस्या हो सकती है। इसके अलावा, सुशोभित समाप्ति के लिए libnetwork / ipvs को अपग्रेड किया गया था ताकि व्यवहार बदल गया हो। हालाँकि, libnetwork कोड नेटलिंक सॉकेट पर सेंड / आरसीवी टाइमआउट सेट करने लगता है (और अगर यह अटका हुआ है तो हमें मिनटों की संख्या देखनी चाहिए): https://github.com/docker/libnetwork/bloba-a9cd636e37898226332c439363e2ed0ea185ae9292 /ipvs.go#L77 -L105

दिलचस्प है कि केवल libnetwork के नए संस्करण में नेटलिंक टाइमआउट है:

कृपापूर्ण समाप्ति के लिए अनुमति देने के लिए सभी रिलीज़ शाखाओं (1.11, 1.12 और 1.13) में libnetwork को अपग्रेड किया गया था। हम इससे गए: ba46b928444931e6865d8618dc03622cac79aa6f से a9cd636e37898226332c439363e2ed0ea185ae92

पुराने संस्करण में, कोड था: https://github.com/docker/libnetwork/blob/ba46b928444931e6865d8618dc03622cac79aa6f/ipvs-ipvs.go#L65 -L87

इन 2 कमिट्स के बीच libnetwork में IPVS कोड में केवल अंतर हैं:

• मध्यांतर का परिचय
• ActiveConnections और InactiveConnections से Destination (जो सुंदर समाप्ति के लिए आवश्यक था)

मुझे आश्चर्य है कि अगर यह संबंधित हो सकता है।

इस मुद्दे पर कुछ और विचार रखने के बाद, मुझे लगता है कि यह इस तथ्य से आता है कि अब हमारे पास एक ही नेटलिंक सॉकेट का उपयोग करने वाले दो गोरोइन हैं (क्योंकि ग्रेसफुल टरमिनेशन मैनजर अपने गोरोइन में चलता है और प्रॉसीपियर के साथ उपयोगितावहता है।)

हम शायद सभी कॉलों में pkg/util/ipvs/ipvs_linux.go में एक म्यूटेक्स जोड़ सकते हैं, यह सुनिश्चित करने के लिए कि किसी भी समय एक एकल गोरआउट नेटलिंक सॉकेट का उपयोग कर रहा है।

@ m1093782566 आपको क्या लगता है?

@lbernail नहीं, 21:30 के बाद कहीं भी उन फाइलों से कोई प्रविष्टि नहीं है।
यहाँ विभिन्न फ़ाइलों के लिए अंतिम प्रविष्टियाँ हैं:

ग्रेसफुल_टरमेशन.ओगो से अंतिम प्रविष्टियाँ

$ cat kube-proxy-issue.log | grep 'graceful_termination.go' | tail
I1217 21:18:20.757262       1 graceful_termination.go:66] Adding rs 10.148.11.105:8080/TCP/10.148.174.35:8081 to graceful delete rsList
I1217 21:18:52.267340       1 graceful_termination.go:160] Trying to delete rs: 10.148.0.145:80/TCP/10.148.188.28:8080
I1217 21:18:52.267456       1 graceful_termination.go:173] Deleting rs: 10.148.0.145:80/TCP/10.148.188.28:8080
I1217 21:18:52.267638       1 graceful_termination.go:160] Trying to delete rs: 10.148.0.145:80/TCP/10.148.145.194:8080
I1217 21:18:52.267755       1 graceful_termination.go:173] Deleting rs: 10.148.0.145:80/TCP/10.148.145.194:8080
I1217 21:18:52.405770       1 graceful_termination.go:160] Trying to delete rs: 10.148.0.145:80/TCP/10.148.188.28:8081
I1217 21:18:52.405906       1 graceful_termination.go:173] Deleting rs: 10.148.0.145:80/TCP/10.148.188.28:8081
I1217 21:18:52.406052       1 graceful_termination.go:160] Trying to delete rs: 10.148.0.145:80/TCP/10.148.145.194:8081
I1217 21:18:52.406156       1 graceful_termination.go:173] Deleting rs: 10.148.0.145:80/TCP/10.148.145.194:8081
I1217 21:18:53.240664       1 graceful_termination.go:160] Trying to delete rs: 10.148.11.105:8080/TCP/10.148.174.35:8081

Proxier.go से अंतिम प्रविष्टियाँ:

$ cat kube-proxy-issue.log | grep 'proxier.go' | tail
I1217 21:18:52.570282       1 proxier.go:1023] Port "nodePort for kube-system/kube-dns:dns-tcp" (:30054/tcp) was open before and is still needed
I1217 21:18:52.663609       1 proxier.go:1023] Port "nodePort for ingress-nginx/ingress-nginx:http" (:31513/tcp) was open before and is still needed
I1217 21:18:53.241144       1 proxier.go:1465] Adding new service "c-qa4/yardchange-ws:http" 10.148.1.136:80/TCP
E1217 21:18:53.241277       1 proxier.go:1467] Failed to add IPVS service "c-qa4/yardchange-ws:http": file exists
E1217 21:18:53.241350       1 proxier.go:821] Failed to sync service: 10.148.1.136:80/TCP, err: file exists
I1217 21:18:53.241624       1 proxier.go:1465] Adding new service "c-qa4/receiving-ws-v2-uk:http-admin" 10.148.13.141:8080/TCP
E1217 21:18:53.241723       1 proxier.go:1467] Failed to add IPVS service "c-qa4/receiving-ws-v2-uk:http-admin": file exists
E1217 21:18:53.241761       1 proxier.go:821] Failed to sync service: 10.148.13.141:8080/TCP, err: file exists
E1217 21:18:53.242506       1 proxier.go:1496] Failed to get IPVS service, error: Expected only one service obtained=0
E1217 21:18:53.242558       1 proxier.go:818] Failed to sync endpoint for service: 10.148.11.84:8080/TCP, err: Expected only one service obtained=0

Ipset.go से अंतिम प्रविष्टियाँ:

$ cat kube-proxy-issue.log | grep 'ipset.go' | tail
I1217 21:17:14.768694       1 ipset.go:148] Successfully add entry: 10.148.134.229,tcp:8080,10.148.134.229 to ip set: KUBE-LOOP-BACK
I1217 21:17:14.774040       1 ipset.go:148] Successfully add entry: 10.148.134.229,tcp:8081,10.148.134.229 to ip set: KUBE-LOOP-BACK
I1217 21:17:26.643709       1 ipset.go:148] Successfully add entry: 10.148.172.59,tcp:8080,10.148.172.59 to ip set: KUBE-LOOP-BACK
I1217 21:17:26.648504       1 ipset.go:148] Successfully add entry: 10.148.172.59,tcp:8081,10.148.172.59 to ip set: KUBE-LOOP-BACK
I1217 21:17:31.049667       1 ipset.go:148] Successfully add entry: 10.148.136.14,tcp:8080,10.148.136.14 to ip set: KUBE-LOOP-BACK
I1217 21:17:31.053901       1 ipset.go:148] Successfully add entry: 10.148.136.14,tcp:8081,10.148.136.14 to ip set: KUBE-LOOP-BACK
I1217 21:18:18.920550       1 ipset.go:140] Successfully delete legacy ip set entry: 10.148.181.11,tcp:8080,10.148.181.11 from ip set: KUBE-LOOP-BACK
I1217 21:18:18.924752       1 ipset.go:140] Successfully delete legacy ip set entry: 10.148.181.11,tcp:8081,10.148.181.11 from ip set: KUBE-LOOP-BACK
I1217 21:18:21.232725       1 ipset.go:140] Successfully delete legacy ip set entry: 10.148.174.35,tcp:8080,10.148.174.35 from ip set: KUBE-LOOP-BACK
I1217 21:18:21.237619       1 ipset.go:140] Successfully delete legacy ip set entry: 10.148.174.35,tcp:8081,10.148.174.35 from ip set: KUBE-LOOP-BACK

वे सभी लगभग 21:18 पर समाप्त हो गए ... क्या यह कोई सुराग देता है?

@emptywee हाँ यह परिकल्पना की पुष्टि करता है कि हमारे पास दो गोरोनाइट्स के बीच नेटलिंक सॉकेट साझा करने के बीच गतिरोध है। वे दोनों संदेश प्राप्त करने के लिए इंतजार कर रहे हैं और सफलता के बिना पुन: प्रयास कर रहे हैं (3 s के कारण टाइमआउट प्राप्त करते हैं)।

मैं परिकल्पना को मान्य करने की कोशिश करूंगा और जैसे ही मैं ठीक करूंगा, काम करना शुरू कर दूंगा

मैंने एक परीक्षण क्लस्टर पर 1.12.4 डाला और एक ऐप को फिर से तैयार करना शुरू किया, जिसने 1.5 घंटे में इस मुद्दे को फिर से तैयार किया, इसलिए मुझे लगता है कि मैं एक संभावित रूप से काफी मज़बूती से परीक्षण कर पाऊंगा।

नेटलिंक रिसीव पर फिर से 2 गोरोनाइट (1 और 107) लटके हैं।

मेरे पास बग के लिए एक संभावित फिक्स है, कोड यहां उपलब्ध है: https://github.com/DataDog/kubernetes/commit/9121f0122d805f55f85f42d26c2648981829a92f
गतिरोध से बचने के लिए एक म्यूटेक्स के साथ सभी नेटलिंक कॉल की रक्षा करने का विचार है। मुझे यकीन नहीं है कि यह सबसे अच्छा समाधान है लेकिन यह समस्या को हल कर सकता है (और अगर यह पुष्टि करता है कि हमने बग की पहचान की है)।

यदि आप चाहते हैं / इसका परीक्षण कर सकते हैं, तो मैंने फिक्स के साथ दो चित्र बनाए:

• lbernail / hyperkube: v1.11.7-beta.1
• lbernail / hyperkube: v1.12.5-beta.1

यदि आप परीक्षण करते हैं, तो हमें बताएं कि क्या यह काम करता है और यदि ऐसा नहीं होता है, तो कृपया दिलचस्प लॉग साझा करें और देखें कि क्या कुछ नेटलिंक कॉल में अटका हुआ है या नहीं।

(मैंने अपनी तरफ से कुछ परीक्षण किया लेकिन एक छोटे समूह में सीमित रहा)

मैं इसे 24 दिसंबर को आजमा सकता हूँ!

आज इसे देना। परिणाम की सूचना देंगे, यदि कोई हो।

यह एक बग है। मैंने iptables मोड पर स्विच किया है।

मैंने बीटा संस्करण में भी अपग्रेड किया है और शीघ्र ही फिर से हमारे लोड परीक्षण शुरू कर रहा है। हम आमतौर पर जल्दी (एक दिन से भी कम) और काफी लगातार तोड़ते हैं ... उंगलियां पार हो गईं।

@ ली-सेन निश्चित रूप से एक बग। हम इस पर काम कर रहे हैं

@emptywee और @bjornryden परीक्षण के लिए बहुत बहुत धन्यवाद!

@ लबरेल मेरी खुशी! इसलिए मुझे लगभग दो दिन हो गए हैं जब मैंने 1.11.7-beta.1 छवि के साथ क्यूब-प्रॉक्सी लॉन्च किया था। यह अभी तक हम पर लटका नहीं है। मैं देख सकता हूँ proxier.go और अन्य goroutines अभी भी जीवित हैं और लॉग में मुद्रण कर रहे हैं। मैं इसे कुछ और समय दूंगा क्योंकि पिछले कुछ दिन वास्तव में धीमे और शांत थे, बहुत सारी तैनाती नहीं चल रही थी। किसी भी तरह से, मुझे लगता है कि @lbernail जोड़ा

मैं सप्ताह के अंत तक इस समस्या / थ्रेड को अपडेट करूंगा।

@lbernail

क्या आप कृपया इस समस्या को ठीक करने के लिए PR बढ़ाएँगे?

/ फिर से खोलना
(सब कुछ ठीक काम करता है, तो परीक्षण से प्रतिक्रिया और चेरी-पिक्स बनाने से पहले नजर रखने के लिए)

@lbernail : जब तक आप इसे लिखे या आप सहयोगी नहीं हैं, तब तक आप किसी समस्या / PR को फिर से खोल नहीं सकते।

@ m1093782566 क्या आप इस मुद्दे को फिर से खोल सकते हैं जब तक कि हम पूरी तरह से सुनिश्चित नहीं हैं कि यह तय है?

मुझे क्यूब-प्रॉक्सी आईपीवी की एक ही समस्या है, संस्करण 1.12.3।
असली सर्वर गलत हैं और क्यूब-प्रॉक्सी आईपीवी नियमों को ताज़ा नहीं कर सकता है।

यहां अंतिम लॉग हैं और यह यहां अटका हुआ है, अब नए लॉग प्रिंट नहीं करता है।

27 23:31:24.113927       1 graceful_termination.go:93] lw: remote out of the list: 10.96.0.1:443/TCP/10.6.40.32:6443
E1227 23:31:24.113935       1 graceful_termination.go:183] Try flush graceful termination list err
I1227 23:32:24.114182       1 graceful_termination.go:160] Trying to delete rs: 10.96.0.1:443/TCP/10.6.40.32:6443
E1227 23:32:24.114316       1 graceful_termination.go:89] Try delete rs "10.96.0.1:443/TCP/10.6.40.32:6443" err: Failed to delete rs "10.96.0.1:443/TCP/10.6.40.32:6443", can't find the real server
I1227 23:32:24.114332       1 graceful_termination.go:93] lw: remote out of the list: 10.96.0.1:443/TCP/10.6.40.32:6443
I1227 23:32:24.114348       1 graceful_termination.go:160] Trying to delete rs: 10.96.0.1:443/TCP/10.6.40.33:6443
I1227 23:32:24.114397       1 graceful_termination.go:160] Trying to delete rs: 10.6.40.25:32444/TCP/10.244.20.41:32444
E1227 23:32:24.114446       1 graceful_termination.go:183] Try flush graceful termination list err
I1227 23:33:24.114853       1 graceful_termination.go:160] Trying to delete rs: 10.96.0.1:443/TCP/10.6.40.32:6443
E1227 23:33:24.115043       1 graceful_termination.go:89] Try delete rs "10.96.0.1:443/TCP/10.6.40.32:6443" err: Failed to delete rs "10.96.0.1:443/TCP/10.6.40.32:6443", can't find the real server
I1227 23:33:24.115106       1 graceful_termination.go:93] lw: remote out of the list: 10.96.0.1:443/TCP/10.6.40.32:6443
I1227 23:33:24.115128       1 graceful_termination.go:160] Trying to delete rs: 10.96.0.1:443/TCP/10.6.40.33:6443

@VincentFF : दो मुद्दे हैं:

• विफल हुए विलोपन: 1.12.4 में तय किए गए
• क्यूब-प्रॉक्सी एक गतिरोध के कारण अटक रहा है (जो कि आप जिस मुद्दे का वर्णन कर रहे हैं): उम्मीद है कि कल से पीआर के साथ तय हो जाएगा। हम @emptywee और @bjornryden से प्रतिक्रिया की प्रतीक्षा कर रहे हैं जो वर्तमान में पैच परीक्षण कर रहे हैं। जैसे ही हमारे पास पुष्टि होती है कि मुद्दा अब मौजूद नहीं है, मैं 1.13, 1.12 और 1.11 के लिए चेरी बनाऊंगा (यदि पैच काम करता है, तो संभवतः अगले सप्ताह की शुरुआत में सभी शाखाओं में विलय कर दिया जाएगा और इसका हिस्सा होगा अगले पैच रिलीज)

मैं अपने प्रयोग को फिर से चला रहा हूं https://github.com/kubernetes/kubernetes/issues/71071#issuecomment -449402484, पैच बैक-पोर्ट के साथ 1.12.4 पर। वापस रिपोर्ट करेंगे!

आईपीवीएस मोड में चलने के दौरान हमारे पास सेवाओं तक पहुंचने के साथ कोई समस्या नहीं है (और है) आईपीवीएस मोड में चल रहा है और हमारे पास सेवाओं के लिए कुछ तैनाती और परिवर्तन हैं। अब तक मैं कहूंगा कि पैच हमारे लिए अच्छा काम कर रहा है।

@lbernail इसे ठीक करने पर बढ़िया काम! बहुत सराहना की!

ठीक है, जब तक इंतजार नहीं हो जाता है, तब तक हम @matthiasr और @bjornryden से भी प्रतिक्रिया प्राप्त करते हैं (मैं चेरी-पिक्स लेने से बचना चाहता हूं और सुनिश्चित करें कि हमारे पास इस बार क्लीन फिक्स है)

@lbernail अच्छी खबर, आपके उत्तर के लिए धन्यवाद।

१.१२.४ पर १२+ घंटे के बाद https://github.com/DataDog/kubernetes/commit/9121f0122d805f55f85f42d26c294898fe29a92f के साथ कोई समस्या नहीं है। इसके बिना मुझे 1.5 घंटे में लॉकअप मिल गया, इसलिए यह बहुत अच्छा लग रहा है!

@ lbernail मेरे पास एक और सवाल है, कृपया। यदि अगला पैच संस्करण 1.12.5 है?
अगर मैं सिर्फ क्यूब-प्रॉक्सी को १.१२.५ में अपग्रेड करता हूं, तो अन्य इकाइयां ver एपिसेवर, क्यूबलेट, कंट्रोलर-मैनेजर, शेड्यूलर ...) १.१२.३ रखते हैं, क्या यह ठीक है? या मुझे सभी इकाइयों को अपग्रेड करना है?

@VincentFF उम्मीद है कि यह इसे 1.12.5 के लिए हाँ कर देगा। आप 1.12.3 चलाने वाली अन्य इकाइयों के साथ क्यूब-प्रॉक्सी 1.12.5 चला सकते हैं, कोई समस्या नहीं है

अपडेट: 24 घंटे के बाद, अभी भी कोई समस्या नहीं है, मैं अभी अपने प्रयोग को रोक रहा हूं और इसे पूर्ण सफलता मानता हूं। १.१२.५ के लिए आगे देख!

ठीक है यह बहुत अच्छी खबर है। मैं जल्द से जल्द आधिकारिक रिलीज में तय करने के लिए सभी शाखाओं के लिए चेरी-पिक बनाने जा रहा हूं।
इस मुद्दे को सुलझाने और परीक्षण में मदद करने में आपकी भागीदारी के लिए बहुत धन्यवाद!

चेरी-चयन:
1.13 : https://github.com/kubernetes/kubernetes/pull/76424
1.12 : https://github.com/kubernetes/kubernetes/pull/72429
1.11 : https://github.com/kubernetes/kubernetes/pull/72430

मैं खुश परीक्षकों की गाना बजानेवालों में शामिल हो सकता हूं। 4 दिन कोई परेशानी नहीं हो रही है।

सभी को शामिल करने के लिए बहुत धन्यवाद, विशेष रूप से @lbernail। नववर्ष की शुभकामना!

मैं इसे बनाता हूं और परीक्षण करने के लिए तैनात करता हूं, 24 घंटे से अधिक कोई समस्या नहीं है। नववर्ष की शुभकामना।

हैलो, मेरा env है
उबंटू 16.04.4 एलटीएस
Kubernetes संस्करण (kubectl संस्करण का उपयोग करें): v1.13.0
क्लाउड प्रदाता या हार्डवेयर कॉन्फ़िगरेशन: नंगे धातु, 64 बिट लाइनक्स
कर्नेल 4.4.0-75-जेनेरिक

वही बग:

I0101 22: 20: 09.742898 267576 ग्रेसफुल_टर्मिनेशन .go: 160] rs हटाने की कोशिश: 10.200.198.70:9090/TCP/172.200.101.32.9090
E0101 22: 20: 09.742975 267576 proxier.go: 1519] IPVS सेवा प्राप्त करने में विफल, त्रुटि: प्राप्त केवल एक सेवा = 0 की उम्मीद
E0101 22: 20: 09.743036 267576 proxier.go: 843] सेवा के लिए सिंक समापन बिंदु में विफल: 10.200.36.192:80/TCP, इर: केवल प्राप्त की गई एक सेवा की उम्मीद = 0

मुझे पुनः आरंभ करने की आवश्यकता है क्यूब-प्रॉक्सी इसे ठीक करें

@daigong v1.13.1 ने यह तय किया है। मेरे मामले में, एक सप्ताह से अधिक के बाद कोई समस्या नहीं है।

@ डेडिगॉन्ग : पूर्ण फिक्स वास्तव में 1.13.2 (यह इस बात पर निर्भर करता है कि कितनी तेजी से # 72426 विलय किया गया है)

@lbernail @FrostyLeaf
धन्यवाद, मैं इस बग का परीक्षण करने के लिए # 72426 का उपयोग करता हूं

अभी कुछ भी ठीक है

पीआर को सभी रिलीज शाखाओं में मिला दिया गया है, इसलिए यह इसमें मौजूद होगा:

• 1.11.7
• 1.12.5
• 1.13.2

@annProg

वही समस्या, दोनों 1.12.2 और 1.13.0-beta1। @ m1093782566 @ शेर-वी

आपका मेलबॉक्स कितना है, इसे जानें। ।किशोर

वही

v1.11.x में एक नए निर्माण के लिए कोई मौका?

मैं उम्मीद के 1.12.5 में पिछले कुछ दिनों के लिए हर घंटे रिलीज पृष्ठों को बहुत ताज़ा कर रहा हूं, इसलिए मैं इस बग को कई समूहों पर पैच कर सकता हूं। :-)

@verwilst haha, वही, v1.11.7 के लिए इंतजार नहीं कर सकते हैं मौजूदा ठेस समूहों को अपग्रेड करने के लिए जारी करने के लिए। और v1.12.5 भी निम्न एनवीएस में उन्नयन शुरू करने के लिए।

मैं उम्मीद के 1.12.5 में पिछले कुछ दिनों के लिए हर घंटे रिलीज पृष्ठों को बहुत ताज़ा कर रहा हूं, इसलिए मैं इस बग को कई समूहों पर पैच कर सकता हूं। :-)

इसके यहाँ :-P

मैं उम्मीद के 1.12.5 में पिछले कुछ दिनों के लिए हर घंटे रिलीज पृष्ठों को बहुत ताज़ा कर रहा हूं, इसलिए मैं इस बग को कई समूहों पर पैच कर सकता हूं। :-)

इसके यहाँ :-P

1.11 के लिए क्यों नहीं है? :(

क्या यह बग 1.11.7 में तय किया गया था? मुझे कोई रिलीज़ नोट नहीं दिखाई दिए।

हाँ यह https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG-1.11.md#v1117 है :

Fix race condition introduced by graceful termination which can lead to a deadlock in kube-proxy (#72361, @lbernail)

हाँ, मैं PR में रिलीज़-नोट में "IPVS" जोड़ना भूल गया, इसके बारे में खेद है
अगर यह अभी काम करता है तो हमें बताएं! (हम इस मामले को केवल एक सप्ताह के लिए खुला छोड़ देंगे)

1.12.5 had में अपग्रेड करने के बाद से हमारे पास कोई समस्या नहीं है

बढ़िया खबर!

@ m1093782566 , @thockin मुझे लगता है कि हम इस मुद्दे को बंद कर सकते हैं (लगभग 2 महीनों में कोई नई रिपोर्ट नहीं)

संदर्भ के लिए, बग सुशोभित समाप्ति के साथ प्रारंभिक रिलीज को प्रभावित करता है:

• 1.11.5 - 1.11.6
• 1.12.2 - 1.12.4
• 1.13.0 - 1.13.1

फिक्स के बाद मौजूद है:

• 1.11.7
• 1.12.5
• 1.13.2

/बंद करे

@ m1093782566 : इस मुद्दे को बंद करना।

क्या हम फिर से खोल सकते हैं? हम इस मुद्दे को १.१२. 1. देख रहे हैं।

हां, हम 1.12.9 में भी मुद्दों को देख रहे हैं

क्या आप सुनिश्चित हैं कि यह एक ही मुद्दा है?
क्या आप एक क्यूब-प्रॉक्सी उदाहरण के लॉग पोस्ट कर सकते हैं?

क्षमा करें, यह एक गलत चेतावनी हो सकती है ... हम देखते हैं कि यह लॉग्स है और इसकी त्रुटि नहीं है

I0709 11:59:48.640888       1 graceful_termination.go:160] Trying to delete rs: 192.168.240.51:80/TCP/172.30.71.181:5050
I0709 11:59:48.640304       1 graceful_termination.go:93] lw: remote out of the list: 192.168.240.51:80/TCP/172.30.106.125:5050

किसी कारण से, जब क्लस्टर लोड हो रहा है तो यह क्लस्टर सेवा आईपी में से कुछ के लिए मार्ग नहीं कर सकता है। हमें अभी भी यकीन नहीं है कि यह एक आईपीवीएस मुद्दा है।

हो सकता है कि समापन बिंदु प्रचार में समय लग रहा हो, यदि एपसेवर ओवरलोड हो गया है?

संदेश सामान्य जानकारी स्तर के संदेश हैं:
https://github.com/kubernetes/kubernetes/blob/master/pkg/proxy/ipvs/graceful_termination.go#L94

https://github.com/kubernetes/kubernetes/blob/master/pkg/proxy/ipvs/graceful_termination.go#L161

मैं 1.14.4 में उसी लॉग की पुष्टि कर सकता हूं। यह लॉग कब निकलता है?

I0712 01:34:49.925012       1 graceful_termination.go:161] Trying to delete rs: 11.3.0.1:443/TCP/10.0.22.42:443
I0712 01:34:49.925057       1 graceful_termination.go:175] Deleting rs: 11.3.0.1:443/TCP/10.0.22.42:443
I0712 01:35:11.907742       1 graceful_termination.go:161] Trying to delete rs: 11.3.0.10:53/TCP/11.2.5.13:53
I0712 01:35:11.907874       1 graceful_termination.go:175] Deleting rs: 11.3.0.10:53/TCP/11.2.5.13:53
I0712 01:35:11.908006       1 graceful_termination.go:161] Trying to delete rs: 11.3.0.10:53/UDP/11.2.5.13:53
I0712 01:35:11.908059       1 graceful_termination.go:175] Deleting rs: 11.3.0.10:53/UDP/11.2.5.13:53
I0712 01:35:21.992487       1 graceful_termination.go:161] Trying to delete rs: 11.3.0.10:53/TCP/11.2.4.11:53
I0712 01:35:21.992594       1 graceful_termination.go:175] Deleting rs: 11.3.0.10:53/TCP/11.2.4.11:53
I0712 01:35:21.992784       1 graceful_termination.go:161] Trying to delete rs: 11.3.0.10:53/UDP/11.2.4.11:53
I0712 01:35:21.992858       1 graceful_termination.go:175] Deleting rs: 11.3.0.10:53/UDP/11.2.4.11:53
I0712 01:36:29.411592       1 graceful_termination.go:161] Trying to delete rs: 11.3.0.199:44134/TCP/11.2.0.5:44134
I0712 01:36:29.411660       1 graceful_termination.go:175] Deleting rs: 11.3.0.199:44134/TCP/11.2.0.5:44134
I0712 01:36:29.534158       1 graceful_termination.go:161] Trying to delete rs: 11.3.0.17:8085/TCP/11.2.0.3:8085
I0712 01:36:29.534394       1 graceful_termination.go:175] Deleting rs: 11.3.0.17:8085/TCP/11.2.0.3:8085
I0712 01:36:50.745469       1 graceful_termination.go:161] Trying to delete rs: 11.3.0.1:443/TCP/10.0.22.162:443
I0712 01:36:50.745508       1 graceful_termination.go:172] Not deleting, RS 11.3.0.1:443/TCP/10.0.22.162:443: 0 ActiveConn, 12 InactiveConn
I0712 01:37:37.475724       1 graceful_termination.go:161] Trying to delete rs: 11.3.0.1:443/TCP/10.0.22.162:443
I0712 01:37:37.475841       1 graceful_termination.go:172] Not deleting, RS 11.3.0.1:443/TCP/10.0.22.162:443: 0 ActiveConn, 4 InactiveConn
I0712 01:38:37.475956       1 graceful_termination.go:161] Trying to delete rs: 11.3.0.1:443/TCP/10.0.22.162:443
I0712 01:38:37.476201       1 graceful_termination.go:172] Not deleting, RS 11.3.0.1:443/TCP/10.0.22.162:443: 0 ActiveConn, 4 InactiveConn
I0712 01:39:37.476324       1 graceful_termination.go:161] Trying to delete rs: 11.3.0.1:443/TCP/10.0.22.162:443
I0712 01:39:37.476585       1 graceful_termination.go:175] Deleting rs: 11.3.0.1:443/TCP/10.0.22.162:443
I0712 01:39:37.476628       1 graceful_termination.go:94] lw: remote out of the list: 11.3.0.1:443/TCP/10.0.22.162:443
I0712 01:40:36.883345       1 graceful_termination.go:161] Trying to delete rs: 11.3.0.245:5473/TCP/10.0.22.25:5473
I0712 01:40:36.883566       1 graceful_termination.go:175] Deleting rs: 11.3.0.245:5473/TCP/10.0.22.25:5473
I0712 01:40:36.886079       1 graceful_termination.go:161] Trying to delete rs: 11.3.0.17:8085/TCP/11.2.1.3:8085
I0712 01:40:36.886310       1 graceful_termination.go:175] Deleting rs: 11.3.0.17:8085/TCP/11.2.1.3:8085
I0712 01:40:46.927450       1 graceful_termination.go:161] Trying to delete rs: 11.3.0.245:5473/TCP/10.0.22.191:5473
I0712 01:40:46.927525       1 graceful_termination.go:175] Deleting rs: 11.3.0.245:5473/TCP/10.0.22.191:5473
I0712 01:40:56.968884       1 graceful_termination.go:161] Trying to delete rs: 11.3.0.245:5473/TCP/10.0.22.75:5473
I0712 01:40:56.968936       1 graceful_termination.go:175] Deleting rs: 11.3.0.245:5473/TCP/10.0.22.75:5473
I0712 01:41:16.747362       1 graceful_termination.go:161] Trying to delete rs: 11.3.0.1:443/TCP/10.0.23.45:443

ये केवल सूचना लॉग हैं:

• Trying to delete rs : हटाए गए से एक बैकेंड पॉड, इसे हटाने की कोशिश कर रहा है। यदि इसके पास मौजूदा कनेक्शन हैं, तो इसे सुशोभित समाप्ति में दर्ज करें, अन्यथा आईडी हटाएं
• Deleting rs : बैकएंड का कोई कनेक्शन नहीं है, इसे आईपीवीएस से हटा दें

@andrewsykim शायद हम अब इन लॉग के स्तर को कम कर सकते हैं इसलिए वे केवल उदाहरण के लिए v = 5 से ऊपर दिखाते हैं?

Https://github.com/kubernetes/kubernetes/pull/78395 में हमने v = 0 से v = 2 तक लॉग स्तर को टक्कर दी, मुझे लगता है कि v = 5 समझ में आता है। अपडेट के लिए https://github.com/kubernetes/kubernetes/pull/80100