Kubernetes: kube-proxy ipvs 모드는 몇 시간 후 중단되며 수동으로 다시 시작해야합니다.

/ 시그 네트워크

같은 오류. 1.11.1에서 업그레이드하십시오. kube-proxy가 안정적이지 않은 것을 제외하고는 모든 것이 좋아집니다. 언젠가 pod는 엔드 포인트가 정상이지만 svc에 액세스 할 수 없습니다. 그리고 이름 확인과 동일합니다. 그래서 여기에 중요한 버그가있을 수 있다고 생각합니다.

/ area ipvs

@gjcarneiro 이 문제를 해결합니까?

글쎄, 나는 클러스터를 기본 (iptables) 모드로 다시 전환했는데 그 이후로 꽤 안정적인 것처럼 보입니다 ...

@ kubernetes / sig-network-bugs

@berlinsaint : 알림을 트리거하기 위해 언급을 반복합니다.
@ kubernetes / sig-network-bugs

1.12.2 및 1.13.0-beta1 모두 동일한 문제입니다. @ M1093782566 @ Lion-Wei

@gjcarneiro 커널 4.15에서 동일한 문제가 있음을 의미합니까?

헉

1.12.2 및 1.13.0-beta1 모두 동일한 문제입니다. @ m1093782566 @ Lion-Wei

우편함은 얼마입니까? 알아보십시오. .소년

헉

1.12.2 및 1.13.0-beta1 모두 동일한 문제입니다. @ m1093782566 @ Lion-Wei

우편함은 얼마입니까? 알아보십시오. .소년

내 아바타를 클릭하면

또한 중앙 집중식 로깅 시스템에서 이것을 반복적으로보고 있습니다.

  | Time | sys_name | log_lvl | tag | log_msg
  | November 27th 2018, 17:56:23.501 | k8lab2bs | 6 | kube.kube-system.kube-proxy | lw: remote out of the list: 10.12.12.1:443/TCP/10.12.100.133:6443
  | November 27th 2018, 17:56:23.500 | k8lab2bs | 6 | kube.kube-system.kube-proxy | Deleting rs: 10.12.12.1:443/TCP/10.12.100.133:6443
  | November 27th 2018, 17:56:23.497 | k8lab2bs | 6 | kube.kube-system.kube-proxy | Trying to delete rs: 10.12.12.1:443/TCP/10.12.100.133:6443

v1.12.3 (업그레이드가 아닌 새로 설치)을 실행하고 있습니다.

안녕하세요. 신고 해주셔서 감사합니다. 조사를하고 무슨 일이 있었는지 알아 내려고 노력하겠습니다. 진척 상황이 있으면 여기에보고하겠습니다.

알아두면 좋은 일 외에도 깨진 넷 링크 소켓을 감지하고 재설정하는 코드가 마련 될 때까지는 IPVS에 대해 확신이 없습니다. 로그와 추적에서 추측 할 수있는 것은 netlink 소켓이 손상된 상태가되고 읽기 / 쓰기 작업이 영원히 중단된다는 것입니다. 나는 kube-proxy가이 문제를 감지하는 코드를 가지고 있어야한다고 생각하며, 그것이 발생하면 새로운 넷 링크 소켓을 처음부터 만들고 그것을 처리하는 작업을 다시 시작할 수 있습니다. 하지만, 아뇨, 저는 자원 봉사를하지 않습니다. Go, 죄송합니다.

로그와 추적에서 추측 할 수있는 것은 netlink 소켓이 손상된 상태가되고 읽기 / 쓰기 작업이 영원히 중단된다는 것입니다.

몇 일 전에 정상적인 종료를 지원하기 위해 go netlink 버전을 업그레이드했습니다. netlink 라이브러리는 이전에 꽤 안정적으로 실행되었습니다. 그것이 원인인지 확실하지 않습니다.

1.12.3과 같은 오류가 있습니다.
정보 로그를 필터링 한 후
kubectl -n kube-system logs kube-proxy-29zh8|egrep ^E; kubectl -n kube-system logs kube-proxy-2pqdn|egrep ^E; kubectl -n kube-system logs kube-proxy-4xw8q|egrep ^E; kubectl -n kube-system logs kube-proxy-6j4bc|egrep ^E; kubectl -n kube-system logs kube-proxy-brbjb|egrep ^E; kubectl -n kube-system logs kube-proxy-r6cg2|egrep ^E; kubectl -n kube-system logs kube-proxy-rpl6t|egrep ^E;
모든 프록시 노드 로그는

bash E1129 01:01:10.862180 1 proxier.go:430] Failed to execute iptables-restore for nat: exit status 1 (iptables-restore: line 7 failed E1129 21:09:11.422553 1 proxier.go:1485] Failed to get IPVS service, error: Expected only one service obtained=0 E1129 21:09:11.422699 1 proxier.go:1116] Failed to sync endpoint for service: 172.17.0.1:31800/TCP, err: Expected only one service obtained=0 E1129 01:01:11.618125 1 proxier.go:430] Failed to execute iptables-restore for nat: exit status 1 (iptables-restore: line 7 failed E1129 01:01:11.905626 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:01:41.771596 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:02:11.923872 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:02:42.060658 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:03:12.326762 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:03:42.718417 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:04:12.859933 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:04:42.963527 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:05:13.078486 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:05:43.185141 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:06:13.303090 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:06:43.408582 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:07:13.550358 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:07:43.686235 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:08:13.786326 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:08:43.981764 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:09:14.188053 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:09:44.316316 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:10:14.440466 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:10:44.550092 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:11:14.658190 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:11:44.765396 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:12:14.975724 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:12:45.085632 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:13:15.317679 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:13:45.432469 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:14:15.689681 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:14:45.813565 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:15:33.434931 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:16:03.578017 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:16:33.709744 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:17:03.823325 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:17:33.935191 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:18:04.053183 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:18:34.248994 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:19:04.375946 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:19:34.552779 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:19:36.596182 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:19:47.433846 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:20:17.534206 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:20:47.682350 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:21:17.825175 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:21:47.942548 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:22:18.055820 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:22:48.149494 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:23:18.564985 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:23:48.678462 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:24:18.836217 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:24:48.991344 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:25:19.091032 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:25:49.187178 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:26:19.301770 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:26:49.425812 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:27:19.606711 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:27:49.721224 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:28:20.109117 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:28:50.211574 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:29:20.405007 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:29:50.507766 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:30:20.605471 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:30:50.702798 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:31:20.807400 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:31:50.903049 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:32:21.005618 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:32:51.106378 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:33:21.224447 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:33:51.354916 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:34:21.467898 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:34:51.583216 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:35:21.691099 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:35:51.797151 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:36:21.921057 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:36:52.083821 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:37:02.445737 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:37:07.427811 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:37:37.546362 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:38:07.651769 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:38:37.797858 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:39:08.064112 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:39:38.181089 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:40:08.282892 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:40:38.390167 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:41:08.508549 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:41:38.617921 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:42:08.728384 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:42:38.844074 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:43:08.973517 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:43:39.092095 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:44:09.202329 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:44:39.363721 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:45:09.476240 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:45:39.764944 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:46:09.894587 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:46:40.013388 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:47:10.127894 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:47:40.236119 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:48:10.397111 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:48:40.600084 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:49:10.877034 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:49:41.023593 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:50:11.149894 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:50:41.262320 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:51:11.410407 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:51:41.547057 1 proxier.go:1622] Failed to unbind service addr fe80::1c5d:70ff:fef2:e97b from dummy interface kube-ipvs0: error unbind address: fe80::1c5d:70ff:fef2:e97b from interface: kube-ipvs0, err: cannot assign requested address E1129 01:52:11.609974 1 proxier.go:1544] Failed to add destination: 172.31.200.9:443, error: file exists E1129 01:52:11.610088 1 graceful_termination.go:89] Try delete rs "10.96.0.1:443/TCP/172.31.10.38:6443" err: invalid argument E1129 01:52:11.616690 1 proxier.go:1485] Failed to get IPVS service, error: Expected only one service obtained=0 E1129 01:52:11.616767 1 proxier.go:1116] Failed to sync endpoint for service: 172.18.0.1:31645/TCP, err: Expected only one service obtained=0 E1129 01:01:12.181112 1 proxier.go:430] Failed to execute iptables-restore for nat: exit status 1 (iptables-restore: line 7 failed E1129 01:01:22.278474 1 proxier.go:430] Failed to execute iptables-restore for nat: exit status 1 (iptables-restore: line 7 failed E1129 01:01:21.459378 1 proxier.go:430] Failed to execute iptables-restore for nat: exit status 1 (iptables-restore: line 7 failed E1129 01:01:17.442316 1 proxier.go:430] Failed to execute iptables-restore for nat: exit status 1 (iptables-restore: line 7 failed E1129 20:10:17.955872 1 proxier.go:1455] Failed to add IPVS service "dev-fffrf/mysql-testportal:mysql": file exists E1129 20:10:17.955863 1 graceful_termination.go:89] Try delete rs "10.100.217.68:15004/TCP/192.100.143.225:15004" err: Failed to delete rs "10.100.217.68:15004/TCP/192.100.143.225:15004", can't find the real server E1129 20:10:17.955892 1 proxier.go:1119] Failed to sync service: 172.17.0.1:31645/TCP, err: file exists E1129 20:10:17.956412 1 proxier.go:1485] Failed to get IPVS service, error: invalid argument E1129 20:10:17.956417 1 graceful_termination.go:89] Try delete rs "10.96.0.1:443/TCP/172.31.10.38:6443" err: Failed to delete rs "10.96.0.1:443/TCP/172.31.10.38:6443", can't find the real server E1129 20:10:17.956426 1 proxier.go:1116] Failed to sync endpoint for service: 172.31.200.67:31645/TCP, err: invalid argument E1129 20:10:17.956448 1 graceful_termination.go:89] Try delete rs "10.101.1.98:5672/TCP/192.100.29.180:5672" err: invalid argument E1129 20:10:17.956547 1 graceful_termination.go:183] Try flush graceful termination list err E1129 01:01:17.484679 1 proxier.go:430] Failed to execute iptables-restore for nat: exit status 1 (iptables-restore: line 7 failed E1129 02:52:17.498135 1 graceful_termination.go:89] Try delete rs "10.96.0.1:443/TCP/172.31.10.38:6443" err: invalid argument E1129 02:52:17.498396 1 graceful_termination.go:183] Try flush graceful termination list err E1129 06:28:17.607394 1 graceful_termination.go:89] Try delete rs "10.96.0.1:443/TCP/172.31.10.38:6443" err: device or resource busy E1129 06:28:17.607513 1 graceful_termination.go:183] Try flush graceful termination list err E1129 10:02:17.718458 1 proxier.go:1544] Failed to add destination: 192.100.183.139:3306, error: file exists E1129 10:02:17.718606 1 proxier.go:1544] Failed to add destination: 192.100.183.152:8080, error: invalid argument

BTW. 내 로그 위에서 kube-proxy는 여전히 iptables-restore에 많은 문제가있는 것 같습니다. 내 모든 노드는 iptable의 버전 1.6.0이있는 UBUNTU 16.04입니다.
@ M1093782566 @ Lion-Wei

1.12.1에서 업그레이드 할 때 이런 일이 발생합니다. 따라서 1.12.1 및 1.12.2의 델타에 있어야합니다.

문제는 정상적인 종료와 관련이 있으며 v1.13.1에서 버그를 수정했다고 생각합니다.

@ m1093782566 수정 사항이 1.12 라인으로 백 포트됩니까? 현재 이것은 1.12.3 보안 수정을 차단하고 있습니다.

1.11.2에서 1.11.5로 업그레이드해도 동일합니다.

@ m1093782566 수정에 대한 자세한 정보를 제공 할 수 있습니까? 커밋을 살펴보고 싶습니다.

이건 정말 미쳤어 요. 오늘 우리는 정말 심하게 물 렸어요.

1.12.1에서 업그레이드 할 때 이런 일이 발생합니다. 따라서 1.12.1 및 1.12.2의 델타에 있어야합니다.

1.11.2에서 1.11.5로 업그레이드해도 동일합니다.

버그가 체리로 뽑혔습니까?

이것은 문제를 해결하는 PR처럼 보입니다 : https://github.com/kubernetes/kubernetes/pull/71515

True @ Quentin-M

예, 이것은 아마도 delete 함수의 수정에서 비롯된 것입니다 (PR 제목과 실제로 관련이 없음).

@ m1093782566 1.12 용 체리 픽을 만들 수 있습니다. 전체 PR을 백 포트할까요 아니면 삭제 기능의 수정 만할까요? (1.12에서 UDP 흐름으로 동작 변경 방지)

버그가 체리로 뽑혔습니까?

@ Quentin-M 버그가 https://github.com/kubernetes/kubernetes/pull/66012에 의해 도입 된 것 같습니다.이 버그는 1.11.5 및 1.12.2 릴리스로 선택되었습니다.
https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG-1.11.md#changelog -since-v1114
https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG-1.12.md#other -notable-changes-1

# 71515는 모두 체리 따야한다고 생각합니다. 전체적으로 우아한 종료는 # 66012로만 도입되고 선택되어 동작 변경이 이미 발생했습니다.

k8s.gcr.io/kube-proxy:v1.13.1-beta.0 여전히 클러스터에서 오래되었습니다. 이들 중 60 %는 24 시간 이내에 갇혔습니다. 지금 1.12.1을 시도하고 있습니다.

@ Quentin-M : kube-proxy의 로그를 확인하고 다음 유형의 메시지가 사라 졌는지 확인할 수 있습니까?

Nov 15 07:49:52 hex-48b-pm kube-proxy[5389]: I1115 07:49:52.393664    5389 graceful_termination.go:160] Trying to delete rs: 10.128.33.237:6379/TCP/10.125.6.34:6379
Nov 15 07:49:52 hex-48b-pm kube-proxy[5389]: E1115 07:49:52.393690    5389 graceful_termination.go:89] Try delete rs "10.128.33.237:6379/TCP/10.125.6.34:6379" err: Failed to delete rs "10.128.33.237:6379/TCP/10.125.6.34:6379", can't find the real server
Nov 15 07:49:52 hex-48b-pm kube-proxy[5389]: I1115 07:49:52.393697    5389 graceful_termination.go:93] lw: remote out of the list: 10.128.33.237:6379/TCP/10.125.6.34:6379

Nov 15 07:51:22 hex-48b-pm kube-proxy[5389]: E1115 07:51:22.420950    5389 proxier.go:1455] Failed to add IPVS service "monitoring/extradata-inserter:": file exists

둘 다 PR에서 수정 된 삭제 기능과 관련이 있습니다. 이러한 항목이 없어도 문제가 계속 발생하면이 수정으로는 충분하지 않습니다.

또한 모든 것이 1.12.1 작동하는 경우 문제가 정상적인 종료에서 비롯 될 가능성이 높습니다 (# 66012).

제 생각에는 아이디어가 있다고 생각합니다. 아직 정상적으로 종료 된 실제 서버를 추가하려고하면 어떻게 될지 궁금합니다. 이 경우 가중치를 1로 늘리고 gracefultermination 목록에서 제거해야합니다.

가능한 한 빨리이 시나리오를 테스트 할 것입니다 (하지만 다음 주에 Kubecon에 있기 때문에 까다로울 것입니다)

@ Lion-Wei 어떻게 생각하세요?

Ok 스크래치, 방금 테스트했는데 잘 작동합니다. 이를 담당하는 코드는 다음과 같습니다 : https://github.com/kubernetes/kubernetes/blob/456c351e31517543e0686b2cadf21615d30a738f/pkg/proxy/ipvs/proxier.go#L1538 -L1542

이 경우 RS는 gracefulDelete 목록과 IPVS RS에서 제거됩니다. 가중치를 다시 1로 설정하는 것이 더 좋지 않을 수 있는지 궁금합니다.

삭제 된 서비스에 대한 엔드 포인트 동기화를 시도하는 것으로 보이는 로그의이 부분을 기반으로 다른 작업을 시도해 보겠습니다.

Nov 15 07:51:22 hex-48b-pm kube-proxy[5389]: E1115 07:51:22.420734    5389 proxier.go:1496] Failed to list IPVS destinations, error: invalid argument
Nov 15 07:51:22 hex-48b-pm kube-proxy[5389]: E1115 07:51:22.420763    5389 proxier.go:809] Failed to sync endpoint for service: 10.128.33.156:8125/TCP, err: invalid argument
Nov 15 07:51:22 hex-48b-pm kube-proxy[5389]: E1115 07:51:22.420889    5389 proxier.go:1485] Failed to get IPVS service, error: Expected only one service obtained=0
Nov 15 07:51:22 hex-48b-pm kube-proxy[5389]: E1115 07:51:22.420903    5389 proxier.go:809] Failed to sync endpoint for service: 10.128.35.150:6379/TCP, err: Expected only one service obtained=0
Nov 15 07:51:22 hex-48b-pm kube-proxy[5389]: E1115 07:51:22.420950    5389 proxier.go:1455] Failed to add IPVS service "monitoring/extradata-inserter:": file exists
Nov 15 07:51:22 hex-48b-pm kube-proxy[5389]: E1115 07:51:22.420961    5389 proxier.go:812] Failed to sync service: 10.128.34.54:80/TCP, err: file exists
Nov 15 07:51:22 hex-48b-pm kube-proxy[5389]: E1115 07:51:22.421886    5389 proxier.go:1544] Failed to add destination: 10.125.27.66:80, error: file exists

확인 후 삭제 문제를 수정 한 커밋이 v1.13.1-beta.0 또는 11 월 7 일에 잘린 v1.14.0-alpha.0 에 없습니다.
마스터를 기반으로 한 다음 1.14 알파 릴리스에있을 것이라고 생각합니다.

1.13 용 체리 픽도 만들겠습니다.

1.12.0에서 1.13.0으로 업그레이드 할 때 문제가 발생했습니다.이 문제와 관련된 것 같지만 동일하지는 않습니다.

iptables로 되 돌리면 문제를 해결할 수 없습니다. 제발 도와주세요.

나는 그것을 stackoverflow에 게시했습니다.

1.11.5에서도 동일합니다. 임시로 ipvs에서 iptables로 되돌 렸습니다.

1.11.5에서 동일합니다. 존재하는 취약점으로 인해 1.11.4로 롤백 할 수 없습니다. iptables로 전환해야했습니다. 이것에 대한 픽스는 1.11.x에 대해 릴리스 될 예정입니까?

취약점의 영향을받지 않고 kube-proxy를 매우 구체적으로 롤백 할 수 있습니다.

@ Quentin-M 그래, 그 생각이 내 마음을 강타했지만, 다른 생각에 내가 그것을했다면 나는 iptables와 함께 거기에 있었던 우아한 종료를 가지지 않았을 것이다. 고객이 변경을 원하는지 확실하지 않습니다.

@ Quentin-M은이 버그를 해결하기 위해 1.11.x에 대한 수정 사항이 없다는 것을 의미합니까?

@emptywee 1.11 용 체리 픽을 만들었습니다 : https://github.com/kubernetes/kubernetes/pull/71848
곧 병합되어 1.11.6

이미 1.12 ( 1.12.4 ) 및 1.13 ( 1.13.1 )에 병합되었습니다.

체리 픽도 1.11에서 합병되었습니다.
3 개의 브랜치에서 다음 패치 릴리스를 기다려야합니다 (하지만 사용자 지정 kube-proxy 빌드 (또는 패치가있는 하이퍼 쿠베 도커 이미지)를 쉽게 만들 수 있기 전에 테스트하려는 경우)

@lbernail 대단히 감사합니다! 공개적으로 사용 가능한 도커 이미지가 있으면 좋을 것입니다! 나는 그것을 테스트하고 싶다!

수정 사항은 이미 v1.11, v1.12 및 v1.13으로 선택되었습니다.

이 문제를 해결할 수 있도록 테스트 해 주시겠습니까?

@ m1093782566 나는 이것을 테스트하고 있습니다. btw, 커뮤니티는 이에 대한 소규모 릴리스를 언제 게시합니까?

감사합니다 @berlinsaint , 테스트 결과를 알려주십시오.

커뮤니티는 이에 대한 소규모 릴리스를 언제 게시합니까?

수정 사항이 포함 된 새로운 소규모 릴리스는 2 주 이내에 게시됩니다.

@emptywee : 여기 있습니다 : lbernail/hyperkube:v1.12.4-beta.1
어떻게 작동하는지 알려주세요!

@lbernail v1.11.5의 다른 모든 것과 함께 사용해도 괜찮습니까? 아니면 먼저 kubernetes 클러스터를 v1.12.4로 올려야하나요? 어쨌든 감사합니다!

@emptywee 예, 문제없이 작동합니다 (1.10 클러스터에서 kube-proxy 1.11을 몇 달 동안 실행했습니다)

오늘 나중에 1.11 빌드도 할 수 있습니다.

@lbernail 예, 동일한 릴리스 버전의 이미지가 있으면 좋을 것입니다.

@emptywee 여기 있습니다 : lbernail/hyperkube:v1.11.6-beta.1

@ m1093782566 @lbernail 어느 날 밤
적어도 하루 전에 한 번 발생합니다. 그러나 그것을 확인하는 데 더 많은 시간이 필요합니다. 정말 감사합니다. 그것은 나를 오랫동안 짜증나게했습니다.

내일 1.11에서 테스트를 시작하고 며칠 동안도 테스트 할 것입니다.

@lbernail 나는 당신을 시도했습니다 lbernail/hyperkube:v1.11.6-beta.1 (감사합니다!)
can't find the real server 로그 메시지가 표시되지 않아 즉시 문제가 해결되었다고 생각했습니다. 그러나 하루 반이 지나면 클러스터 노드 3/6에서 오래된 ipvs 항목에 문제가 있습니다.
고장난 클러스터 노드의 서비스에 대한 ipvs 항목입니다.
kube-proxy를 다시 시작하기 전에 :

-A -t 10.230.65.211:9494 -s rr
-a -t 10.230.65.211:9494 -r 10.230.158.10:9494 -m -w 1
-a -t 10.230.65.211:9494 -r 10.230.158.57:9494 -m -w 1
-a -t 10.230.65.211:9494 -r 10.230.213.245:9494 -m -w 1
-a -t 10.230.65.211:9494 -r 10.230.216.170:9494 -m -w 1
-a -t 10.230.65.211:9494 -r 10.230.216.180:9494 -m -w 0
-a -t 10.230.65.211:9494 -r 10.230.222.151:9494 -m -w 1
-a -t 10.230.65.211:9494 -r 10.230.222.158:9494 -m -w 0
-a -t 10.230.65.211:9494 -r 10.230.222.160:9494 -m -w 1
-a -t 10.230.65.211:9494 -r 10.230.226.82:9494 -m -w 1
-a -t 10.230.65.211:9494 -r 10.230.226.85:9494 -m -w 1
-a -t 10.230.65.211:9494 -r 10.230.226.117:9494 -m -w 0
-a -t 10.230.65.211:9494 -r 10.230.242.229:9494 -m -w 1

kube-proxy를 다시 시작한 후 :

-A -t 10.230.65.211:9494 -s rr
-a -t 10.230.65.211:9494 -r 10.230.158.36:9494 -m -w 1
-a -t 10.230.65.211:9494 -r 10.230.213.236:9494 -m -w 1
-a -t 10.230.65.211:9494 -r 10.230.216.129:9494 -m -w 1
-a -t 10.230.65.211:9494 -r 10.230.216.163:9494 -m -w 1
-a -t 10.230.65.211:9494 -r 10.230.226.84:9494 -m -w 1
-a -t 10.230.65.211:9494 -r 10.230.226.124:9494 -m -w 1

@lbernail @bjornryden 1.11.5에서 IPVS로 전환했을 때이 스레드에 들어간 이유였습니다. 다음날 서비스에 액세스 할 수 없음을 발견했기 때문에 kube-proxy가 중단되어 서비스 항목을 업데이트하지 않을 것이라고 생각했습니다.
이는 kube-proxy v1.11.5와 유사한 문제 (ipvs 테이블의 잘못된 IP)가 있음을 알려 드리기위한 것입니다.

@bjornryden 삭제 오류에 대한 좋은 소식입니다 (패치가 해결 한 것입니다).

백엔드가 제대로 업데이트되지 않았다는 사실은 정상 종료가 새 엔드 포인트에 영향을주지 않아야하기 때문에 이상합니다 (예를 들어 일부 오래된 엔드 포인트가 여전히 존재한다면 놀라지 않을 것입니다).

10.230.65.211:9494 서비스와 관련된 kube-proxy 로그를 공유 할 수 있습니까?

또한이 서비스 / 배포에서 특별한 동작이 있습니까? (예를 들어 포드가 매우 자주 업데이트됩니까, 아니면 HPA 뒤에 있습니까?)

그것은 IPVS 모드에서 @lbernail하여 1.11.6-beta.1 이미지 내 실험실 클러스터에서 2 일 동안 운영하고 그래서.
지금까지는 중단되지 않았으며 ipvs 항목을 계속 업데이트합니다.

하지만 한 가지 이상한 관찰 :

lvdkbm501 ~ # ipvsadm -L -n -t 10.158.9.61:443
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.158.9.61:443 rr
  -> 10.158.128.28:8443           Masq    1      0          0         
  -> 10.158.130.24:8443           Masq    1      0          0         
lvdkbm501 ~ # ipvsadm -L -n -t 10.158.9.61:443
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.158.9.61:443 rr
  -> 10.158.128.28:8443           Masq    1      0          0         
lvdkbm501 ~ # ipvsadm -L -n -t 10.158.9.61:443
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.158.9.61:443 rr
  -> 10.158.128.28:8443           Masq    1      0          0         
lvdkbm501 ~ # ipvsadm -L -n -t 10.158.9.61:443
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.158.9.61:443 rr
  -> 10.158.128.28:8443           Masq    1      0          0         
  -> 10.158.128.28:8443           Masq    1      0          0         
lvdkbm501 ~ # ipvsadm -L -n -t 10.158.9.61:443
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.158.9.61:443 rr
  -> 10.158.128.28:8443           Masq    1      0          0         
  -> 10.158.129.28:8443           Masq    1      0          0         

ipvsadm에 대한 첫 번째 호출은 서비스의 포드 중 하나를 삭제하기 전의 초기 상태를 보여줍니다. 다음으로 pod가 삭제 되었기 때문에 한 항목이 사라 졌다는 것을 보여주는 사람은 거의 없습니다. 그러나 그것이 어떻게 될 것인지는 모르겠지만, 떠난 포드와 동일한 IP 주소로 두 번째 항목을 생성했습니다. 그런 다음 삭제 된 포드를 대체하기 위해 나온 새 포드의 올바른 IP로 업데이트했습니다.

그 외에는 괜찮 았습니다. 그러나 실험실 클러스터는 다른 클러스터만큼 바쁘지 않습니다. @bjornryden 의 댓글은 고객에게 영향을 줄 수있는 더 바쁜 클러스터에서 이미지를 사용해 보는 것이 약간 걱정

@emptywee 삭제 된 포드가 10.158.130.24 라고 가정합니다. 나는 이것을 이해하지 못한다.

TCP  10.158.9.61:443 rr
  -> 10.158.128.28:8443           Masq    1      0          0         
  -> 10.158.128.28:8443           Masq    1      0          0 

동일한 실제 서버를 두 번 사용하는 것은 의미가 없습니다. 재현 할 수 있습니까?

포드 삭제에 대한 일반적인 동작은 다음과 같아야합니다.

• 이 포드에 연결되지 않은 경우 RS를 제거합니다.
• 연결이있는 경우 가중치를 0으로 설정합니다 (설정된 연결이 계속되고 새 연결이 없음).
• 매분 가중치가 0 인 모든 RS를 확인하고 (이것이 정상 종료 목록을위한 것입니다) 더 이상 연결이없는 RS는 제거합니다.

@lbernail 맞습니다. 삭제 된 포드에는 해당 IP 주소가 있습니다. 그리고 네, 그것은 나에게도 이상하게 보였습니다. 기회가되면 재현 해 보겠습니다. 동일한 동작을 재현 할 수 있다면 로그 상세도를 높이시겠습니까? 그렇다면 어떤 수준으로?

@emptywee : 정말 감사합니다, --v=5 많은 정보를 주셔야합니다
가장 중요한 것은 IPVS의 VS에서 RS가 두 번 나타날 수 있다고 생각하지도 않는다는 것입니다. 어떤 커널을 실행하고 있습니까?

@lbernail 은 --v = 5로 설정하고 아마도 주말에 얼마 동안 재생산을 시도 할 것입니다.

CoreOS 안정 상태입니다.

4.14는 최신 버전이므로 IPVS 문제가 있으면 놀랄 것입니다.
@bjornryden 에서 문제를 재현 할 수 있는지 확인하기 위해 패치 된 버전이있는 클러스터에 스트레스를

@lbernail 불행히도 한 번만 본 ipvs 항목 복제 동작을 재현 할 수 없습니다. 다른 서비스로 여러 번 시도했습니다. 그러나 가중치가 0 인 항목은 본 적이 없지만 삭제 한 포드가 매우 빠르게 종료된다는 사실에 의해 설명 될 수 있습니다. 또한 kube-proxy가 5 일 이상 실행 된 후 응답했습니다. 여기에 더 바쁜 클러스터 방식으로 다시 시도 할 수 있습니다.

@emptywee 이것은 "좋은"소식입니다.

가중치는 ActiveConn 또는 InActiveConn 인 경우에만 0으로 설정됩니다. 이를 보려면 연결된 포드를 삭제하기 전에 서비스에 대한 수명이 긴 연결을 열기 만하면됩니다 (예 : 텔넷 사용).

5 일간의 안정은 희소식입니다! 더 바쁜 클러스터에서 시도하는 경우 어떻게 진행되는지 알려주십시오.

가는 길에 몇 가지 작은 개선 사항이 있습니다.

• https://github.com/kubernetes/kubernetes/pull/71834 : sessionAffinity를 사용하여 서비스에서 정상적인 종료 작업을 수행합니다 (이미 마스터에서 1.13, 1.12 및 1.11 용으로 생성 된 체리 선택).
• https://github.com/kubernetes/kubernetes/pull/71895 및 https://github.com/kubernetes/kubernetes/pull/72106 : 서비스 삭제시 정상 종료 지원 (첫 번째는 이미 마스터에 있습니다. 두 번째가 모든 지점에서 모두 체리를 따기를 기다리고 있습니다)

또한 1.11.6 , 1.12.4 및 1.13.1 이 릴리스되었으며 삭제 기능에 수정 사항이 포함되어 있습니다.

주말에이 문제에 대한 짧은 기사를 썼습니다. 꼭 수정 버전으로 업데이트하겠습니다!

@lbernail 물론입니다! 당신의 하이퍼 쿠베 이미지는 1.11.6으로 공개 된 이미지와 동일합니까? 더 바쁜 클러스터에만 kube-proxy에 대한 이미지를 설치하고 테스트를 위해 ipvs로 다시 전환했습니다. 공식적인 것을 사용 하시겠습니까?

@emptywee 내 이미지와 1.11.6은 기본적으로 동일합니다. 공식 릴리스 며칠 전에 릴리스 -1.11 브랜치의 헤드에서 빌드 했으므로 차이점은 최대 몇 개의 커밋이며 IPVS와는 관련이 없습니다. 따라서 클러스터를 다시 업데이트 할 가치가 없다고 생각합니다.

나쁜 소식 :( 방금 내 kube-proxy가 ipvs 백엔드를 업데이트하지 못했습니다. iptables로 다시 전환하고 로그를 수집했습니다. --v=5 플래그로 kube-proxy를 실행했습니다.

@lbernail 따라서 얼마나 많은 로그가 필요한지 확실하지 않지만 기본적으로 ipvs 백엔드 IP가 업데이트되지 않은 몇 가지 서비스에 문제가 발생했습니다. 그러나 로그는 엔드 포인트를 올바르게 업데이트하고 있음을 알려줍니다.

$ cat kube-proxy-issue.log | egrep -e 'c-qa4/ycsdtleuk|10.148.191.69|10.148.192.14|10.148.183.70|10.148.184.67'
I1217 19:12:52.849863       1 graceful_termination.go:160] Trying to delete rs: 10.148.6.202:80/TCP/10.148.192.14:8080
I1217 19:12:52.849948       1 graceful_termination.go:173] Deleting rs: 10.148.6.202:80/TCP/10.148.192.14:8080
I1217 19:12:52.850000       1 graceful_termination.go:160] Trying to delete rs: 10.148.6.202:80/TCP/10.148.191.69:8080
I1217 19:12:52.850069       1 graceful_termination.go:173] Deleting rs: 10.148.6.202:80/TCP/10.148.191.69:8080
I1217 19:12:53.425438       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 19:13:00.501203       1 ipset.go:140] Successfully delete legacy ip set entry: 10.148.191.69,tcp:8080,10.148.191.69 from ip set: KUBE-LOOP-BACK
I1217 19:13:00.543691       1 ipset.go:140] Successfully delete legacy ip set entry: 10.148.192.14,tcp:8080,10.148.192.14 from ip set: KUBE-LOOP-BACK
I1217 19:13:06.916777       1 service.go:309] Adding new service port "c-qa4/ycsdtleuk:http" at 10.148.6.202:80/TCP
I1217 19:13:08.345142       1 proxier.go:1465] Adding new service "c-qa4/ycsdtleuk:http" 10.148.6.202:80/TCP
I1217 19:13:13.939763       1 ipset.go:148] Successfully add entry: 10.148.191.69,tcp:8080,10.148.191.69 to ip set: KUBE-LOOP-BACK
I1217 19:13:14.002663       1 ipset.go:148] Successfully add entry: 10.148.192.14,tcp:8080,10.148.192.14 to ip set: KUBE-LOOP-BACK
I1217 19:27:53.485483       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 19:27:53.485526       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 19:42:53.388638       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 19:42:53.388673       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 19:57:53.643829       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 19:57:53.644032       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 20:12:53.541080       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 20:12:53.541129       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 20:27:53.368129       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 20:27:53.368306       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 20:42:53.539517       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 20:42:53.539542       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 20:57:53.624320       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 20:57:53.624371       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 21:12:53.630561       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 21:12:53.630585       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 21:26:20.897397       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 21:26:20.897463       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 21:26:46.630013       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 21:26:46.630084       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 21:26:57.995544       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.191.69:8080 10.148.192.14:8080]
I1217 21:26:57.995657       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.183.68:8080 10.148.191.69:8080 10.148.192.14:8080]
I1217 21:27:24.296606       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.183.68:8080 10.148.187.41:8080 10.148.191.69:8080 10.148.192.14:8080]
I1217 21:27:53.678172       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.183.68:8080 10.148.187.41:8080 10.148.191.69:8080 10.148.192.14:8080]
I1217 21:28:21.517538       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.183.68:8080 10.148.187.41:8080 10.148.191.69:8080]
I1217 21:28:21.595632       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.183.68:8080 10.148.187.41:8080]
I1217 21:42:53.491595       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.183.68:8080 10.148.187.41:8080]
I1217 21:57:53.492214       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.183.68:8080 10.148.187.41:8080]
I1217 22:05:45.760620       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.183.68:8080]
I1217 22:06:24.890429       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.183.68:8080]
I1217 22:07:15.463144       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.134.231:8080 10.148.183.68:8080]
I1217 22:07:43.201415       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.134.231:8080]
I1217 22:08:18.268005       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.134.231:8080]
I1217 22:08:58.774066       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.134.231:8080 10.148.192.70:8080]
I1217 22:12:53.528515       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.134.231:8080 10.148.192.70:8080]
I1217 22:27:53.522197       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.134.231:8080 10.148.192.70:8080]
I1217 22:29:20.396794       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.134.231:8080 10.148.192.70:8080]
I1217 22:29:43.994895       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.134.231:8080 10.148.192.70:8080]
I1217 22:29:54.382253       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.134.231:8080 10.148.183.70:8080 10.148.192.70:8080]
I1217 22:30:17.895084       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.134.231:8080 10.148.183.70:8080 10.148.184.67:8080 10.148.192.70:8080]
I1217 22:31:45.791871       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.134.231:8080 10.148.183.70:8080 10.148.184.67:8080]
I1217 22:31:45.855011       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.183.70:8080 10.148.184.67:8080]
I1217 22:42:53.652587       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.183.70:8080 10.148.184.67:8080]
I1217 22:57:53.509372       1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.183.70:8080 10.148.184.67:8080]

그러나 ipvsadm으로 확인했을 때 여전히 처음 두 개가 표시되었습니다 : 10.148.191.69:8080 10.148.192.14:8080

kubectl -n c-qa4 describe svc ycsdtleuk 는 엔드 포인트가 10.148.183.70:8080 10.148.184.67:8080 라고 말했고 다른 상자에서는 동일한 서비스에 대한 ipvs 항목이 제대로 업데이트되고있었습니다.

$ kubectl -n c-qa4 describe svc ycsdtleuk
Name:              ycsdtleuk
Namespace:         c-qa4
Labels:            country=uk
                   env=qa
                   run=ycsdtleuk
                   stack=c
                   track=4
Annotations:       run: ycsdtleuk
Selector:          load-balancer-ycsdtleuk=true
Type:              ClusterIP
IP:                10.148.6.202
Port:              http  80/TCP
TargetPort:        8080/TCP
Endpoints:         10.148.183.70:8080,10.148.184.67:8080
Session Affinity:  None
Events:            <none>

기본적으로 동시에 두 개의 상자에서 다음을보고있었습니다.

(incorrect ipvs config)
rnqkbm401 ~ # ipvsadm -L -t 10.148.6.202:80
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  rnqkbm401:http rr
  -> 10.148.191.69:http-alt       Masq    1      0          0
  -> 10.148.192.14:http-alt       Masq    1      0          0

(correct ipvs config)
rnqkbw401 ~ # ipvsadm -L -t 10.148.6.202:80
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  rnqkbw401:http rr
  -> 10.148.183.70:http-alt       Masq    1      0          0
  -> 10.148.184.67:http-alt       Masq    1      0          0

명백한 오류 메시지 나 문제의 징후를 나타내는 비명은 어디에도 없습니다. 원하는 경우 전체 로그 파일 (압축되지 않은 18M)을 직접 보낼 수 있습니다.

간단히 말해서 서비스 변경을 듣는 부분은 잘 작동하지만 ipvs 모듈과 상호 작용하는 부분은 그렇지 않은 것처럼 느껴집니다. 처음 두 개의 IP 주소를 추가 한 후에 삭제하려는 시도조차 보이지 않습니다. 어딘가에 무언가가 붙어 있습니다.

@emptywee 자세한 보고서를

놀라운 점은 syncProxyRules 가 적어도 30 초마다 (기본값) 실행되며 IPVS 실제 서버를 엔드 포인트와 조정해야한다는 것입니다. syncEndpoints 를 호출하여 AddRealServer 및 ipvsHandle.NewDestination 를 트리거합니다.

이 모든 것은 이전 엔드 포인트가 삭제되기 전에 발생하므로 정상적인 종료로 인해 영향을받지 않아야합니다.

21:26 와 21:29 사이에 무슨 일이 일어나는지 정확히 알 수 있도록 전체 로그를 보내 주시겠습니까?

두 가지 추가 질문 :

• 하나의 kube-proxy가 영향을 받았습니다.
• 단일 서비스가 영향을 받았습니까 (다른 서비스가 계속 정상적으로 업데이트 되었습니까?)

다음 번에는 SIGABRT를 프로세스에 전송하여 작업 상태를 인쇄 해보십시오.

문제가 발생했을 때 항상 libnetwork/ipvs/netlink.go 내부에서 무언가를하고 있었기 때문에 어떤 이유로 든 넷 링크 시스템 호출이 중단 된 것으로 의심하게되었습니다.

부재중에 미안하지만 주말에 설정을 위해 iptables로 되 돌리는 데 집중해야했습니다.

서비스에 대해 요청 된 로그 @lbernail을 살펴보면 다음과 같은 내용이 많이 있습니다.

I1214   11:48:44.889081       1   graceful_termination.go:160] Trying to delete rs:   172.17.0.1:31663/TCP/10.230.213.204:9300
I1214 11:48:44.889099       1 graceful_termination.go:173]   Deleting rs: 172.17.0.1:31663/TCP/10.230.213.204:9300
I1214 11:48:44.889113       1 graceful_termination.go:160] Trying   to delete rs: 172.17.0.1:31663/TCP/10.230.226.83:9300
I1214 11:48:44.889130       1 graceful_termination.go:173]   Deleting rs: 172.17.0.1:31663/TCP/10.230.226.83:9300
...

우리는 또한 이것을 보았다 :

I1214 12:15:44.920364       1 graceful_termination.go:160] Trying to delete rs: 10.230.65.211:9494/TCP/10.230.226.124:9494
I1214 12:15:44.920489       1 graceful_termination.go:173] Deleting rs: 10.230.65.211:9494/TCP/10.230.226.124:9494
I1214 12:15:44.920512       1 graceful_termination.go:93] lw: remote out of the list: 10.230.65.211:9494/TCP/10.230.226.124:9494

다른 사람들이보고 한 것처럼 이것은 일부 노드에서만 발생했습니다. 문제를 발견했을 때이 특정 서비스에 대해 3 개의 클러스터 노드가 손상되었습니다.

@lbernail 물론입니다. 요청 된 로그 부분은 다음과 같습니다. 시작 부분도 포함했습니다. https://gist.github.com/emptywee/6f7e9c9e43f10288950d1d8420c038f0

전체 파일이 필요한지 알려주세요. 예인 경우 전송하거나 업로드 할 위치입니다.

질문에 답하려면 :

1. 클러스터에는 60 개 이상의 노드가 있으며 몇 가지 다른 노드를 확인했는데 ipvs 항목이 정확했습니다. 그래도 모든 항목에 대해 확실하지 않습니다. 그러나 모든 트래픽을 서비스로 라우팅하는 마스터 노드에서 적어도 두 개의 서비스가 제대로 업데이트되지 않았습니다. 더 많은 것이있을 수 있지만 고객으로부터 불만을 받기 시작하자 즉시 두 가지 서비스에 액세스 할 수 없다는 소식을 들었습니다. 영향을 최소화하기 위해 로그를 수집하고 kube-proxy를 다시 시작했습니다. 문제 해결의 일환으로 해당 마스터 노드와 작업자 노드 중 하나에있는 ipvs 항목의 상태를 비교 한 결과 차이가 있음을 깨달았습니다. 다른 노드에 제대로 업데이트되지 않은 다른 항목이있을 가능성이 있지만 트래픽이이를 통과하지 않기 때문에 영향을주지 않았습니다.

2. 아니요, 적어도 두 개의 서비스가 영향을 받았습니다. 더 많을 수도 있지만 확인하지 않았습니다.

로그에서 흥미로운 두 가지 :

• I1217 21:26:57.995657 1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.183.68:8080 10.148.191.69:8080 10.148.192.14:8080] 은 (는) IPVS에서 처리되지 않지만 이전 RS 2 개를 유지하므로 오류가 없습니다 (확실 할 수 없습니다. RS를 추가해도 로그가 생성되지 않음).
• I1217 21:28:21.517538 1 endpoints.go:234] Setting endpoints for "c-qa4/ycsdtleuk:http" to [10.148.183.68:8080 10.148.187.41:8080 10.148.191.69:8080] 는 10.148.192.14:8080 대한 삭제 호출을 트리거하지 않습니다 (로그가 있어야 함).

@emptywee 는 정상적인 종료 전에 IPVS가 작동 했습니까? 아니면 iptables를 사용하고 있습니까?

@ m1093782566 / @ Lion-Wei 여기에 무슨 일이 일어날 지 아십니까?

@lbernail ipvs로 전환하기 위해 1.11로 업그레이드 할 때까지 기다렸고 (이 기능에 대한 GA 릴리스가 발생한 시점이라고 생각합니다) 1.11.5로 바로 업그레이드했으며 ipvs 사용을 시작하려는 첫 시도였습니다.

@emptywee : 문제를 정확히 파악하기 위해 정보 수준 로그를 더 추가 할 것입니다. 몇 시간 동안 더 자세한 버전을 실행해도 괜찮습니까? (당신이 원하지 않는다면 완전히 이해하지만 아직 내 편에서 재현 할 수 없었습니다)

우리는 5 월부터 IPVS를 사용해 왔으며 1.12.1 및 1.11.1에서는 문제가 없었습니다.

우리는 또한 1.12.3으로 업그레이드 한 후 여러 노드에서 이런 일이 발생하는 것을 보았습니다. 영향을받은 노드는 업그레이드 후 몇 시간 후에 IPVS 업데이트를 중지했지만 내가 식별 할 수있는 조정 된 방식이 아닙니다.

한 가지 주목할 점은 kube-proxy도 당시 로깅을 완전히 중지했기 때문에 완전히 멈춘 것처럼 보입니다.

멈춤을 보여주는 로그 파일과 SIGQUIT 후 고 루틴 덤프 (약간 수정 됨)

@matthiasr 의 로그 파일은 다시 고 루틴이 netlink 소켓에서 읽기를 멈추는 것을 보여줍니다. 나와 같은.

netlink 소켓과 너무 많은 상호 작용을 일으키는 논리 오류가 있다고 주장 할 수 있습니다. 그러나 netlink와의 통신이 견고하지 않으면 ipvs는 결국 중단됩니다. 논리 오류가 수정되면이 상태에 도달하는 데 훨씬 더 오래 걸릴 수 있지만 충분한 시간이 주어지면 발생할 수 없다는 의미는 아닙니다.

그렇기 때문에 넷 링크 상호 작용에 일종의 시간 제한이있는 것이 좋습니다. 작업 시간이 초과되면 복구 메커니즘으로 netlink 소켓을 닫고 새 소켓을 자동으로 엽니 다.

좋은 소식 (우리는 또한 어떤 문제없이 6 개월 이상 IPVS를 사용하고 있지만, 아직 우리의 바쁜 클러스터에 우아한 종료를 사용하여 버전으로 업데이트하지 않은)의 것을 확인 @matthiasr

어딘가에 교착 상태가있는 것 같습니다.

@lbernail 전체 클러스터를 ipvs로 전환하는 것은 약간 이것이이 문제를 해결하는 데 도움이된다면 다운되었습니다. 사용할 이미지 이름을 알려 주시면이 문제를 해결하기 위해 최선을 다하겠습니다.

문제를 재현 할 수 있는지 알아보기 위해 1.11.6에서 IPVS로 되돌 렸습니다. 로깅을 5로 설정하고 다음 날 동안 클러스터에서 일부 활동을 실행합니다. 내일은 일하지 않겠지 만, 변경해야 할 로깅이 증가 된 이미지가 있는지 온라인으로 확인하겠습니다.

@matthiasr : 1.12.3 확실히 문제가 있습니다 (이 스레드의 나머지 부분 참조). 일부는 1.12.4 에서 해결됩니다. 로그에서 훨씬 적은 오류가 발생합니다. 모두 사라져야합니다 : Failed to add destination: 10.zz.yy.xx, error: file exists

kube-proxy가 더 이상 실제 서버를 업데이트하지 않는 것처럼 보이는 문제가 여전히 있습니다.
나는 그것을 조금 더 조사했다.

• @emptywee 에서 문제가 시작된 후 proxier.go, ipset.go 또는 graceful_termination.go의 로그가 표시되지 않는 것 같습니다. @emptywee 21:30 이후에 이러한 파일에 대한 로그가 있는지 확인할 수 있습니까?
• go 루틴 덤프에는 netlink 소켓에서 수신하는 두 개의 syscall이 있습니다. 그래서 우리는 거기에 문제가있을 수 있습니다. 또한 정상 종료를 지원하기 위해 libnetwork / ipvs가 업그레이드되어 동작이 변경되었을 수 있습니다. 그러나 libnetwork 코드는 netlink 소켓에서 send / rcv 시간 초과를 설정하는 것 같습니다 (고착 된 경우 시간 (분)이 표시되어야 함) : https://github.com/docker/libnetwork/blob/a9cd636e37898226332c439363e2ed0ea185ae92/ipvs /ipvs.go#L77 -L105

흥미롭게도 새 버전의 libnetwork에만 netlink 시간 초과가 있습니다.

libnetwork는 모든 릴리스 브랜치 (1.11, 1.12 및 1.13)에서 업그레이드되어 정상적인 종료를 허용했습니다. ba46b928444931e6865d8618dc03622cac79aa6f 에서 a9cd636e37898226332c439363e2ed0ea185ae92

이전 버전에서 코드는 다음과 같습니다. https://github.com/docker/libnetwork/blob/ba46b928444931e6865d8618dc03622cac79aa6f/ipvs/ipvs.go#L65 -L87

이 두 커밋 사이의 libnetwork의 IPVS 코드에서 유일한 차이점은 다음과 같습니다.

• 타임 아웃 소개
• ActiveConnections 및 InactiveConnections 를 Destination (정상 종료를 위해 필요함)

이것이 관련이 있는지 궁금합니다.

문제에 대해 좀 더 생각 해본 후, 동일한 넷 링크 소켓을 사용하는 두 개의 고 루틴이 있다는 사실에서 비롯된 것이라고 생각합니다 (gracefulTerminationManager는 자체 고 루틴에서 실행되고 utilipvs.Interface를 프록시와 공유하기 때문입니다).

pkg/util/ipvs/ipvs_linux.go 모든 호출에 뮤텍스를 추가하여 주어진 시간에 단일 고 루틴이 넷 링크 소켓을 사용하는지 확인할 수 있습니다.

@ m1093782566 어떻게 생각하세요?

@lbernail 아니요, 21:30 이후에는 해당 파일의 항목이 없습니다.
다음은 다양한 파일에 대한 마지막 항목입니다.

graceful_termination.go의 마지막 항목

$ cat kube-proxy-issue.log | grep 'graceful_termination.go' | tail
I1217 21:18:20.757262       1 graceful_termination.go:66] Adding rs 10.148.11.105:8080/TCP/10.148.174.35:8081 to graceful delete rsList
I1217 21:18:52.267340       1 graceful_termination.go:160] Trying to delete rs: 10.148.0.145:80/TCP/10.148.188.28:8080
I1217 21:18:52.267456       1 graceful_termination.go:173] Deleting rs: 10.148.0.145:80/TCP/10.148.188.28:8080
I1217 21:18:52.267638       1 graceful_termination.go:160] Trying to delete rs: 10.148.0.145:80/TCP/10.148.145.194:8080
I1217 21:18:52.267755       1 graceful_termination.go:173] Deleting rs: 10.148.0.145:80/TCP/10.148.145.194:8080
I1217 21:18:52.405770       1 graceful_termination.go:160] Trying to delete rs: 10.148.0.145:80/TCP/10.148.188.28:8081
I1217 21:18:52.405906       1 graceful_termination.go:173] Deleting rs: 10.148.0.145:80/TCP/10.148.188.28:8081
I1217 21:18:52.406052       1 graceful_termination.go:160] Trying to delete rs: 10.148.0.145:80/TCP/10.148.145.194:8081
I1217 21:18:52.406156       1 graceful_termination.go:173] Deleting rs: 10.148.0.145:80/TCP/10.148.145.194:8081
I1217 21:18:53.240664       1 graceful_termination.go:160] Trying to delete rs: 10.148.11.105:8080/TCP/10.148.174.35:8081

proxier.go의 마지막 항목 :

$ cat kube-proxy-issue.log | grep 'proxier.go' | tail
I1217 21:18:52.570282       1 proxier.go:1023] Port "nodePort for kube-system/kube-dns:dns-tcp" (:30054/tcp) was open before and is still needed
I1217 21:18:52.663609       1 proxier.go:1023] Port "nodePort for ingress-nginx/ingress-nginx:http" (:31513/tcp) was open before and is still needed
I1217 21:18:53.241144       1 proxier.go:1465] Adding new service "c-qa4/yardchange-ws:http" 10.148.1.136:80/TCP
E1217 21:18:53.241277       1 proxier.go:1467] Failed to add IPVS service "c-qa4/yardchange-ws:http": file exists
E1217 21:18:53.241350       1 proxier.go:821] Failed to sync service: 10.148.1.136:80/TCP, err: file exists
I1217 21:18:53.241624       1 proxier.go:1465] Adding new service "c-qa4/receiving-ws-v2-uk:http-admin" 10.148.13.141:8080/TCP
E1217 21:18:53.241723       1 proxier.go:1467] Failed to add IPVS service "c-qa4/receiving-ws-v2-uk:http-admin": file exists
E1217 21:18:53.241761       1 proxier.go:821] Failed to sync service: 10.148.13.141:8080/TCP, err: file exists
E1217 21:18:53.242506       1 proxier.go:1496] Failed to get IPVS service, error: Expected only one service obtained=0
E1217 21:18:53.242558       1 proxier.go:818] Failed to sync endpoint for service: 10.148.11.84:8080/TCP, err: Expected only one service obtained=0

ipset.go의 마지막 항목 :

$ cat kube-proxy-issue.log | grep 'ipset.go' | tail
I1217 21:17:14.768694       1 ipset.go:148] Successfully add entry: 10.148.134.229,tcp:8080,10.148.134.229 to ip set: KUBE-LOOP-BACK
I1217 21:17:14.774040       1 ipset.go:148] Successfully add entry: 10.148.134.229,tcp:8081,10.148.134.229 to ip set: KUBE-LOOP-BACK
I1217 21:17:26.643709       1 ipset.go:148] Successfully add entry: 10.148.172.59,tcp:8080,10.148.172.59 to ip set: KUBE-LOOP-BACK
I1217 21:17:26.648504       1 ipset.go:148] Successfully add entry: 10.148.172.59,tcp:8081,10.148.172.59 to ip set: KUBE-LOOP-BACK
I1217 21:17:31.049667       1 ipset.go:148] Successfully add entry: 10.148.136.14,tcp:8080,10.148.136.14 to ip set: KUBE-LOOP-BACK
I1217 21:17:31.053901       1 ipset.go:148] Successfully add entry: 10.148.136.14,tcp:8081,10.148.136.14 to ip set: KUBE-LOOP-BACK
I1217 21:18:18.920550       1 ipset.go:140] Successfully delete legacy ip set entry: 10.148.181.11,tcp:8080,10.148.181.11 from ip set: KUBE-LOOP-BACK
I1217 21:18:18.924752       1 ipset.go:140] Successfully delete legacy ip set entry: 10.148.181.11,tcp:8081,10.148.181.11 from ip set: KUBE-LOOP-BACK
I1217 21:18:21.232725       1 ipset.go:140] Successfully delete legacy ip set entry: 10.148.174.35,tcp:8080,10.148.174.35 from ip set: KUBE-LOOP-BACK
I1217 21:18:21.237619       1 ipset.go:140] Successfully delete legacy ip set entry: 10.148.174.35,tcp:8081,10.148.174.35 from ip set: KUBE-LOOP-BACK

그들은 모두 21시 18 분경에 로깅을 종료했습니다 ... 어떤 단서를 제공합니까?

@emptywee 예, 넷 링크 소켓을 공유하는 두 고 루틴 사이에 교착 상태가 있다는 가설을 확인합니다. 둘 다 메시지 수신을 기다리며 성공하지 않고 계속 재 시도합니다 (3 초 수신 시간 초과로 인해).

가설의 유효성을 검사하고 최대한 빨리 수정 작업을 시작하겠습니다.

테스트 클러스터에 1.12.4를 설치하고 1.5 시간 만에 문제를 재현 한 앱을 재배포하기 시작했기 때문에 잠재적 인 수정 사항을 상당히 안정적으로 테스트 할 수있을 것 같습니다.

넷 링크 수신에 다시 2 개의 고 루틴 (1 및 107)이 걸려 있습니다.

버그에 대한 잠재적 인 수정 사항이 있습니다. 코드는 https://github.com/DataDog/kubernetes/commit/9121f0122d805f55f85f42d26c294898fe29a92f에서 확인할 수 있습니다.
아이디어는 교착 상태를 피하기 위해 Mutex로 모든 넷 링크 호출을 보호하는 것입니다. 이것이 최선의 해결책인지는 모르겠지만 문제를 해결할 수 있습니다 (작동하면 버그를 확인했음을 확인합니다).

원하거나 테스트 할 수있는 경우 수정 사항으로 두 개의 이미지를 만들었습니다.

• lbernail / hyperkube : v1.11.7-beta.1
• lbernail / hyperkube : v1.12.5-beta.1

테스트하는 경우 작동하는지 알려주고 작동하지 않는 경우 흥미로운 로그를 공유하고 고 루틴을 살펴보고 일부가 넷 링크 호출에 갇혀 있는지 확인하십시오.

(저는 내 편에서 약간의 테스트를했지만 작은 클러스터로 제한되었습니다)

12 월 24 일 월요일에 시도해 볼 수 있습니다!

오늘 해보자. 결과가있는 경우보고합니다.

이것은 버그입니다. iptables 모드로 전환했습니다.

또한 베타 버전으로 업그레이드하고 곧 부하 테스트를 다시 시작했습니다. 우리는 보통 빠르게 (하루 미만) 부러지고 꽤 일관되게 ... 손가락이 교차했습니다.

@ li-sen은 확실히 버그입니다. 우리는 그것에 노력하고 있습니다

@emptywee 와 @bjornryden 테스트에 감사드립니다!

@Lbernail 내 기쁨! 1.11.7-beta.1 이미지로 kube-proxy를 시작한 지 약 이틀이 지났습니다. 아직 우리에게 매달리지 않았습니다. proxier.go와 다른 고 루틴이 여전히 살아 있고 로그에 인쇄되는 것을 볼 수 있습니다. 지난 며칠 동안 많은 배포가 진행되지 않고 정말 느리고 조용했기 때문에 시간을 좀 더 주겠습니다. 어느 쪽이든, @lbernail이 추가 한 뮤텍스가 도움이되는 것 같습니다. :)

이번 주 말까지이 문제 / 스레드를 업데이트하겠습니다.

뿡 빵뀨

이 문제를 해결하기 위해 PR을 올리시겠습니까?

/다시 열다
(모든 것이 정상적으로 작동하는 경우 체리 픽을 만들기 전에 테스트의 피드백을 주시하기 위해)

@lbernail : 본인이 저작하거나 공동 작업자가 아닌 이상 이슈 / PR을 다시 열 수 없습니다.

@ m1093782566 문제가 완전히 해결 될 때까지 문제를 다시 열 수 있습니까?

Kube-proxy ipvs 버전 1.12.3과 동일한 문제가 있습니다.
실제 서버는 잘못되었으며 Kube-proxy는 ipvs 규칙을 새로 고칠 수 없습니다.

여기에 마지막 로그가 있으며 여기에 멈춰서 더 이상 새 로그를 인쇄하지 않았습니다.

27 23:31:24.113927       1 graceful_termination.go:93] lw: remote out of the list: 10.96.0.1:443/TCP/10.6.40.32:6443
E1227 23:31:24.113935       1 graceful_termination.go:183] Try flush graceful termination list err
I1227 23:32:24.114182       1 graceful_termination.go:160] Trying to delete rs: 10.96.0.1:443/TCP/10.6.40.32:6443
E1227 23:32:24.114316       1 graceful_termination.go:89] Try delete rs "10.96.0.1:443/TCP/10.6.40.32:6443" err: Failed to delete rs "10.96.0.1:443/TCP/10.6.40.32:6443", can't find the real server
I1227 23:32:24.114332       1 graceful_termination.go:93] lw: remote out of the list: 10.96.0.1:443/TCP/10.6.40.32:6443
I1227 23:32:24.114348       1 graceful_termination.go:160] Trying to delete rs: 10.96.0.1:443/TCP/10.6.40.33:6443
I1227 23:32:24.114397       1 graceful_termination.go:160] Trying to delete rs: 10.6.40.25:32444/TCP/10.244.20.41:32444
E1227 23:32:24.114446       1 graceful_termination.go:183] Try flush graceful termination list err
I1227 23:33:24.114853       1 graceful_termination.go:160] Trying to delete rs: 10.96.0.1:443/TCP/10.6.40.32:6443
E1227 23:33:24.115043       1 graceful_termination.go:89] Try delete rs "10.96.0.1:443/TCP/10.6.40.32:6443" err: Failed to delete rs "10.96.0.1:443/TCP/10.6.40.32:6443", can't find the real server
I1227 23:33:24.115106       1 graceful_termination.go:93] lw: remote out of the list: 10.96.0.1:443/TCP/10.6.40.32:6443
I1227 23:33:24.115128       1 graceful_termination.go:160] Trying to delete rs: 10.96.0.1:443/TCP/10.6.40.33:6443

@VincentFF : 두 가지 문제가 있습니다.

• 삭제 실패 : 1.12.4
• 교착 상태로 인해 kube-proxy가 멈춤 (설명중인 문제) : 어제 PR로 수정 되었으면합니다. 현재 패치를 테스트하고있는 @emptywee 와 @bjornryden의 피드백을 기다리고 있습니다. 문제가 더 이상 존재하지 않는다는 확인을받는 즉시 1.13, 1.12 및 1.11에 대한 cherrypicks를 만들 것입니다 (패치가 작동하면 다음 주 초에 모든 분기에 병합 될 것이며 다음 패치 릴리스)

나는 또한 내 실험 https://github.com/kubernetes/kubernetes/issues/71071#issuecomment -449402484를 다시 실행하고 패치를 1.12.4에 백 포팅했습니다. 다시보고합니다!

kube-proxy가 IPVS 모드에서 실행되는 동안 서비스에 액세스하는 데 문제가 없었으며 서비스에 대한 배포 및 변경이 상당히 많았습니다. 지금까지 패치가 우리를 위해 잘 작동하고 있다고 말하고 싶습니다.

@lbernail 잘 고쳤습니다! 매우 감사!

좋아요, 월요일까지 기다려서 @matthiasr 과 @bjornryden의 피드백도받습니다.

@lbernail 좋은 소식, 귀하의 답변에 감사드립니다.

1.12.4에서 https://github.com/DataDog/kubernetes/commit/9121f0122d805f55f85f42d26c294898fe29a92f를 사용 하여 12 시간 이상이 지나도 문제가 발생하지 않습니다. 그 없이는 1.5 시간 내에 잠금이 발생하므로 매우 좋아 보입니다!

@lbernail 다른 질문이 있습니다. 다음 패치가 1.12.5 버전이라면?
kube-proxy를 1.12.5로 업그레이드하면 다른 유닛 (apiserver, kubelet, controller-manager, scheduler ...)은 1.12.3을 유지합니다. 괜찮습니까? 아니면 모든 유닛을 업그레이드해야합니까?

@VincentFF 바라건대 그것은 1.12.5 yes로 만들 것입니다. 1.12.3을 실행하는 다른 단위로 kube-proxy 1.12.5를 실행할 수 있습니다. 문제 없습니다.

업데이트 : 24 시간 후에도 여전히 문제가 없습니다. 지금 실험을 중단하고 이것이 완전히 성공한 것으로 간주합니다. 1.12.5를 기대합니다!

좋습니다. 이것은 아주 좋은 소식입니다. 가능한 한 빨리 공식 릴리스에서 수정 사항을 얻기 위해 모든 브랜치에 대한 체리 픽을 만들 것입니다.
문제 해결 및 테스트에 참여해 주셔서 감사합니다!

체리 픽 :
1.13 : https://github.com/kubernetes/kubernetes/pull/72426
1.12 : https://github.com/kubernetes/kubernetes/pull/72429
1.11 : https://github.com/kubernetes/kubernetes/pull/72430

행복한 테스터 합창단에 참여할 수 있습니다. 4 일 동안 문제가 발생하지 않습니다.

관련된 모든 분들, 특히 @lbernail에게 감사드립니다. 새해 복 많이 받으세요!

나는 그것을 구축하고 테스트 환경에 배포합니다. 24 시간 이상 문제가 없습니다. 새해 복 많이 받으세요.

안녕하세요, 내 환경은
Ubuntu 16.04.4 LTS
Kubernetes 버전 (kubectl 버전 사용) : v1.13.0
클라우드 공급자 또는 하드웨어 구성 : 베어 메탈, 64 비트 Linux
커널 4.4.0-75- 일반

같은 버그 :

I0101 22 : 20 : 09.742898 267576 graceful_termination.go : 160] rs 삭제 시도 : 10.200.198.70:9090/TCP/172.200.101.32:9090
E0101 22 : 20 : 09.742975 267576 proxier.go : 1519] IPVS 서비스를 가져 오지 못했습니다. 오류 : 하나의 서비스 만 가져와야합니다 = 0
E0101 22 : 20 : 09.743036 267576 proxier.go : 843] 서비스에 대한 엔드 포인트 동기화 실패 : 10.200.36.192:80/TCP, 오류 : 하나의 서비스 만 확보해야 함 = 0

kube-proxy를 다시 시작해야합니다.

@daigong v1.13.1

@daigong : 전체 수정은 실제로 1.13.2 (# 72426이 병합되는 속도에 따라 다름).

트윗 담아 가기
감사합니다. # 72426을 사용하여이 버그를 테스트합니다.

이제 뭐든지 괜찮아

PR은 모든 릴리스 브랜치에 병합되었으므로 다음 위치에 있습니다.

• 1.11.7
• 1.12.5
• 1.13.2

헉

1.12.2 및 1.13.0-beta1 모두 동일한 문제입니다. @ m1093782566 @ Lion-Wei

우편함은 얼마입니까? 알아보십시오. .소년

같은

v1.11.x의 새로운 빌드에 대한 기회가 있습니까?

나는 여러 클러스터에서이 버그를 패치 할 수 있도록 1.12.5가 나타날 것이라는 희망으로 지난 며칠 동안 거의 매시간마다 릴리스 페이지를 새로 고침했습니다. :-)

@verwilst haha는 현재 prod 클러스터를 업그레이드하기 위해 v1.11.7이 출시 될 때까지 기다릴 수 없습니다. 그리고 v1.12.5도 낮은 환경에서 업그레이드를 시작합니다.

나는 여러 클러스터에서이 버그를 패치 할 수 있도록 1.12.5가 나타날 것이라는 희망으로 지난 며칠 동안 거의 매시간마다 릴리스 페이지를 새로 고침했습니다. :-)

여기에 :-P

나는 여러 클러스터에서이 버그를 패치 할 수 있도록 1.12.5가 나타날 것이라는 희망으로 지난 며칠 동안 거의 매시간마다 릴리스 페이지를 새로 고침했습니다. :-)

여기에 :-P

1.11에없는 이유는 무엇입니까? :(

1.11.7에서이 버그가 수정 되었습니까? 릴리스 노트를 보지 못했습니다.

예, https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG-1.11.md#v1117입니다 .

Fix race condition introduced by graceful termination which can lead to a deadlock in kube-proxy (#72361, @lbernail)

예 PR의 릴리스 노트에 "IPVS"를 추가하는 것을 잊었습니다. 죄송합니다.
지금 제대로 작동하는지 알려주세요! (만약 경우에 대비하여 문제를 몇 주 동안 열어 두겠습니다)

1.12.5로 업그레이드 한 후 문제가 없었습니다 🎉

좋은 소식!

@ m1093782566 , @thockin 이 문제를 종결 할 수 있다고 생각합니다 (약 2 개월 동안 새로운 보고서 없음).

참고로 버그는 정상적인 종료로 초기 릴리스에 영향을 미칩니다.

• 1.11.5-1.11.6
• 1.12.2-1.12.4
• 1.13.0-1.13.1

다음 이후에 수정 사항이 있습니다.

• 1.11.7
• 1.12.5
• 1.13.2

/닫기

@ m1093782566 :이 문제를

다시 열 수 있습니까? 1.12.7에서이 문제가 발생합니다.

예, 1.12.9에서도 문제가 발생합니다.

같은 문제입니까?
kube-proxy 인스턴스의 로그를 게시 할 수 있습니까?

죄송합니다. 잘못된 경고 일 수 있습니다 ...이 로그가 동일한 오류가 아닙니다.

I0709 11:59:48.640888       1 graceful_termination.go:160] Trying to delete rs: 192.168.240.51:80/TCP/172.30.71.181:5050
I0709 11:59:48.640304       1 graceful_termination.go:93] lw: remote out of the list: 192.168.240.51:80/TCP/172.30.106.125:5050

어떤 이유로 클러스터가 부하를 받으면 일부 클러스터 서비스 IP로 라우팅 할 수 없습니다. IPVS 문제인지 아직 확실하지 않습니다.

apiserver가 오버로드되면 엔드 포인트 전파에 시간이 걸리는 것일까 요?

메시지는 일반적인 정보 수준 메시지입니다.
https://github.com/kubernetes/kubernetes/blob/master/pkg/proxy/ipvs/graceful_termination.go#L94

https://github.com/kubernetes/kubernetes/blob/master/pkg/proxy/ipvs/graceful_termination.go#L161

1.14.4에서 동일한 로그를 확인할 수 있습니다. 이 로그는 언제 나옵니까?

I0712 01:34:49.925012       1 graceful_termination.go:161] Trying to delete rs: 11.3.0.1:443/TCP/10.0.22.42:443
I0712 01:34:49.925057       1 graceful_termination.go:175] Deleting rs: 11.3.0.1:443/TCP/10.0.22.42:443
I0712 01:35:11.907742       1 graceful_termination.go:161] Trying to delete rs: 11.3.0.10:53/TCP/11.2.5.13:53
I0712 01:35:11.907874       1 graceful_termination.go:175] Deleting rs: 11.3.0.10:53/TCP/11.2.5.13:53
I0712 01:35:11.908006       1 graceful_termination.go:161] Trying to delete rs: 11.3.0.10:53/UDP/11.2.5.13:53
I0712 01:35:11.908059       1 graceful_termination.go:175] Deleting rs: 11.3.0.10:53/UDP/11.2.5.13:53
I0712 01:35:21.992487       1 graceful_termination.go:161] Trying to delete rs: 11.3.0.10:53/TCP/11.2.4.11:53
I0712 01:35:21.992594       1 graceful_termination.go:175] Deleting rs: 11.3.0.10:53/TCP/11.2.4.11:53
I0712 01:35:21.992784       1 graceful_termination.go:161] Trying to delete rs: 11.3.0.10:53/UDP/11.2.4.11:53
I0712 01:35:21.992858       1 graceful_termination.go:175] Deleting rs: 11.3.0.10:53/UDP/11.2.4.11:53
I0712 01:36:29.411592       1 graceful_termination.go:161] Trying to delete rs: 11.3.0.199:44134/TCP/11.2.0.5:44134
I0712 01:36:29.411660       1 graceful_termination.go:175] Deleting rs: 11.3.0.199:44134/TCP/11.2.0.5:44134
I0712 01:36:29.534158       1 graceful_termination.go:161] Trying to delete rs: 11.3.0.17:8085/TCP/11.2.0.3:8085
I0712 01:36:29.534394       1 graceful_termination.go:175] Deleting rs: 11.3.0.17:8085/TCP/11.2.0.3:8085
I0712 01:36:50.745469       1 graceful_termination.go:161] Trying to delete rs: 11.3.0.1:443/TCP/10.0.22.162:443
I0712 01:36:50.745508       1 graceful_termination.go:172] Not deleting, RS 11.3.0.1:443/TCP/10.0.22.162:443: 0 ActiveConn, 12 InactiveConn
I0712 01:37:37.475724       1 graceful_termination.go:161] Trying to delete rs: 11.3.0.1:443/TCP/10.0.22.162:443
I0712 01:37:37.475841       1 graceful_termination.go:172] Not deleting, RS 11.3.0.1:443/TCP/10.0.22.162:443: 0 ActiveConn, 4 InactiveConn
I0712 01:38:37.475956       1 graceful_termination.go:161] Trying to delete rs: 11.3.0.1:443/TCP/10.0.22.162:443
I0712 01:38:37.476201       1 graceful_termination.go:172] Not deleting, RS 11.3.0.1:443/TCP/10.0.22.162:443: 0 ActiveConn, 4 InactiveConn
I0712 01:39:37.476324       1 graceful_termination.go:161] Trying to delete rs: 11.3.0.1:443/TCP/10.0.22.162:443
I0712 01:39:37.476585       1 graceful_termination.go:175] Deleting rs: 11.3.0.1:443/TCP/10.0.22.162:443
I0712 01:39:37.476628       1 graceful_termination.go:94] lw: remote out of the list: 11.3.0.1:443/TCP/10.0.22.162:443
I0712 01:40:36.883345       1 graceful_termination.go:161] Trying to delete rs: 11.3.0.245:5473/TCP/10.0.22.25:5473
I0712 01:40:36.883566       1 graceful_termination.go:175] Deleting rs: 11.3.0.245:5473/TCP/10.0.22.25:5473
I0712 01:40:36.886079       1 graceful_termination.go:161] Trying to delete rs: 11.3.0.17:8085/TCP/11.2.1.3:8085
I0712 01:40:36.886310       1 graceful_termination.go:175] Deleting rs: 11.3.0.17:8085/TCP/11.2.1.3:8085
I0712 01:40:46.927450       1 graceful_termination.go:161] Trying to delete rs: 11.3.0.245:5473/TCP/10.0.22.191:5473
I0712 01:40:46.927525       1 graceful_termination.go:175] Deleting rs: 11.3.0.245:5473/TCP/10.0.22.191:5473
I0712 01:40:56.968884       1 graceful_termination.go:161] Trying to delete rs: 11.3.0.245:5473/TCP/10.0.22.75:5473
I0712 01:40:56.968936       1 graceful_termination.go:175] Deleting rs: 11.3.0.245:5473/TCP/10.0.22.75:5473
I0712 01:41:16.747362       1 graceful_termination.go:161] Trying to delete rs: 11.3.0.1:443/TCP/10.0.23.45:443

다음은 정보 로그 일뿐입니다.

• Trying to delete rs : 백엔드 포드가 제거되어 삭제를 시도합니다. 기존 연결이있는 경우 정상 종료를 입력하고 그렇지 않으면 ID를 삭제합니다.
• Deleting rs : 백엔드에 연결이 없으므로 IPVS에서 제거합니다.

@andrewsykim 예를 들어 v = 5 이상으로 만 표시되도록 이러한 로그의 수준을 낮출 수 있습니다.

https://github.com/kubernetes/kubernetes/pull/78395 에서 로그 수준을 v = 0에서 v = 2로 올렸습니다. v = 5가 의미가 있다고 생각합니다. 업데이트 용 https://github.com/kubernetes/kubernetes/pull/80100