K8S – 记一次网络问题排查
运维同学最近提供了一个K8S集群，但是使用的时候发现网络不通，于是展开了一次排查。
现象
node01（虚拟网段：10.244.0.0/24）部署了coredns，node02（虚拟网段：10.244.1.0/24）是我的容器，网络是flannel vxlan。
在我的容器中执行yum安装工具卡住，请求baidu.com也卡住。
第一阶段
在node02上通过ping baidu.com命令，确认没有解析到IP，所以是卡在DNS解析上。
K8S容器解析域名是调用coredns的service ip，尝试在ping coredns的POD IP发现不通。
一开始没有排查思路，在谷歌上搜索到相关问题：https://github.com/k8sp/sextant/issues/525。
在node02上执行iptables-save命令，发现的确有一条把forward包drop的规则：
|
1 |
:FORWARD DROP [0:0] |
正常来说，物理网卡收到目标IP不是自己的包时，会把包forward给本机符合条件的内部网卡，从而进入容器中，所以一旦drop就肯定网络不通了。
删除所有机器上的drop规则后，测试发现仍旧无法联通coredns的POD IP。
同时也获知DROP后面方括号内是DROP的次数和包大小，可以确认此规则实际没有产生过作用。
第二阶段
在node02上，通过tcpdump -i flannel.1进行抓包观察，并在容器中ping coredns的POD IP，结果发现flannel.1上没有流量。
执行route -n查看了一下宿主机的路由表，发现了缺了一条到node01的路由规则，导致发往node01虚拟网段的流量没有经过flannel网关：
|
1 2 3 4 |
10.244.2.0 10.244.2.0 255.255.255.0 UG 0 0 0 flannel.1 10.244.6.0 10.244.6.0 255.255.255.0 UG 0 0 0 flannel.1 10.244.7.0 10.244.7.0 255.255.255.0 UG 0 0 0 flannel.1 10.244.8.0 10.244.8.0 255.255.255.0 UG 0 0 0 flannel.1 |
node02的虚拟网段是10.244.1.0/24，所以本机POD之间直接走cni0网桥做2交换即可，而发往其他node的POD的流量都要发给flannel.1网关，由它在本机做vxlan封装后从eth0送出。
这里因为少了到node01网段10.244.0.0/24的路由规则，导致node02的包无法被flannel处理。
不太清楚是什么原因导致flannel没有生成这条路由规则，重启了各个节点就恢复了。
此时发现，虽然到coredns的POD IP已经可以ping通，但是ping baidu.com仍旧卡在解析上得不到IP，这是什么鬼？
第三阶段
既然到coredns的4层网络已通，于是只能向应用层怀疑：要么是coredns服务端不好，要么是客户端不好。
排查服务端很简单，dig @coredns的IP baidu.con，发现可以解析到IP，所以coredns服务正常。
客户端只能看一下/etc/resolv.conf：
|
1 2 3 4 |
[root@zhongce-67bd8b9977-l54s2 ~]# cat /etc/resolv.conf nameserver 10.224.0.10 search default.svc.cluster.global svc.cluster.global cluster.global options ndots:5 |
这里nameserver配的是10.224.0.10，按道理nameserver应该配置为coredns的service cluster ip，然而查看发现K8S的coredns的service ip是10.192.0.10：
|
1 2 3 |
[root@node03 ~]# kubectl get services -n kube-system NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE kube-dns ClusterIP 10.192.0.10 <none> 53/UDP,53/TCP 16d |
也就说容器内配置的nameserver ip和coredns的service ip不一样，到底哪个是对的IP呢？
正确的是10.192.0.10，用这个IP可以访问到coredns，并且查看iptables-save命令配置的也是10.192.0.10的负载均衡：
|
1 2 3 4 5 |
-A KUBE-SERVICES ! -s 10.244.0.0/16 -d 10.192.0.10/32 -p udp -m comment --comment "kube-system/kube-dns:dns cluster IP" -m udp --dport 53 -j KUBE-MARK-MASQ -A KUBE-SERVICES -d 10.192.0.10/32 -p udp -m comment --comment "kube-system/kube-dns:dns cluster IP" -m udp --dport 53 -j KUBE-SVC-TCOU7JCQXEZGVUNU -A KUBE-SERVICES ! -s 10.244.0.0/16 -d 10.192.0.10/32 -p tcp -m comment --comment "kube-system/kube-dns:dns-tcp cluster IP" -m tcp --dport 53 -j KUBE-MARK-MASQ -A KUBE-SERVICES -d 10.192.0.10/32 -p tcp -m comment --comment "kube-system/kube-dns:dns-tcp cluster IP" -m tcp --dport 53 -j KUBE-SVC-ERIFXISQEP7F7OF4 |
与运维同学沟通，可能与初始化集群时候重复kubeadm init有关，导致前一次的DNS配置遗留到了最后一次配置中。
修复方法是在configmap中找到kubelet-config-1.13（我的K8S版本是1.13）：
|
1 2 3 4 5 6 7 8 9 10 |
[root@node03 ~]# kubectl get configmap -n kube-system NAME DATA AGE coredns 1 16d extension-apiserver-authentication 6 16d istio.v1 1 12d kube-flannel-cfg 2 16d kube-proxy 2 16d kubeadm-config 2 16d kubelet-config-1.13 1 16d kubernetes-dashboard-settings 1 16d |
里面有一个clusterDNS的配置，目前是错误的IP，改成当前coredns的service ip即可：
|
1 2 3 4 5 |
$ kubectl get configmap kubelet-config-1.13 -n kube-system -o yaml 修改为正确的Coredns service ip： clusterDNS: - 10.192.0.10 |
需要重启应用的POD才能生效到它们的/etc/resolv.conf中。
最后
排查这个问题主要用到了几个东西：
- route -n：查看路由表
- ip addr：查看网卡、网桥
- tcpdump：-i参数监听具体网卡
如果文章帮助您解决了工作难题，您可以帮我点击屏幕上的任意广告，或者赞助少量费用来支持我的持续创作，谢谢~
