在k8s中使用 NodeLocal DNSCache

1、介绍

NodeLocal DNSCache 通过在集群节点上作为 DaemonSet 运行 DNS 缓存代理来提高集群 DNS 性能。在当今的体系结构中，运行在 ‘ClusterFirst’ DNS 模式下的 Pod 可以连接到 kube-dns serviceIP 进行 DNS 查询。通过 kube-proxy 添加的 iptables 规则将其转换为 kube-dns/CoreDNS 端点。借助这种新架构，Pods 将可以访问在同一节点上运行的 DNS 缓存代理，从而避免 iptables DNAT 规则和连接跟踪。本地缓存代理将查询 kube-dns 服务以获取集群主机名的缓存缺失（默认为 “cluster.local” 后缀）。

2、特性和优势

使用当前的 DNS 体系结构，如果没有本地 kube-dns/CoreDNS 实例，则具有最高 DNS QPS 的 Pod 可能必须延伸到另一个节点。在这种场景下，拥有本地缓存将有助于改善延迟。
跳过 iptables DNAT 和连接跟踪将有助于减少 conntrack 竞争并避免 UDP DNS 条目填满 conntrack 表。
从本地缓存代理到 kube-dns 服务的连接可以升级为 TCP 。 TCP conntrack 条目将在连接关闭时被删除，相反 UDP 条目必须超时（默认 nf_conntrack_udp_timeout 是 30 秒）。
将 DNS 查询从 UDP 升级到 TCP 将减少由于被丢弃的 UDP 包和 DNS 超时而带来的尾部等待时间；这类延时通常长达 30 秒（3 次重试 + 10 秒超时）。由于 nodelocal 缓存监听 UDP DNS 查询，应用不需要变更。
在节点级别对 DNS 请求的度量和可见性。
可以重新启用负缓存，从而减少对 kube-dns 服务的查询数量。

3、架构图

启用 NodeLocal DNSCache 之后，DNS 查询所遵循的路径如下：
图片-1659715096590

NodeLocal DNSCache 流

此图显示了 NodeLocal DNSCache 如何处理 DNS 查询。

4、配置

说明： NodeLocal DNSCache 的本地侦听 IP 地址可以是任何地址，只要该地址不和你的集群里现有的 IP 地址发生冲突。推荐使用本地范围内的地址，例如，IPv4 链路本地区段 ‘169.254.0.0/16’ 内的地址，或者 IPv6 唯一本地地址区段 ‘fd00::/8’ 内的地址。

下载nodelocaldns.yaml文件

wget https://github.com/kubernetes/kubernetes/raw/master/cluster/addons/dns/nodelocaldns/nodelocaldns.yaml

该资源清单文件中包含几个变量，其中：

PILLAR__DNS__SERVER：表示 kube-dns 这个 Service 的 ClusterIP，可以使用 kubectl get svc kube-dns -n kube-system -o jsonpath={.spec.clusterIP} 获取
PILLAR__LOCAL__DNS：表示 DNSCache 本地的 IP，默认为 169.254.20.10
PILLAR__DNS__DOMAIN：表示集群域，默认就是 cluster.local

kubedns=`kubectl get svc kube-dns -n kube-system -o jsonpath={.spec.clusterIP}`
domain=cluster.local
localdns=169.254.20.10

如果 kube-proxy 运行在 IPTABLES 模式：

sed -i "s/__PILLAR__LOCAL__DNS__/$localdns/g; s/__PILLAR__DNS__DOMAIN__/$domain/g; s/__PILLAR__DNS__SERVER__/$kubedns/g" nodelocaldns.yaml

node-local-dns Pods 会设置 PILLAR__CLUSTER__DNS 和 PILLAR__UPSTREAM__SERVERS。在此模式下, node-local-dns Pods 会同时侦听 kube-dns 服务的 IP 地址和的地址，以便 Pods 可以使用其中任何一个 IP 地址来查询 DNS 记录。

如果 kube-proxy 运行在 IPVS 模式：

sed -i "s/__PILLAR__LOCAL__DNS__/$localdns/g; s/__PILLAR__DNS__DOMAIN__/$domain/g; s/,__PILLAR__DNS__SERVER__//g; s/__PILLAR__CLUSTER__DNS__/$kubedns/g" nodelocaldns.yaml

在此模式下，node-local-dns Pods 只会侦听的地址。 node-local-dns 接口不能绑定 kube-dns 的集群 IP 地址，因为 IPVS 负载均衡使用的接口已经占用了该地址。 node-local-dns Pods 会设置 PILLAR__UPSTREAM__SERVERS。

注意：
如果 kube-proxy 运行在 IPVS 模式，需要修改 kubelet 的 --cluster-dns 参数 NodeLocal DNSCache 正在侦听的地址。否则，不需要修改 --cluster-dns 参数，因为 NodeLocal DNSCache 会同时侦听 kube-dns 服务的 IP 地址和的地址。

修改kubelet使用NodeLocal DNS

sed -i 's/10.96.0.10/169.254.20.10/g' /var/lib/kubelet/config.yaml
systemctl daemon-reload && systemctl restart kubelet

部署nodelocaldns.yaml

kubectl apply -f nodelocaldns.yaml

启用后，node-local-dns Pods 将在每个集群节点上的 kube-system 名字空间中运行。此 Pod 在缓存模式下运行 CoreDNS，因此每个节点都可以使用不同插件公开的所有 CoreDNS 指标。

如果要禁用该功能，你可以使用 kubectl delete -f 来删除 DaemonSet。你还应该回滚你对 kubelet 配置所做的所有改动。

验证

部署一个busybox来做验证：test-node-local-dns.yaml

apiVersion: v1
kind: Pod
metadata:
  name: test-nodeLocalDns
spec:
  containers:
  - name: local-dns
    image: busybox
    command: ["/bin/sh", "-c", "sleep 60m"]

部署busybox

kubectl apply -f  test-node-local-dns.yaml

测试结果：

/ # cat /etc/resolv.conf 
  
search default.svc.cluster.local svc.cluster.local cluster.local
nameserver 169.254.20.10
options ndots:5
  
  
/ # ping baidu.com
PING baidu.com (110.242.68.66): 56 data bytes
64 bytes from 110.242.68.66: seq=0 ttl=46 time=12.607 ms
^C
--- baidu.com ping statistics ---
1 packets transmitted, 1 packets received, 0% packet loss
round-trip min/avg/max = 12.607/12.607/12.607 ms

/ # ping kube-dns.kube-system.svc
PING kube-dns.kube-system.svc (10.96.0.10): 56 data bytes
64 bytes from 10.96.0.10: seq=0 ttl=64 time=0.058 ms
64 bytes from 10.96.0.10: seq=1 ttl=64 time=0.097 ms
^C
--- kube-dns.kube-system.svc ping statistics ---
2 packets transmitted, 2 packets received, 0% packet loss
round-trip min/avg/max = 0.058/0.077/0.097 ms

目录CONTENT