kubectl logs、exec、port-forward 执行失败问题解决

问题描述

master节点上执行kbuectl logs / exec / port-forward等命令均异常,具体表现如下:

root@master1:~# kubectl logs pod-name
Error from server (NotFound): the server could not find the requested resource ( pods/log kubia-manual)

root@master1:~# kubectl exec -it pod-name /bin/bash
error: unable to upgrade connection: pod does not exist

root@master1:~# kubectl port-forward pod-name 8888:8080
error: error upgrading connection: unable to upgrade connection: pod does not exist

不仅如此,执行任何pod操作或查看属于pod的子资源,都会显示 pod 不存在。

问题原因

原因是因为,我是用的VirtualBox虚拟化出了两台 ubuntu 主机搭建的 k8s ,详见 virtualbox 虚拟机组网 。在组网的过程中,我采用了双网卡方案,网卡1使用NAT地址转换用来访问互联网,网卡2使用Host-only来实现虚拟机互相访问。而 k8s 默认使用了网卡1的 ip 地址,这就导致了 工作节点的 ip 地址使用的是网卡1的 NAT 地址转换地址(不可以访问其他虚拟机),从而导致的问题的产生。

问题发现

如果你确定自己就是因为这个问题的话,可以跳过这一节直接执行 解决方案 中的名命令来尝试恢复,或者你也可以通过如下方式来检查自己的kubectl命令无法执行是否也是该问题导致的:

在使用命令时携带-v=9参数来提高日志的输出等级,如下:

kubectl logs kubia-manual -v=9

从输出图中可以看到,kubectl先去访问了本机的apiserver来获取目标pod的信息(蓝框1,本机 ip 为192.168.56.11),返回结果正常,但是进一步去请求podlog资源的时候就出现了 404 的情况(蓝框2),而当我们仔细查看pod的信息时,可以发现 它的hostIP居然是 NAT 地址转换模式的默认地址10.0.2.15 (红框)。

logs 命令的日志输出

解决方案

因为这个地址是工作节点上的kubelet自动生成并发给管理节点的,所以现在我们要登录工作节点,然后手动指定他的 ip 地址:

在 kubelet 启动时指定 ip

首先修改文件 /etc/systemd/system/kubelet.service.d/10-kubeadm.conf,低版本的 ubuntu 中该文件可能位于/etc/systemd/kubelet.service.d/目录下:

sudo vi /etc/systemd/system/kubelet.service.d/10-kubeadm.conf

然后添加在ExecStart行之前新增一行,内容为:Environment="KUBELET_EXTRA_ARGS=--node-ip=192.168.56.21",注意!这个 ip 地址要填写你 当前节点的 ip 地址,这个 ip 是可以正常访问管理节点的网卡 ip,如下:

EnvironmentFile=-/etc/default/kubelet
# Note: This dropin only works with kubeadm and kubelet v1.11+
[Service]
Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf"
Environment="KUBELET_CONFIG_ARGS=--config=/var/lib/kubelet/config.yaml"
# This is a file that "kubeadm init" and "kubeadm join" generates at runtime, populating the KUBELET_KUBEADM_ARGS variable dynamically
EnvironmentFile=-/var/lib/kubelet/kubeadm-flags.env
# This is a file that the user can use for overrides of the kubelet args as a last resort. Preferably, the user should use
# the .NodeRegistration.KubeletExtraArgs object in the configuration files instead. KUBELET_EXTRA_ARGS should be sourced from this file.
EnvironmentFile=-/etc/default/kubelet 
Environment="KUBELET_EXTRA_ARGS=--node-ip=192.168.56.21"
ExecStart=
ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_CONFIG_ARGS $KUBELET_KUBEADM_ARGS $KUBELET_EXTRA_ARGS

添加完成后:wq保存退出,然后重启kubelet

重启 kubelet

执行下面命令即可:

systemctl stop kubelet.service && \
systemctl daemon-reload && \
systemctl start kubelet.service

正常情况下不会刷新任何内容,如果刷新了几条warning的话不用理会,然后登录管理节点再次尝试 可能需要十几秒的时间等待 kubelet 重启完成

root@master1:~# kubectl logs kubia-manual
Kubia server starting...

root@master1:~# kubectl exec -it kubia-manual /bin/bash
root@kubia-manual:/# exit
exit
command terminated with exit code 130

root@master1:~# kubectl port-forward kubia-manual 8888:8080
Forwarding from 127.0.0.1:8888 -> 8080
Forwarding from [::1]:8888 -> 8080

发现所有命令都已经可用,至此,问题解决。

参考