环境准备
1. GPU 节点准备
GPU共享依赖NVIDIA驱动和nvidia-docker2，需要事先安装。NVIDIA驱动安装参考nvidia-docker
- NVIDIA驱动和nvidia-docker2安装
# 如果已安装nvidia-docker，需要先进行卸载 >$ docker volume ls -q -f driver=nvidia-docker | xargs -r -I{} -n1 docker ps -q -a -f volume={} | xargs -r docker rm -f >$ sudo yum remove nvidia-docker -y # 安装nvidia-docker2 repo distribution=$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.repo | \ >$ sudo tee /etc/yum.repos.d/nvidia-docker.repo # 安装nvidia-docker，并重新加载docker配置 >$ sudo yum install -y nvidia-docker2 >$ sudo pkill -SIGHUP dockerd # 在cuda:9.0容器中测试nvidia-smi命令 >$ docker run --runtime=nvidia --rm nvidia/cuda:9.0-base nvidia-smi
- 设置NVIDIA runtime为docker默认运行时环境
编辑docker daemon config文件，没有则创建一个。
文件路径：/etc/docker/daemon.json
文件内容：{ "default-runtime": "nvidia", "runtimes": { "nvidia": { "path": "/usr/bin/nvidia-container-runtime", "runtimeArgs": [] } } }
2. 部署GPU share scheduler
- 从git 仓库clone gpushare-scheduler-extender项目到本地
- 进入项目
config目录下，将scheduler-policy-config.json文件复制到k8s master节点的/etc/kubernetes/目录下。 - 在kubernetes上部署gpushare-schd-extender。复制
config目录下的gpushare-schd-extender.yaml文件到kubernetes 集群mater节点，执行kubectl apply -f gpushare-schd-extender.yaml命令，完成gpushare-schd-extender部署。
3. 修改调度器配置
修改调度器配置，其目的是将scheduler-policy-config.json加入到默认的调度器配置中(/etc/kubernetes/manifests/kube-scheduler.yaml)。
第一步：在调度程序参数中添加策略配置文件参数
- --policy-config-file=/etc/kubernetes/scheduler-policy-config.json
第二步：挂载卷到Pod 的Spec中
- mountPath: /etc/kubernetes/scheduler-policy-config.json
name: scheduler-policy-config
readOnly: true
- hostPath:
path: /etc/kubernetes/scheduler-policy-config.json
type: FileOrCreate
name: scheduler-policy-config
如果在此之前未对调度器做过任何修改和配置，也可以直接使用config目录下的kube-scheduler.yaml(复制该文件到/etc/Kubernetes/manifest即可)。
⚠️ 注意：
如果Kubernetes默认调度程序部署为静态pod，不要在
/etc/Kubernetes/manifest中编辑yaml文件。需要提前在/etc/kubernetes/manifest目录之外编辑好yaml文件。然后将编辑好的yaml文件复制到/etc/kubernetes/manifest/目录，然后kubernetes将自动用yaml文件更新默认的静态pod。
4. 部署Device Plugin
- 从git仓库clone项目gpushare-device-plugin到本地。
- 复制根目录下的
device-plugin-rbac.yaml和device-plugin-ds.yaml到master节点，执行kubectl apply -f device-plugin-rbac.yaml和kubectl apply -f device-plugin-ds.yaml命令完成部署。
⚠️ 注意：
在部署之前需要删除默认的GPU Device Plugin。例如，如果当前使用的是nvidia-device-Plugin，则需要执行
kubectl delete ds -n kube-system nvidia-device-plugin-daemonset删除默认GPU Device Plugin。
5.将gpushare节点标签添加到需要GPU共享的节点
添加标签gpushare=true到需要要安装device plugin（需要共享GPU）的所有节点。
>$ kubectl label node <target_node> gpushare=true
6.升级kubectl扩展工具
- 下载
kubectl-inspect-gpushare到本地
>$ wget https://github.com/AliyunContainerService/gpushare-device-plugin/releases/download/v0.3.0/kubectl-inspect-gpushare
- 在k8s master节点上安装
kubectl-inspect-gpushare
复制kubectl-inspect-gpushare到/usr/bin目录下并添加可执行权限。
>$ chmod u+x /usr/bin/kubectl-inspect-gpushare
⚠️ 注意：
如果你的kubectl版本低于kubectl 1.12，需要先升级kubectl.
服务部署和使用
1.查询共享GPU显存分配情况
>$ kubectl inspect gpushare
For more details, please run
kubectl inspect gpushare -d
2.镜像中申请和使用共享GPU
To request GPU sharing, you just need to specify
aliyun.com/gpu-mem
apiVersion: apps/v1beta1
kind: StatefulSet
metadata:
name: binpack-1
labels:
app: binpack-1
spec:
replicas: 3
serviceName: "binpack-1"
podManagementPolicy: "Parallel"
selector: # define how the deployment finds the pods it manages
matchLabels:
app: binpack-1
template: # define the pods specifications
metadata:
labels:
app: binpack-1
spec:
containers:
- name: binpack-1
image: cheyang/gpu-player:v2
resources:
limits:
# GiB
aliyun.com/gpu-mem: 3
3.限制GPU显存使用
为了在应用程序里边限制GPU显存的使用，可以使用如下环境变量：
-
ALIYUN_COM_GPU_MEM_DEV：当前物理设备GPU显存总大小（单位：GiB） -
ALIYUN_COM_GPU_MEM_CONTAINER：当前容器分配的GPU显存大小（单位：GiB）
示例：通过TensorFlow API设置比例来限制GPU显存
fraction = round( 3 * 0.7 / 15 , 1 )
config = tf.ConfigProto()
config.gpu_options.per_process_gpu_memory_fraction = fraction
sess = tf.Session(config=config)
# Runs the op.
while True:
sess.run(c)
⚠️
0.7 is because tensorflow control gpu memory is not accurate, it is recommended to multiply by 0.7 to ensure that the upper limit is not exceeded.
