基础环境信息
CPU：Intel Xeon E5-2699 v4
显卡：Nvidia Tesla P100
操作系统：CentOS 7.4
基础环境验证
验证系统是否能正常识别 GPU
lspci | grep -i nvidia
正常应该显示 Nvidia 显卡的型号，没有任何显示需要更新pci硬件库 update-pciids
安装 Nvidia 显卡驱动
1、安装或更新相关包
yum -y update
# 非桌面版系统可跳过第二步
yum -y groupinstall "GNOME Desktop"
yum -y install kernel-devel epel-release dkms gcc gcc-g++
重启机器，以确保使用最新的内核！
2、禁用 nouveau
nouveau 是一个第三方开源的 Nvidia 驱动，一般 Linux 安装的时候默认会安装这个驱动，它会与 Nvidia 官方的驱动冲突，在安装 Nvidia 驱动之前应先禁用 nouveau
查看系统是否正在使用 nouveau
lsmod | grep nouveau
编辑 /etc/default/grub ，在 GRUB_CMDLINE_LINUX 值后面添加
rd.driver.blacklist=nouveau nouveau.modeset=0
生成新的 grub 配置
grub2-mkconfig -o /boot/grub2/grub.cfg
编辑或创建 /etc/modprobe.d/blacklist.conf 文件，添加如下内容：
blacklist nouveau
备份当前镜像并建立新镜像
mv /boot/initramfs-$(uname -r).img /boot/initramfs-$(uname -r)-nouveau.img
dracut /boot/initramfs-$(uname -r).img $(uname -r)
重启机器后，再次验证系统是否使用 nouveau
lsmod | grep nouveau
如果还是不行，可以尝试执行
sudo dracut --force后重启机器
3、安装 Nvidia 驱动
Nvidia 官方驱动下载地址：https://www.nvidia.com/object/unix.html
顶级 GTX 或 Tesla 系列显卡，选择
Latest Short Lived Branch Version，其他选择Latest Long Lived Branch Version
当前显卡 Nvidia Tesla P100，选择 Latest Short Lived Branch Version: 415.18。
下载驱动
wget http://us.download.nvidia.com/XFree86/Linux-x86_64/415.18/NVIDIA-Linux-x86_64-415.18.run
修改 NVIDIA-Linux-x86_64-415.18.run 权限，使其可运行
chmod a+x NVIDIA-Linux-x86_64-415.18.run
安装 Nvidia 驱动
# 进入 Linux 文本模式
init 3
# 安装驱动
sh NVIDIA-Linux-x86_64-415.18.run --no-opengl-files
DKMS 选择 NO， Nvidia Library 选择 NO
校验 Nvidia 驱动，执行 nvidia-smi，若有如下输出，证明安装成功：
卸载驱动
sh NVIDIA-Linux-x86_64-415.18.run --uninstall
安装 Docker
参考官方，CentOS 安装 Docker：https://docs.docker.com/install/linux/docker-ce/centos/
1、移除旧版 Docker
yum remove docker \
docker-client \
docker-client-latest \
docker-common \
docker-latest \
docker-latest-logrotate \
docker-logrotate \
docker-selinux \
docker-engine-selinux \
docker-engine
2、安装相关包
yum install -y yum-utils \
device-mapper-persistent-data \
lvm2
3、添加 repo 源
yum-config-manager \
--add-repo \
https://download.docker.com/linux/centos/docker-ce.repo
4、安装 docker
yum install docker-ce
5、启动 Docker
service docker start
6、设置开机启动
systemctl enable docker
安装 Nvidia-Docker2
参考官方，CentOS 安装 Nvidia-docker2：https://github.com/NVIDIA/nvidia-docker
移除 nvidia-docker 1.0（可选）
docker volume ls -q -f driver=nvidia-docker | xargs -r -I{} -n1 docker ps -q -a -f volume={} | xargs -r docker rm -f
sudo yum remove nvidia-docker
添加安装包仓库
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.repo | \
sudo tee /etc/yum.repos.d/nvidia-docker.repo
安装 nvidia-docker2 并刷新 Docker daemon 配置
sudo yum install -y nvidia-docker2
sudo pkill -SIGHUP dockerd
使用官方 CUDA 镜像测试 nvidia-smi
docker run --runtime=nvidia --rm nvidia/cuda:9.0-base nvidia-smi
TensorFlow 容器化 GPU 测试
1、编写测试代码 test.py
import sys
import numpy as np
import tensorflow as tf
from datetime import datetime
device_name = sys.argv[1]
shape = (int(sys.argv[2]), int(sys.argv[2]))
if device_name == "gpu":
device_name = "/gpu:0"
else:
device_name = "/cpu:0"
with tf.device(device_name):
random_matrix = tf.random_uniform(shape=shape, minval=0, maxval=1)
dot_operation = tf.matmul(random_matrix, tf.transpose(random_matrix))
sum_operation = tf.reduce_sum(dot_operation)
startTime = datetime.now()
with tf.Session(config=tf.ConfigProto(log_device_placement=True)) as session:
result = session.run(sum_operation)
print(result)
print("\n" * 5)
print("Shape:", shape, "Device:", device_name)
print("Time taken:", str(datetime.now() - startTime))
2、获取 tensorflow 镜像
docker pull registry.docker-cn.com/tensorflow/tensorflow:latest-gpu
3、CPU 测试
docker run --runtime=nvidia \
--rm -it \
-v "$(pwd)/test.py:/app/test.py" \
registry.docker-cn.com/tensorflow/tensorflow:latest-gpu \
python /app/test.py cpu 20000
4、GPU 测试
docker run --runtime=nvidia \
--rm -it \
-v "$(pwd)/test.py:/app/test.py" \
registry.docker-cn.com/tensorflow/tensorflow:latest-gpu \
python /app/test.py gpu 20000
