AWS vs Paperspace vs FloydHub : Choosing your cloud GPU partner
- 产商选择
Google Cloud Platform和Microsoft Azure在价格和供给上与AWS上比较相像，所以选择了这三者进行对比 - 结论：
AWS的GPU实例安全、可扩展，还附带一些AI集成
Paperspace：最新的NV产品，预装DL包，价格实惠
FloyHub： - 评测点：
实例准备、用户体验（数据上传、社区、帮助文档）、硬件提供范围（SSD和专用GPU实例）、性能、其他特性（是否支持多GPU实例）、价格
Platform: Keras+Theano
Models: deep CNN model + VGG16 network
Benchmarking Tensorflow Performance and Cost Across Different GPU Options
优点：
- 加入CPU做对比
- 用tf+Inception v4 model，一秒内的mini-batch数
- 给出不同需求下的硬件选型指导
Benchmarking Tensorflow Performance on Next Generation GPUs
特点：
- 模型：tf + Faster R-CNN/resnet101 物体检测模型
- 比较方法：mini-batches / second, cents/ 100 mini-batches
- 给出不同需求下的硬件选型指导
Benchmarks: Deep Learning Nvidia P100 vs. V100 GPU
特点：
- 模型：tf + RNN / LSTMs 包括训练和推理
- 使用NGC容器来进行测试
- 网络大小增大、网络复杂度增加（RNN到LSTM）,v100对于p100会优势逐渐增加
- RNN并不能完全利用到v100的硬件优势（只有20%时间为矩阵乘法运算）
Benchmarks
特点：
- 用合成数据测试，结果为基线，来排除磁盘I/O影响 ImageNet
- 测量维度：GPU个数(1,2,3,4)、4个模型(InceptionV3,VGG16, ResNet-50,ResNet-152)、不同产商
- images/sec
Deep Learning Benchmarks of NVIDIA Tesla P100 PCIe, Tesla K80, and Tesla M40 GPUs
特点：
- [TF, Caffe, Torch, Theano] * [VGG, GoogleNet, Overfeat, AlexNet] * [K80, M40, P100]
- 几何平均
- msec / batch, speedup over cpu
Benchmark Setup - batch size尽量一样
- 所有深度学习框架都链接到NVIDIA cuDNN库，而不是他们自己的深度网络库。
- DeepMark项目和Singularity容器
NVIDIA DGX-1 Supercomputer: Join Our Community-Based Deep Learning Benchmark 译文
特点：
- [Torch, Caffe, TensorFlow, Neon] * [Tesla K40, Titan-X Maxwell, GTX 1080, and Titan-X Pascal] * [(AlexNet, Overfeat, Oxford VGG, GoogLeNet, ResNet-50, ResNet-101 and ResNet-52]
- Minibatch大小对于训练效率的影响测评
=============
Machine learning mega-benchmark: GPU providers (part 2) 译文 Github
荐
特点：
- 成本、易用性、稳定性、可扩展性和性能
- 情绪分类任务，Keras LSTM + Twitter情绪分析数据集 + NVIDIA Docker Image，有GitHub
- 应该使用GPU密集型的任务 GPU intensive
- 指标：准确率
Machine learning benchmarks: Hardware providers (part 1)
特点：
- Word2Vec
- docker
【深度学习框架大PK】褚晓文教授：五大深度学习框架三类神经网络全面测评（23PPT）
- 多核CPU场景；性能有受配置文件的影响
