tensorflow的官网上提供很详细的python教程，也确实很好用。但是，python始终是一个开发工具，应用软件产品，大多用c/c++写的。所以，我打算用python训练tensorflow模型，然后用c++调用tensorflow模型。本人通过收集资料，总结了方法。本文主要讲解一下内容：
- tensorflow c++加载训练好的模型。
注：均在ubuntu上实现
1.使用python训练模型，并保存模型。
a.训练模型，保存模型
利用tf.train.Saver()进行保存模型。
sess = tf.InteractiveSession() ##session
saver = tf.train.Saver() ###需要添加的代码，在初始化变量前。
sess.run(tf.initialize_all_variables())
#your code
#....训练过程....
#your code
saver.save(sess, "model/model.ckpt") ###保存模型在model目录下
model目录下生成的文件：
- checkpoint
- model.ckpt.data-00000-of-00001
- model.ckpt.index
- model.ckpt.meta
b.模型整合
调用tensorflow自带的 freeze_graph.py 小工具， 输入为格式.pb或.pbtxt的protobuf文件和.ckpt的参数文件，输出为一个新的同时包含图定义和参数的.pb文件；这个步骤的作用是把checkpoint .ckpt文件中的参数转化为常量const operator后和之前的tensor定义绑定在一起。
python freeze_graph.py --input_checkpoint=../ckpt/model.ckpt -- \
output_graph=../model/model_frozen.pb --output_node_names=output_node
得到model_frozen.pb最终模型
2.使用c++加载模型。
a.头文件包含
#include "tensorflow/core/public/session.h"
#include "tensorflow/core/platform/env.h"
using namespace tensorflow;
b.tensorflow模型初始化
//加载tensorflow模型
Session *session;
cout << "start initalize session" << "\n";
Status status = NewSession(SessionOptions(), &session);
if (!status.ok()) {
cout << status.ToString() << "\n";
return 1;
}
GraphDef graph_def;
status = ReadBinaryProto(Env::Default(),MNIST_MODEL_PATH, &graph_def);
//MNIST_MODEL_PATH为模型的路径，即model_frozen.pb的路径
if (!status.ok()) {
cout << status.ToString() << "\n";
return 1;
}
status = session->Create(graph_def);
if (!status.ok()) {
cout << status.ToString() << "\n";
return 1;
}
cout << "tensorflow加载成功" << "\n";
c.模型预测
Tensor x(DT_FLOAT, TensorShape({1, 784}));//定义输入张量，包括数据类型和大小。
std::vector<float> mydata; //输入数据，784维向量
auto dst = x.flat<float>().data();
copy_n(mydata.begin(), 784, dst); //复制mydata到dst
vector<pair<string, Tensor>> inputs = {
{ "input", x}
}; //定义模型输入
vector<Tensor> outputs; //定义模型输出
Status status = session->Run(inputs, {"softmax"}, {}, &outputs); //调用模型,
//输出节点名为softmax,结果保存在output中。
if (!status.ok()) {
cout << status.ToString() << "\n";
return 1;
}
//get the final label by max probablity
Tensor t = outputs[0]; // Fetch the first tensor
int ndim = t.shape().dims(); // Get the dimension of the tensor
auto tmap = t.tensor<float, 2>();
// Tensor Shape: [batch_size, target_class_num]
// int output_dim = t.shape().dim_size(1);
// Get the target_class_num from 1st dimension
//将结果保存在softmax数组中（该模型是多输出模型）
double softmax[9];
for (int j = 1; j < 10; j++) {
softmax[j-1]=tmap(0, j);
}
参考资料：
- Tensorflow C++ 编译和调用图模型 :即讲了安装tensorflow c++过程，又讲了使用过程。
- Tensorflow CPP API demo ：第一个参考资料的源码，很详细。
- Training a TensorFlow graph in C++ API ：一个使用tensorflow c++案例。
- Loading a TensorFlow graph with the C++ API :一个非常好的加载tensorflow模型教程，常被引用。
