Tensorflow c++ 实践及各种坑.docVIP

Tensorflow c++ 实践及各种坑 曾子骄?2017-10-13?1708标签：?TensorFlow?，?python?，?C++ Tensorflow当前官网仅包含python、C、Java、Go的发布包，并无C++ release包，并且tensorflow官网也注明了并不保证除python以外库的稳定性，在功能方面python也是最完善的。众所周知，python在开发效率、易用性上有着巨大的优势，但作为一个解释性语言，在性能方面还是存在比较大的缺陷，在各类AI服务化过程中，采用python作为模型快速构建工具，使用高级语言(如C++，java)作为服务化程序实现是大势所趋。本文重点介绍tensorflow C++服务化过程中实现方式及遇到的各种问题。 实现方案 对于tensorflow c++库的使用，有两种方法： (1) 最佳方式当然是直接用C++构建graph，但是当前c++tensorflow库并不像python api那样full-featured。可参照builds a small graph in c++ here, C++ tensorflow api中还包含cpu和gpu的数字内核实现的类，可用以添加新的op。 (2) 常用的方式，c++调用python生成好的graph。本文主要介绍该方案。 实现步骤 (1) 编译tensorflow源码C++ so(2) 模型训练输出结果(3) 模型固化(4) 模型加载及运行(5) 运行问题 (1) 源码编译 环境要求： 公司tlinux2.2版本， GCC版本 = 4.8.5安装组件： protobuf 3.3.0 bazel 0.5.0 python 2.7 java8机器要求： 4GB内存 a. 安装java8 yum install java b. 安装protobuf 3.3.0 ./configure make make install c. 安装bazel download /bazelbuild/bazel/releases sh bazel-0.5.0-installer-linux-x86_64.sh d. 编译源码 bazel build //tensorflow:libtensorflow_cc.so 编译过程中可能遇到的问题：问题一： fatal error: unsupported/Eigen/CXX11/Tensor: No such file or directory 安装Eigen3.3或以上版本问题二： java.io.IOException: Cannot run program patch yum install patch 问题三： 内存不够 (2) 模型训练与输出 模型训练输出可参照改用例去实践https://blog.metaflow.fr/tensorflow-saving-restoring-and-mixing-multiple-models-c4c94d5d7125，?google上也很多，模型训练保存好得到下面文件： (3) 模型固化 模型固化方式有三种： a. freeze_graph 工具 bazel build tensorflow/python/tools:freeze_graph bazel-bin/tensorflow/python/tools/freeze_graph --input_graph=graph.pb --input_checkpoint=checkpoint --output_graph=./frozen_graph.pb --output_node_names=output/output/scores b. 利用freeze_graph.py工具 # We save out the graph to disk, and then call the const conversion # routine. checkpoint_state_name = checkpoint input_graph_name = graph.pb output_graph_name = frozen_graph.pb input_graph_path = os.path.join(FLAGS.model_dir, input_graph_name) input_saver_def_path = input_binary = False input_checkpoint_path = os.path.join(FLAGS.checkpoint_dir, saved_checkpoint)