Skip to content

Latest commit

 

History

History
67 lines (55 loc) · 1.67 KB

compile_paddle_with_tensorrt.md

File metadata and controls

67 lines (55 loc) · 1.67 KB

PaddlePaddle 集成TensorRT 编译安装文档

本文以Ubuntu 16.04 为例说明如何编译支持TensorRT的PaddlePaddle包。

1. 确认依赖的基础软件环境

  • Python 2.7+ / Python 3.5+
  • CUDA 9.0
  • CuDNN 7.5
  • cmake 3.10
  • gcc 4.8.3

2. 安装 TensorRT 5.1

请参考Nvidia的官方安装教程

3. 编译 PaddlePaddle

这里假设Python版本为3.7以及CUDA cuDNN TensorRT安装路径如下：

# 假设 cuda 安装路径
/usr/local/cuda-9.0/
# 假设 cudnn 安装路径
/usr/local/cudnn-7.5/
# 假设 tensorRT 安装路径
/usr/local/TensorRT-5.1/

那么执行如下命令进行编译(请根据实际情况修改)：

# 下载 Paddle 代码
git clone https://github.com/PaddlePaddle/Paddle.git
# 进入 Paddle 目录
cd Paddle
# 创建编译目录
mkdir build
cd build
# cmake 编译
cmake .. \
      -DCMAKE_BUILD_TYPE=Release \
      -DCUDNN_ROOT=/usr/local/cudnn-7.5/ \
      -DCMAKE_INSTALL_PREFIX=`pwd`/output \
      -DWITH_PYTHON=ON   \
      -DON_INFER=ON \
      -DWITH_GPU=ON \
      -DCUDA_ARCH_NAME=Auto \
      -DTENSORRT_INCLUDE_DIR=/usr/local/TensorRT-5.1.5.0/include \
      -DTENSORRT_LIBRARY=/usr/local/TensorRT-5.1.5.0/lib \
      -DPY_VERSION=3.7 \

make -j20
make install

编译完成后，在build/python/dist目录下会生成一个whl包，执行下面的命令安装即可：

pip install -U xxxx.whl

4. 验证安装

进入 python, 执行以下代码：

import paddle.fluid as fluid
fluid.install_check.run_check()

如果出现Your Paddle Fluid is installed succesfully!，说明您已成功安装。