简述
second.pytorch代码集成一些3d激光雷达点云的学习算法，关于这方面资料相对较少，主要是3d点云深度学习算法也是这两年才开始发力。学习资料相对单一，本文首先记录自己配置second.pytorch的nvidia-docker环境所踩过的坑，后期会分别写一写当前的3d-lidar点云的深度学习算法。这里，也推荐大家参考second.pytorch的环境配置教程。ok，让我们开始second.pytorch的环境配置苦练修行之路吧。
second.pytorch代码环境配置
本文依赖nvidia-docker镜像下面安装的环境；这部分环境配置你可以直接参考github下面second.pytorch的readme.txt部分，我按照second.pytorch安装说明会出现一些问题，主要涉及软硬件的不匹配、编译问题，特此记录下来，配置完成的nvidia-docker镜像保存下来，不想参考本文的，可以直接进入文末下载nvidia-docker镜像。
second.pytorch官网github地址：
https://github.com/traveller59/second.pytorch
我的电脑环境配置：
GeForce RTX2080 + CUDA10.0 + Torch 1.1.0 + Python 3.7
前提条件：
确保NVIDIA驱动、CUDA、docker、nvidida-docker安装提前配置成功。(cuda10.1测试编译spconv存在一些问题，建议安装cuda10.0)
nvidia-docker下环境配置
目前安装成功的配置是cuda10.0+cudnn7.x系列，亲测在cuda10.1时候对second.pytorch依赖库spconv编译时候会出现问题，也是官网issues里面出现最多的cmake_device_link.o这些问题。建议使用cuda10.0版本。
step 1 : 首先在nvidia-docker环境下将second代码pull下来
git clone https://github.com/traveller59/second.pytorch
cd ./second.pytorch/second
step 2 : 安装相关依赖项
进入nvidia-docker镜像里面，建议安装Anaconda，去官网下载linux对应到镜像里面。
Anaconda下载完成后，在docker镜像里面终端直接：(一路回车，需要输入就yes)
sh Anaconda-xxx.sh
安装其它依赖包：
conda install scikit-image scipy numba pillow matplotlib
pip install fire tensorboardX protobuf opencv-python
step 3: 编译spconv
单独将spconv拎出来是因为这里编译有点小坑需要避免一下：
首先当然是clone spconv的代码部分：
git clone https://github.com/traveller59/spconv --recursive
spconv可能下载不成功，如果clone失败，报git clone fatal: The remote end hung up unexpectedly. 这个原因可能由于网络原因引起的。
通过设置一下git 配置的最低速度与最低速度时间来解决：
git config --global http.lowSpeedLimit 0
git config --global http.lowSpeedTime 999999
其次就是安装boost库进入docker的镜像系统头文件目录里面，可以直接敲如下命令即可：
apt-get install libboost-all-dev
如果不想，去boost官网下载压缩包，解压后将头文件拷贝进spconv的头文件里面即可。
再次要安装新版本的cmake > 3.13.2，同时将其添加进PATH目录；
这一步，我是通过下载cmake源码对其进行编译安装的，cmake源码网站如下：
wget http://www.cmake.org/files/v.3.13/cmake-3.13.2.tar.gz
tar xvf cmake-3.13.2.tar.gz
cd cmake-3.13.2
./configure
make && make install
检测cmake是否安装成功：
cmake --version
如果cmake的版本号没有改变，可能需要你添加一下软连接:
sudo ln -sf /your_cmake_path/bin/* /usr/bin/
如果出现error /usr/bin/cmake no such files … 等错误
将你的cmake-3.13.2路径下的cmake拷贝至/usr/bin下：
cp /your_cmake_file_parent_path/cmake-3.13.2/bin/cmake /usr/bin
cmake安装成功之后，不要忘记将cmake的文件路径添加至 .bashrc里面：
export PATH=$PATH:/your_cmake_file_parent_path/cmake-3.13.2/bin
保存 .bashrc的更改
source .bashrc
确定你已经安装pytorch>1.0+，如果没有，执行下面的命令：
conda install torch = 1.1.0
conda install torchvision
到这里，编译sponcv的环境准备工作已经完成，直接进入sponcv目录下面，运行如下命令：
python setup.py bdist_wheel
结束后，会在dist目录下面生成对应的spconv-xxx-xxx.whl文件。继续运行如下命令：
cd ./dist
pip install spconv-xxx-xxx.whl
至此，spconv编译到此结束了。当然，如果你也用的cmake-3.13.2编译的spconv文件，可以直接下载我编译好的spconv文件，链接会在末尾给出。
step 4: 安装Apex
安装Apex比较简单，按照网页提示一把过：
git clone https://github.com/NVIDIA/apex
cd apex
pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./
step 5: 对cuda设置numba的环境
进入.bashrc里面进行编辑：
export NUMBAPRO_CUDA_DRIVER=/usr/lib/x86_64-linux-gnu/libcuda.so
export NUMBAPRO_NVVM=/usr/local/cuda/nvvm/lib64/libnvvm.so
export NUMBAPRO_LIBDEVICE=/usr/local/cuda/nvvm/libdevice
step 6: 添加second.pytorch至PYTHONPATH
进入.bashrc里面进行编辑：
export PYTHONPATH=$PYTHONPATH:/your_second.pytorch_path/
至此，关于second.pytorch的nvidia-docker下面的环境依赖到此完美结束。
second.pytorch代码跑通调试bug修复(持续更新)
数据准备格式：
└── KITTI_DATASET_ROOT
├── training <-- 7481 train data
| ├── image_2 <-- for visualization
| ├── calib
| ├── label_2
| ├── velodyne
| └── velodyne_reduced <-- empty directory
└── testing <-- 7580 test data
├── image_2 <-- for visualization
├── calib
├── velodyne
└── velodyne_reduced <-- empty directory
参数配置文件修改：
train_input_reader: {
...
database_sampler {
database_info_path: "/path/to/dataset_dbinfos_train.pkl"
...
}
dataset: {
dataset_class_name: "DATASET_NAME"
kitti_info_path: "/path/to/dataset_infos_train.pkl"
kitti_root_path: "DATASET_ROOT"
}
}
...
eval_input_reader: {
...
dataset: {
dataset_class_name: "DATASET_NAME"
kitti_info_path: "/path/to/dataset_infos_val.pkl"
kitti_root_path: "DATASET_ROOT"
}
}
在second.pytorch/second/ 下面有个configs文件夹，里面有每个训练参数文件的配置。以car.fhd.config为例，打开文件找到对应上面的部分，进行数据路径配置修改成你的nvidia-docker映射的数据路径即可。
运行数据生成命令：
python create_data.py kitti_data_prep --data_path=KITTI_DATASET_ROOT
这里需要将–data_path改成–root_path，因为create_data.py参数变量名为root_path。KITTI_DATASET_ROOT为你的nvidia-docker数据映射路径；
数据生成结束后，运行训练命令：
python ./pytorch/train.py train --config_path=./configs/car.fhd.config --model_dir=/path/to/model_dir
训练阶段会出现–model_dir错误导致停止，其实就是需要你输入模型保存的路径，而且需要没有新建的文件夹：
假设nvidia-docker的映射路径为/model_path/那么：
你的模型路径为–model_dir=/model_path/model_20190809
它会新建一个文件夹model_20190809；
总结
说实话，配置环境很费时间，软硬件版本的对应等等。还好有了docker的出现，以后复制环境相对方便许多，这个second.pytorch的环境我这边算是配置结束啦。过两天会上传对应的nvidia-docker镜像至docker-hub上面，方便大家进行下载直接使用。
转到自动驾驶方向的激光雷达的深度学习算法了，目前还处于小白学习阶段。这块深度学习3d点云方面，还处于新兴发展阶段，目前主要将点云如何通过编解码方式有效的让CNN学习，或者对数据进行转换操作等等，加油，会有越来越多的人关注点云并推动深度学习在这个方向的发展。我就多摸鱼、捡漏的持续学习！
nvidia-docker镜像下载链接
second.pytorch的nvidia-docker镜像下载：
docker pull smallmunich/ubt1804_second:v0
spconv经过cmake-3.13.2的whl文件下载：
该文件在ubt1804_second镜像下面~/spconv/dist/ 里面
参考链接
https://github.com/traveller59/second.pytorch
https://github.com/traveller59/spconv
https://github.com/NVIDIA/apex
404
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
