工业无死角视觉方案：RV1126B平台AVS全景拼接+目标检测

方案概述

AVS（Any View Stitching）全景拼接技术：可以将多路摄像头画面融合拼接为单幅完整图像，从而实现获取更大视野的需求，实现无死角的视频拍摄。

全景拼接核心原理：

将全景相机看作一个单位球，将每个镜头拍摄的图像通过成像模型投影到球面上，对多幅图像重叠区域做像素融合，得到一幅完整的球面图像。最后将球面图像上的3D坐标点投影到2D图像上，获取平面图像。

RV1126B芯片内置专用的硬件拼接模块，依靠硬件完成图像融合，大幅降低CPU与内存资源占用，适配低功耗边缘视觉场景。

AVS全景拼接效果高度依赖相机标定流程，标定分为两类：

1.内参标定：校准镜头焦距、光学中心、畸变系数；

2.外参标定：校准多台相机之间相对安装位置。

本文基于OK1126B-S开发板+TP2815 4路模拟转MIPI模块，搭建4路AHD摄像头，360°全景拼接完整方案，文末附实景拼接效果演示。

软硬件配套清单

硬件配置：

• OK1126B-S开发板一套
• TP2815 4路模拟转MIPI CSI模块一个
• LT9211 MIPI转LVDS模块
• 4个AHD摄像头
• 电源、数据线等配件

软件配置：

• 操作系统：Linux 6.1
• 依赖组件：Rockit多媒体框架

硬件接线步骤

1.摄像头装配与接线：

将4路AHD摄像头按照标定结构固定安装，信号线按顺序接入TP2815模块；摄像头统一使用12V供电。

2.TP2815模块与开发板连接：

TP2815模块通过Type-C接口接入5V电源；采用异向FPC排线连接模块MIPI CSI通道与OK1126B-S开发板P9接口，硬件引脚定义可参考原理图。

3.开发板外设接线：

OK1126B-S开发板接入5V主电源；Type-C线缆连接电脑，用于串口调试与系统烧录；开发板经过LT9211 MIPI转LVDS模块连接10.1寸LVDS屏。

镜像烧录

烧写支持Rockit和AVS的系统镜像。这里略过具体的修改方法，如有需要请联系飞凌嵌入式获取相关补丁。

全景拼接功能测试流程

步骤1：程序文件部署：

将编译完成的可执行程序main_test、AVS的Json配置文件、RK标定、AI库和模型文件统一放置到开发板/root下。

步骤 2：启动全景拼接程序：

进入/root目录，执行程序启动命令：

./main_test

程序正常运行后，控制台会打印通道创建相关日志，示例输出如下：

22:46:30-306{4_ch_node_create:367}VPSs[1,0] sharebuffer should config staxsize[0,0], outputsize[1280,720]maybe not correct

22:46:38-308{v4_ch_node_create:367}VPSs[2,0]share buffer should config staxsize[0,0], outputsize[1280,720]maybe not correct

22:46:38-310{4_ch_node_create:367}VPSs[3,0]sharebuffer should config staxsize[0,0], outputsize[1280,720]maybe not correct

此时即可在LVDS屏幕上看到4路摄像头拼接后的360°全景画面，并且能够实现目标检测

以上就是基于飞凌嵌入式OK1126B-S开发板搭建4路AHD摄像头360°全景拼接方案的完整介绍，想了解更多关于RV1126系列开发板相关内容，欢迎前来咨询。