本平台主要针对电子、计算机、自动化、光电子、通信等专业高年级本科、硕士等同学的深入学习,通过完整的双目视觉平台硬件(包括摄像头模组、MPSOC核心板、接口板),理解整个图像传输、处理的硬件系统,通过整体的双目视觉软件(包括PL端固件程序、ARM端裸跑程序、PC机网络程序)理解视频的同步传输、AXI总线的中断、VDMA视频传输、网络LWIP协议栈、视频传输与视频显示等,深入理解底层数据流的传输过程、连续流中中断、内存管理机制,网络TCP/UDP IP机制。
下载资料双目视觉软件通过工程化的案例,以图像传输的过程,双目视频接入、转DP显示、AXI总线的VDMA视频传输、ARM的LWIP协议网络传输、PC的网络图像接入与显示通过完整的软件代码深度的介绍了视频传输体系。代码分模块学习和介绍如下:
序号 | 程序名称 | 程序内容 |
---|---|---|
1 | 双目视频PL端图像接入 | 通过PL的sensor设置、接入双目视觉行场、数据信息,体会行场分辨率等概念,了解双目同步的特点。 |
2 | 单路CMOS图像 Sensor转DP显示实验 | 通过PL端的代码学习视频显示的数据 特征,RGB信号特点,数据与显示的对应关系。 |
3 | AXI总线的VDMA图像传输 | 通过PL端程序和PS端的交互,了解视频帧传输的DMA传输机制,DDR缓存,中断交互关系,连续图像存储和算法应用的数据流机制。 |
4 | ARM的LWIP网络传输实验 | 基于裸跑的C程序代码如何完整呈现UDP/TCP,IP协议数据收发,网络组包机制和传输机制,图像网络传输数据组包协议。 |
5 | 双路视频网络PC传输实验 | 上位机的QT程序,如何网络接收图像数据,实现网络协议的解析,数据流缓存机制,显示器连续图像显示与连续接收包的互动关系。 |
双目视觉平台套件,以最先进的MPSOC芯片为基础,通过核心板+扩展板的模式来设计,核心板和扩展板之间使用高速板间连接器连接。搭建起了从摄像头到主处理器、到接口电路的完整结构。其整体框架如左侧图:
这款MPSoCs开发平台采用核心板加扩展板的模式,方便用户对核心板的二次开发利用。
1. 核心板
核心板使用XILINX Zynq UltraScale+ CG芯片ZU3EG的解决方案,它采用Processing System(PS)+Programmable Logic(PL)技术将双核ARM Cortex-A53 和FPGA 可编程逻辑集成在一颗芯片上。另外核心板上PS端带有4片共2GB高速DDR4 SDRAM芯片,1片8GB的eMMC存储芯片和2片共512Mb的QSPI FLASH芯片;核心板上PL端带有1片512MB的DDR4 SDRAM芯片 。
2. 底板
在底板设计上我们为用户扩展了丰富的外围接口,比如1个FMC LPC接口、1路SATA M.2接口、1路DP接口、1个USB3.0接口、1路千兆以太网接口、1路UART串口接口、1路SD卡接口、2个40针扩展接口、2路CAN总线接口,2路RS485接口等等。满足用户各种高速数据交换,数据存储,视频传输处理,深度学习,人工智能以及工业控制的要求,是一款"专业级“的ZYNQ开发平台。为高速数据传输和交换,数据处理的前期验证和后期应用提供了可能。相信这样的一款产品非常适合从事MPSoCs开发的学生、工程师等群体。
OV5642摄像头模组采用2片美国OmniVision(豪威)CMOS芯片图像传感器OV5640,支持两路独立或者同时显示的功能。CMOS OV5640芯片支持DVP 和MIPI 接口, 在OV5642模组上是通过DVP接口和FPGA连接实现图像的传输。
以下为 OV5642 模组的详细参数:
• 接口:40 针母座,2 路摄像头采用单独的 DVP 接口
• 间距:2 路摄像头之间的间距为 40mm
• 像素:硬件像素 500W
• 感光芯片:2 片 OV5640
• 感光尺寸:1/4
• 模组内容:含 OV5640 电源电路和时钟
• 功能支持:手动对焦, 自动曝光控制(AEC),自动白平衡(AWB)
• 图像格式 : RAW RGB, RGB565/555/444,CCIR656, YUV422/420, YCbCr422 和压缩
• 捕获画面:QSXGA(2592x1944), 1080p, 1280x960, VGA(640x480), QVGA(320x240)
• 工作温度:-30~70℃, 稳定工作温度为 0~50℃
中国民航大学
中国科技大学
北京理工大学
北京航空大学
北京邮电大学
南京理工大学
武汉理工大学
浙江大学
备案号:京ICP备11012832号-6