基于SOPC运动物体视频在线检测实验.pptVIP

基于SOPC的运动物体视频在线检测实验 哈尔滨工业大学 电气工程及自动化学院 杨荣峰 朱敏 杨春玲 简介 运动物体监测在安保，交通，工业自动化等领域有广泛的应用。本教学实验平台研制基于SOPC的运动物体在线检测技术。 该平台是一个综合性的研究生教学实验平台，通过逐步展开的各项实验内容，让学生掌握硬件设备如何在NIOS?II中进行交互控制，如何存储与读取SDRAM数据，掌握NIOS?II基本调试方法，并可在扩展实验中与自身专业相结合，充分发挥其创造性。???? 通过图像传感器获取运动物体视频，图像数据送入在NIOS?II系统中，并在软件中实现运动物体检测，视频图像及检测结果实时在VGA设备上显示。 关键问题 CCD数据获取 VGA显示与控制 NIOS II如何读取保存在SDRAM中的数据 NIOS II下如何验证读取数据的正确性 NIOS II下如何向外围设备传输控制指令 相关专业知识：图像处理，运动控制等 实验1：图像传感器CCD与显示VGA设备控制 实验2：硬件设计——建立NIOS II硬核及自定义组件 实验3：硬件设计——硬件电路的搭建 实验4：软件设计——获取SDRAM中图像数据 实验5：软件设计——运动物体检测 扩展实验：与自己专业结合。 实验1 CCD与VGA设备控制 Terasic提供例程DE2_CCD VGA_Controller：VGA控制模块 CCD_Capture：图像捕捉模块 RAW2RGB：把CCD获取数据转换为10位的RGB数据。 Sdram_Control_4Port：把RGB数据写入SDRAM存储器，并从SDRAM中读取出来送到VGA数据端。 I2C_CCD_Config：I2C配置CCD模块。 CCD_Capture RAW2RGB 把CCD获取的oDATA数据（为Bayer色彩模式数据）转换为10位的RGB数据。 I2C_CCD_Config Sdram_Control_4Port VGA_Controller 修改1：增加矩形框显示 修改2：SRAM存储数据 NIOS II会使用SDRAM，SDRAM中存在大量数据交换，可能会影响CCD图像数据存储和VGA图像传输。修改Sdram_Control_4Port.v文件，把本来sdram操作改成sram操作，并增加模块SRAM_FIFO实现数据交互。 实验2：硬件设计——建立NIOS II硬核及自定义组件 后续实验将在NIOS II软核中完成，因此首先应完成NIOS II软核设计 读取SDRAM中数据 向SDRAM传输指令 向VGA控制器传输指令 实验3 硬件电路的搭建 实验4：软件设计——获取SDRAM中图像数据 为了验证前面的硬件电路搭建是否正确，特别是CCD数据是否写入指定地址的Sdram中，最直接有效的方法是把图像数据读取出来传到PC上，只有图像数据正确，才能保证下一步动态图像捕捉研究顺利进行。利用hostfile工程模板，容易获取这些数据并送到pc端。 实验5：运动物体检测 扩展实验 实验仅仅为学生提供了一个平台，使学生了解如何实现外围设备与NIOS II CPU通讯，如何寻址控制外围设备，如何读取SDRAM中的数据等。由于选修该课程的研究生专业不同，因此特别准备了其他的后续实验作为扩展内容。 人脸识别。建议信号处理专业类学生选做，要求实时地显示视频中的人脸位置，需要平衡算法，开发板容量，器件处理速度等因素。 运动物体跟踪。建议控制类专业学生选做。在前面实验的基础上，控制云台电机旋转，跟踪运动物体进行拍摄，实验室提供了云台电机，它通过串口方式与开发板通讯。 * * Bayer color pattern 图像捕捉后送到数据端oDATA，一帧数据传输完 ，ODVAL发出更新信号，oX_Cont和oY_Cont给出当前传输像素的位置坐标，oFrame_Cont给出共捕捉的图像帧数。 CCD_Capture u3 ( .oDATA(mCCD_DATA), .oDVAL(mCCD_DVAL), .oX_Cont(X_Cont), .oY_Cont(Y_Cont), .oFrame_Cont(Frame_Cont), .iDATA(rCCD_DATA), .iFVAL(rCCD_FVAL), .iLVAL(rCCD_LVAL), .iSTART(!KEY[3]), .iEND(!KEY[2]), .iCLK(CCD_PIXCLK), .iRST(DLY_RST_1) ); RAW2RGB u4 ( .oRed(mCCD_R),