基于FPGA的多路视频采集及AI加速.pdf

第４６卷第３期南昌大学学报(工科版)Ｖｏｌ.４６Ｎｏ.３

２０２４年９月ＪｏｕｒｎａｌｏｆＮａｎｃｈａｎｇＵｎｉｖｅｒｓｉｔｙ(Ｅｎｇｉｎｅｅｒｉｎｇ＆Ｔｅｃｈｎｏｌｏｇｙ)Ｓｅｐｔ.２０２４

吴铭ꎬ黄国宁ꎬ汪保祥ꎬ等.基于ＦＰＧＡ的多路视频采集及ＡＩ加速[Ｊ].南昌大学学报(工科版)ꎬ２０２４ꎬ４６(３):３８６￣３９４.

ＷＵＭꎬＨＵＡＮＧＧＮꎬＳＯＮＧＫＰꎬｅｔａｌ.Ｍｕｌｔｉ￣ｃｈａｎｎｅｌｖｉｄｅｏａｃｑｕｉｓｉｔｉｏｎａｎｄＡＩａｃｃｅｌｅｒａｔｉｏｎｂａｓｅｄｏｎＦＰＧＡ[Ｊ].ＪｏｕｒｎａｌｏｆＮａｎｃｈａｎｇ

Ｕｎｉｖｅｒｓｉｔｙ(Ｅｎｇｉｎｅｅｒｉｎｇ＆Ｔｅｃｈｎｏｌｏｇｙ)ꎬ２０２４ꎬ４６(３):３８６￣３９４.

基于ＦＰＧＡ的多路视频采集及ＡＩ加速

１２２２２２∗

吴铭ꎬ黄国宁ꎬ汪保祥ꎬ宋可平ꎬ鄢秋荣ꎬ吴武飞

(１.南昌大学数学与计算机学院ꎬ江西南昌３３００３１ꎻ２.南昌大学信息与工程学院ꎬ江西南昌３３００３１)

摘要:基于ＭＥＳ５０ＨＰ开发板及ＰＣ主机实现了多源视频采集、拼接及ＡＩ协同处理的加速工作ꎮ所提出的系统

可支持同时采集ＨＤＭＩ、网口、摄像头和光纤４路视频数据ꎬ视频采集拼接后ꎬ将缩放后存入双倍速率同步动态随机

存储器(ＤＤＲ)中ꎬ输出部分分为２路ꎬ其中１路数据用于ＨＤＭＩ回环输出ꎬ另外１路通过ＰＣＩＥ传至ＰＣ主机用于结

果显示ꎬ并在ＰＣ端读取ＰＣＩＥ传回的数据并显示目标检测结果ꎬ其中视频采集和目标识别加速部分主要由２块

ＭＥＳ５０ＨＰ开发板构成ꎮ本系统在ＦＰＧＡ上实现了卷积加速器ꎬ卷积加速器计算完神经网络的一层后再通过ＰＣＩＥ

传至主机进行结果显示ꎬ卷积计算与图像采集进行深度融合ꎬ具有实时、低成本的特点ꎬ可广泛应用于边缘计算等

领域ꎮ实验结果表明:针对红绿灯数据集ꎬ该方法在低成本ＰＣ主机上实现的最大平均精度均值(ｍＡＰ)为０.７４６ꎬ最

高帧率达４５帧ꎮ

关键词:现场可编程门阵列ꎻ外设组件互联快速总线ꎻＡＩ加速ꎻ视频采集ꎻ边缘计算ꎻ嵌入式人工智能

中图分类号:ＴＰ３９９文献标志码:Ａ文章编号:１００６￣０４５６(２０２４)０３￣０３８６￣０９

Ｍｕｌｔｉ￣ｃｈａｎｎｅｌｖｉｄｅｏａｃｑｕｉｓｉｔｉｏｎａｎｄＡＩａｃｃｅｌｅｒａｔｉｏｎｂａｓｅｄｏｎＦＰＧＡ

１２２２２２∗

ＷＵＭｉｎｇꎬＨＵＡＮＧＧｕｏｎｉｎｇꎬＷＡＮＧＢａｏｘｉａｎｇꎬＳＯＮＧＫｅｐｉｎｇꎬＹＡＮＱｉｕｒｏｎｇꎬＷＵＷｕｆｅｉ

(１.ＳｃｈｏｏｌｏｆＭａｔｈｅｍａｔｉｃｓａｎｄＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅｓꎬＮａｎｃｈａｎｇＵｎｉｖｅｒｓｉｔｙꎬＮａｎｃｈａｎｇ３３００３１ꎬＣｈｉｎａꎻ

２.ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇꎬＮａｎｃｈａｎｇＵｎｉｖｅｒｓｉｔｙꎬＮａｎｃｈａｎｇ３３００３１ꎬＣｈｉｎａ)

Ａｂｓｔｒａｃｔ:Ｔｈｉｓｓｔｕｄｙｒｅａｌｉｚｅｄｔｈｅａｃｃｅｌｅｒａｔｉｏｎｏｆｍｕｌｔｉ￣ｃｈａｎｎｅｌｓｏｕｒｃｅｖｉｄｅｏｃｏｌｌｅｃｔｉｏｎꎬｓｐｌｉｃｉｎｇꎬａｎｄＡＩｃｏｌｌａｂｏｒａｔｉｖｅｐｒｏｃｅｓｓｉｎｇ

ｂａｓｅｄｏｎｔｈｅＭＥＳ５０ＨＰｄｅｖｅｌｏｐｍｅｎｔｂｏａｒｄａｎｄＰＣｈｏｓｔ.Ｔｈｅｐｒｏｐｏｓｅｄｓｙｓｔｅｍｃａｎｓｕｐｐｏｒｔｔｈｅｓｉｍｕｌｔａｎｅｏｕｓｃ