动态重构目标检测硬件加速器系统方案

加入星计划,您可以享受以下权益:

产业图谱

EDRCA-YOLO加速器的硬件系统架构框图

由于军事战场的环境恶劣,移动端的自动目标识别系统所采集的图像往往会被阴天、雾霾天气、烟雾环境和高速移动带来的模糊所影响,使得系统拍摄的图像质量下降。由于FTDS数据集不能将军事战场上面临的所有环境都整合到一个数据集中,若目标检测网络输入图像的环境和训练集中的环境相差甚远,将会对目标检测系统的检测效果带来很大的影响,比如带来明显的精度下降。为了降低不利环境下对自动目标识别系统精度的影响,故本动态重构算法加速器系统在PL端增加了图像实时预处理环节,预先对采集的图像做图像增亮和去雾霾和烟尘的算法加速处理,之后再传输到以DPU IP核为运算核心的GSConv-YOLOV5s目标检测网络加速器子系统中做进一步的处理。

在实际的战地情况下,需要对不同的环境采用不同的图像处理算法,以适应不同的现场需求。通常遇到的环境情况有环境过暗、过亮、模糊、雾霾和烟尘,且考虑到本系统的硬件计算资源有限,适合采用基础算子通过本系统主控制端将各个算子调用组合为新的图像预处理算法,以节约硬件计算资源,故本系统对于这些环境下的图像增强处理算法和其组成算子,归纳为表4-1所示。其中,LUT(Look-Up Table)是颜色查找表算法,用于图像的亮度调节;add是图像加法算法,用于图像增强对比度;filiter2D是卷积滤波算法,用于对图像进行去噪和边缘的检测;rbg2gray是用于将图片由彩色转换为灰度的算法;gray2rgb是将图片由灰度转换成彩色的算法。

如表4-1所示,本系统采用的图像增强算法主要有伽马变换、基于拉普拉斯滤波的图像锐化和直方图均衡化算法。

(1)伽马变换算法,是一种基于灰度级的非线性图像增强算法,可以通过调整图像的灰度级分布来改变图像的对比度和亮度。伽马变换主要用于处理灰度图像,对于本系统所用三维彩色图像可以对每个颜色通道单独进行伽马变换,使得较暗的区域的亮度得到提升,而较亮的区域的亮度得到降低,经过伽马变换,图像整体的细节表现会得到增强。伽玛变换的数学表达公式如公式(4-1)所示。

式中:

r——灰度图像的输入值(原来的灰度值),取值范围为[0,1];

s——经过伽马变换后的灰度输出值;

C——灰度缩放系数,通常取1;

γ——伽马因子大小,控制了整个变换的缩放程度。

(3)直方图均衡化算法,是一种用于提高图像对比度的数字图像处理技术,其通过图像的直方图将原始图像的像素值分布重新映射到一个均匀的分布上,从而使得图像中的雾霾和模糊效果得到一定程度的改善,使得图像更加清晰明亮。其表达式如式(4-2)所示。

式中:

L——灰度总数;

k——累计次数,k=0,1,2,…,L-1;

r——图像的灰度级数,

——各个灰度级治病像素在图像中出现的概率;

——图像中个灰度级中的像素个数;

M——图像高的像素数;

N——图像宽的像素数。

Sk——累计第K次的累计值。

可重构模块根据不同的计算任务的需要,可在可重构模块内嵌不同规格和数量的图像处理运算加速器模块,为了提高可重构模块的集成度。当可重构模块分配到不同的重构区域时,需要遵循同一个重构区域的原则,即可重构模块占用的片上硬件资源数量应尽可能接近,以增强模块计算性能和减少硬件资源的浪费[25]。内嵌单个和两个的可重构模块模板顶层设计框图如图4-2所示,为了防止动态逻辑区域和静态逻辑区域的逻辑混叠让系统发生严重错误,故对可重构模块进行了解耦设计,在静态区域使用Decoupler模块对可重构模块的逻辑进行解耦。

网络压缩是通过减少模型参数的数量来减小模型大小的一种技术。可以使用剪枝和量化等技术来实现。其中,剪枝技术可以通过删除模型中不必要的连接来减少模型参数的数量,进一步提高建模的准确性和可靠性。虽然FPGA可以有效地处理定点型数据,但无法满足浮点数据计算所需的大量存储空间。因此,为了提高网络模型的性能,必须对其实行参量缩小,这一过程基本上包括参量剪枝和参数量化两个步骤。使用Vitis AI工具,可以有效地将参量缩小到图4-4中的形式。

网络压缩流程图

剪枝后的网络模型参数依然是32位浮点型数据,但是在将其送往FPGA执行加速运算之前,必须将其转化为8位定点型数据,这一过程被称之为参数量化。比如,8位定点量化可以将32位的浮点数取最近似的8位整数,从而将参数信息压缩至原来的1/4,以便更好地描述模型的特征。Vitis AI开发工具中的AI量化器可以有效地定量CNN模式,它可以将原始网络冻结,生成序列图GraphDef,接着从一分组无标记的数据集中抽取图像,经过定量校准,最后对网络系统中的卷积层、池化层等32位的浮点型参数加以定量量化,从而大大提高了量化后网络模型的准确性和可靠性,而且可以有效地减少精度损失,从而提升模型的性能和可靠性。最后,加入量化微调步骤,通过小批次的重训练让定点参数进一步收敛,从而避免过大的精度损失。

本文重点描述了动态重构加速器系统架构EDRCA-YOLO的详细设计。首先,对介绍了动态重构硬件加速器系统总体架构的设计。然后,阐述了图像预处理算法及其硬件加速设计,详细描述了可重构模块和图像预处理算法的IP核接口设计。最后,阐述了基于Vitis AI的目标检测网络模型推理加速器方案及网络压缩和网络编译的步骤。

THE END
0.深度学习在偏振图像融合领域的研究进展与现状人工智能本文在回顾基于多尺度变换、稀疏表示和伪彩色等传统融合方法基础上,重点介绍基于深度学习的偏振图像融合方法研究现状。首先阐述基于卷积神经网络和生成对抗网络的偏振图像融合研究进展,然后给出在目标检测、语义分割、图像去雾和三维重建领域的相关应用,同时整理公开的高质量偏振图像数据集,最后对未来研究进行展望。 jvzquC41yy}/gujehctt0lto1tkoixsi|joogwl146=32<80jvsm
1.常用的20个计算机视觉开源数据集总结本文汇总了一系列常用的计算机视觉数据集,涵盖了从COVID-19影像学到图像分类、目标检测等多个领域,如ImageNet、CIFAR-10、MSCOCO等,适用于各类视觉任务的研究与开发。 计算机视觉是人工智能的一个领域,它训练计算机解释和理解视觉世界。利用来自相机和视频的字图像以及深度学习模型,机器可以准确地识别和分类物体,然后对它们“看到的”jvzquC41dnuh0lxfp0tfv8iggrnvd8ftvkimg8igvcomu86492<87<>
2.图像去雾数据集总汇近年来,图像去雾已成为计算成像的重要课题。然而,由于缺乏真实图像,去雾方法的比较既不直接也不客观。为了克服这个问题,作者引入了 I-HAZE,这是一个新的数据集,其中包含 35 个有雾图像对和相应的无雾(地面实况)室内图像。与大多数现有的去雾数据库不同,雾霾图像是使用专业雾霾机产生的真实雾霾生成的。为了简化颜jvzquC41dnuh0lxfp0tfv8r2a88:3B:571gsvrhng1jfvjnnu175:=86676
3.张林8. 提出并建立了融合前视自然特征、环视语义特征、惯导数据的紧耦合SLAM系统(ACM MM 2020、IEEE T-CSVT 2022); 9. 建立了雾霾图像与对应的清晰图像均来自真实场景的去雾霾算法度量图像数据集,提出了基于能见度与真实度两个维度的去雾霾算法性能评测准则(IEEE T-IP 2020); jvzquC41eu4uqwllk0kew7hp1ktgq86283539;;0jvs
4.中猿创新最新图像分类数据集自然语言处理数据集图像分割数据集目标检测数据集 VIP 医学影像数据集数据集 基于YOLO格式的脑部疾病(癫痫、脑中风)目标检测数据集 该数据集用于脑部疾病(癫痫、脑中风)目标检测任务。 项目信息 编号:Datase 9 月前0021398 VIP 目标检测数据集 jvzquC41yy}/8:ne0eun1
5.最新综述!万字长文彻底搞懂单目3d车道线检测jvzquC41yy}/7:hvq0ipo8ftvkimg8<:95:60qyon
6.多模态研究团队荣获2023年度人工智能顶会CVPR和ICRA九项挑战赛冠军其中,赛道一为“雾霾目标检测”,任务背景基于在雾、霾等恶劣天气条件的影响下图像出现的非线性噪声、模糊、对比度降低和颜色变暗等问题,旨在评估和提高物体检测算法在雾霾环境下拍摄图像上的鲁棒性。 团队针对比赛官方给定的小样本数据集,为了在雾霾条件下获得更加鲁棒的检测效果,同时采用Mosiac、RandomAffine、MixUp、jvzq<84pgnymky3wuvi/gmz0ep532;8129741l78;3:b89=69:5qcpj0jvs
7.2019DENSEHAZE:ABENCHMARKFORIMAGEDEHAZINGWITHDENSE尽管在过去的几年中,人们对去雾方法的兴趣显著增加,但由于缺乏真正的模糊和相应的无雾参考图像对,去雾方法的验证仍然在很大程度上不令人满意。为了解决这一限制,我们引入了密集的雾霾Dense-Haze——一个新的去雾霾数据集。密雾以密集、均匀的朦胧场景为特征,包含33对真实的朦胧和相应的无雾霾图像。通过引入由专业jvzquC41dnuh0lxfp0tfv8jqwgiq;5321gsvrhng1jfvjnnu17399825::
8.JetsonTX2平台上的无人驾驶系统研究与实现(2)自动学习提取特征:从大量的训练样本图像中自动学习提取特征,神经网络一度被给予厚望。但其发展出现了瓶颈:训练容易出现拟合、算法复杂、训练速度慢。近年来,伴随着GPU和深度学习的快速发展,弥补了传统神经网络的不足。深度学习的本质是通过多层非线性变换,从大规模数据集中自动学习特征。深层的结构使其具有极强的表jvzquC41yy}/e|zuv0kew7hp1l}d1rshq171:;434;>/j}r
9.质谱技术上样量新闻仪器信息网质谱技术上样量专题为您提供2025年最新质谱技术上样量价格报价、厂家品牌的相关信息, 包括质谱技术上样量参数、型号等,不管是国产,还是进口品牌的质谱技术上样量您都可以在这里找到。 除此之外,仪器信息网还免费为您整合质谱技术上样量相关的耗材配件、试剂标物,还有质谱技术上样量相关的最新资讯、资料,以jvzquC41yy}/kwxvtwsfp}3eqo4dp8jwvo05A::;1tfy|3jvor
10.面向资源受限物联网设备的联邦学习研究综述学习分布式数据集,同时通过不暴露数据来保护隐私是一个普遍的目标。1982年,开发了一种用于加密数据[1]的加密机制。[2] -[6]的作品是在维护隐私的同时从本地数据中发现知识的早期例子。为此,FL的引入通过只在设备上存储客户端数据来维护隐私,通过在客户端设备上执行计算来生成预测模型,消除了对单个服务器的依赖,jvzquC41dnuh0wtyeqjft7sgv1t0;m;58cgef95c68>f: