YOLOv8改进 | 检测头篇 | 自研超分辨率检测头HATHead助力超分辨率检测（混合注意力变换器检测头）
一、本文介绍 本文给大家带来的改进机制是由由我本人利用HAT注意力机制（超分辨率注意力机制）结合V8检测头去掉其中的部分内容形成一种全新的超分辨率检测头。混合注意力变换器（HAT）的设计理念是通过融合通道注意力和自注意力机制来提升单图像超分辨率重建的性能。通道注意力关注于识别哪些通道更重要，而自注意力则关注于图像内部各个位置之间的关系。HAT利用这两种注意力机制，有效地整合了全局的像素信息。本文中均有添...
YOLOv9改进策略 ：红外小目标 | 注意力 |多膨胀通道精炼（MDCR）模块，红外小目标暴力涨点| 2024年3月最新成果
💡💡💡本文独家改进：多膨胀通道精炼（MDCR）模块，解决目标的大小微小以及红外图像中通常具有复杂的背景的问题点,2024年3月最新成果 💡💡💡红外小目标实现暴力涨点，只有几个像素的小目标识别率大幅度提升 💡💡💡多个私有数据集涨点明显，如缺陷检测NEU-DET、农业病害检测等； 改进1结构图如下： 改进2结构图如下： 《YOLOv9魔术师专栏》将从以下各个方向进行创新： 【原创自研模块】【...
使用注意力机制的 LSTM 彻底改变时间序列预测
目录 一、说明二、LSTM 和注意力机制简介三、为什么要将 LSTM 与时间序列注意力相结合？四、模型架构训练与评估 五、验证六、计算指标七、结论 一、说明 在时间序列预测领域，对更准确、更高效的模型的追求始终存在。深度学习的应用为该领域的重大进步铺平了道路，其中，长短期记忆 （LSTM） 网络与注意力机制的集成尤其具有革命性。本文深入探讨了一个实际案例研究：使用这种复杂的架构预测 Apple ...
改进YOLO系列 | EfficientViT：用于高分辨率密集预测的多尺度线性注意力 | ICCV 2023
成为可能，例如计算摄影、自动驾驶等。然而，庞大的计算成本使得在硬件设备上部署最先进的高分辨率密集预测模型变得困难。本文介绍了EfficientViT，一种新的高分辨率视觉模型系列，具有新颖的多尺度线性注意力。与依赖于重型 softmax 注意力、硬件效率低下的大核卷积或复杂的拓扑结构以获得良好性能的先前高分辨率密集预测模型不同，我们的多尺度线性注意力仅通过轻量级和硬件高效的操作实现了全局感受野和多尺度学...
特征融合篇 | 结合内容引导注意力 DEA-Net 思想 实现双主干特征融合新方法 | IEEE TIP 2024
问题，它从观察到的雾化图像中估计潜在的无雾图像。一些现有的基于深度学习的方法致力于通过增加卷积的深度或宽度来改善模型性能。卷积神经网络（CNN）结构的学习能力仍然未被充分探索。本文提出了一个细节增强的注意力块（DEAB），由细节增强卷积（DEConv）和内容引导注意力（CGA）组成，用于增强特征学习以提高去雾性能。具体而言，DEConv将先验信息集成到普通卷积层中，以增强表示和泛化能力。然后通过使用重参...
YOLOv9改进策略 ：注意力机制 | 注意力机制与卷积的完美融合 | 最新移动端高效网络架构 CloFormer
💡💡💡本文改进内容： 引入CloFormer 中的 AttnConv，上下文感知权重使得模型能够更好地适应输入内容。相比于局部自注意力机制，引入共享权重使得模型能够更好地处理高频信息，从而提高性能。 💡💡💡注意力机制与卷积的完美融合 AttnConv | 亲测在多个数据集能够实现涨点 改进结构图如下： 《YOLOv9魔术师专栏》将从以下各个方向进行创新： 【原创自研模块】【多组合点优化】【...
YOLOv9改进策略 ：卷积魔改 | 感受野注意力卷积运算（RFAConv）
💡💡💡本文改进内容：感受野注意力卷积运算（RFAConv），解决卷积块注意力模块（CBAM）和协调注意力模块（CA）只关注空间特征，不能完全解决卷积核参数共享的问题 💡💡💡使用方法：代替YOLOv9中的卷积，使得更加关注感受野注意力，提升性能 💡💡💡RFAConv| 亲测在多个数据集能够实现大幅涨点，有的数据集达到3个点以上 改进结构图如下： 《YOLOv9魔术师专栏》将从以下各个方向进行创新： ...
YOLOv9改进策略：注意力机制 | 多维协作注意模块MCA，暴力涨点，效果秒杀ECA、SRM、CBAM等 | 即插即用系列，原创独家首发
模块MCA，暴力涨点，效果秒杀ECA、SRM、CBAM，创新性十足，可直接作为创新点使用。 改进结构图如下： 《YOLOv9魔术师专栏》将从以下各个方向进行创新： 【原创自研模块】【多组合点优化】【注意力机制】【卷积魔改】【block&多尺度融合结合】【损失&IOU优化】【上下采样优化 】【SPPELAN & RepNCSPELAN4优化】【小目标性能提升】【前沿论文分享】【训练实战篇】 订阅者通过添...
YOLOv5全网独家改进: 红外小目标 | 注意力改进 | 多膨胀通道精炼（MDCR）模块，红外小目标暴力涨点| 2024年3月最新成果
💡💡💡本文独家改进：多膨胀通道精炼（MDCR）模块，解决目标的大小微小以及红外图像中通常具有复杂的背景的问题点,2024年3月最新成果 💡💡💡红外小目标实现暴力涨点，只有几个像素的小目标识别率大幅度提升 改进结构图如下： 收录 YOLOv5原创自研 https://blog.csdn.net/m0_63774211/category_12511931.html 💡💡💡全网独家首发创新（原创），...
YoloV8改进策略：Neck和Head改进|ECA-Net：用于深度卷积神经网络的高效通道注意力|多种改进方法|附结构图
摘要 本文使用ECA-Net注意力机制加入到YoloV8Neck和Head中。我尝试了多种改进方法，并附上改进结果，方便大家了解改进后的效果，为论文改进提供思路。 论文：《ECA-Net：用于深度卷积神经网络的高效通道注意力》 arxiv.org/pdf/1910.03151.pdf 最近，通道注意机制已被证明在改善深度卷积神经网络（CNN）的性能方面具有巨大潜力。然而，大多数现有方法致力于开发更复杂...