鹰眼视觉启发的图像去模糊技术：中国科学技术大学与西湖大学联合研究成果揭秘

这项由中国科学技术大学、西湖大学和密歇根大学联合完成的研究，以论文编号 arXiv:2606.30030 于2026年6月29日公开发表。有兴趣深入了解的读者可以通过该编号在arXiv平台查询完整论文。

你有没有拍过一张照片，结果发现因为手抖或者拍摄对象动得太快，整张图都模糊成一片？这种令人懊恼的经历几乎每个人都有过。相机抖动、快速移动的汽车、奔跑的孩子……这些场景产生的模糊，用图像处理的术语来说叫做"运动模糊"。而现实生活中的模糊往往比你想象的复杂得多——同一张照片里，左边可能是清晰的背景，右边却是一团糊影，这种"因地而异"的模糊叫做空间非均匀模糊，是让计算机视觉研究者头疼已久的难题。

这支来自中国顶尖研究机构的团队，提出了一个叫做**CogSENet**的新系统，核心灵感来源于一个意想不到的地方——鹰的眼睛。这只"数字鹰"究竟是怎么看清世界的？

一、鹰眼的秘密：为什么要向大自然取经

在所有已知的生物中，鹰拥有地球上最锐利的视觉系统之一。站在百米高空，它能精准锁定地面上一只快速奔跑的田鼠。它是怎么做到的？研究者发现，鹰的视觉能力来自四个高度协调的机制：主动扫视、视网膜功能分区、持续焦距调节，以及将现在所见与记忆中的"清晰图像"进行比对。

这四个机制，正好对应了CogSENet系统里的四个核心设计。主动扫视对应了一个叫做"语义驱动状态空间模块（SDSSM）"的组件；视网膜功能分区对应了"双频融合块（BFFB）"；持续焦距调节对应了"连续模糊场（CBF）"；而记忆比对则对应了引入一个事先训练好的强大视觉语言模型CLIP来提供高层次的语义知识。

这套仿生逻辑的关键在于：现有的图像去模糊方法大多把图像当作一个均匀的像素矩阵来处理，就像用同一把锯子锯所有的木头，不管木头是松木还是钢铁。但鹰看世界的方式完全不同——它会根据目标的类型、位置和重要程度，动态调整自己注意力的分配方式。CogSENet的设计哲学正是如此：让系统理解"它在恢复什么"，从而指导"它应该如何恢复"。

二、语义扫视：让系统学会"看懂"才能"看清"

传统的图像处理模型有一个根本性的缺陷——它们不知道自己在处理的是什么。一栋大楼的外墙纹理、一丛树叶的细碎边缘、一张人脸的轮廓，在传统算法眼里都是同等地位的像素集合，处理方式没有任何区别。这就好比一个翻译者，把所有的词语都用同一个语气、同一个方式朗读出来，不管是诗歌还是法律条文，结果自然是不伦不类。

SDSSM（语义驱动状态空间模块）的出现，就是为了解决这个问题。它的工作原理可以用一个比喻来理解：假设你在整理一个大型图书馆的书籍，你不是按照书的编号顺序一本一本处理，而是先把书分类——历史类、科学类、文学类——然后对每一类书采用最适合它的整理方式。SDSSM做的事情类似：它先把图像分解成一个个小块（类似图书馆里的一本本书），然后通过一种叫做"Gumbel-Softmax"的数学技巧，把这些小块按照语义内容软性地分配到不同的类别组（K个簇）。

更聪明的地方在于，这个分组过程并非拍脑袋决定，而是同时生成每个小块的"语义提示向量"——可以理解为给每本书贴上一个内容摘要标签。系统按照这些标签重新排列所有图像块，让语义相近的块挨在一起，然后沿着这条重新排列后的序列进行扫描处理。这样，原本相隔甚远但"语义相关"的区域——比如同一栋楼的不同角落——就能在信息传递过程中彼此"认识"、互相参考，从而在恢复时保持一致性。

这种非均匀扫视方式还有一个精妙的设计：在不同的网络层之间，扫描方向会交替翻转。这样一来，原本具有方向性的单向扫描，就能在全局范围内产生"无方向偏见"的理解效果，既考虑到图像左边对右边的影响，也考虑到右边对左边的影响。消融实验中，去掉语义提示向量后，系统在GoPro数据集（专业去模糊测试标准之一）上的峰值信噪比（衡量图像质量的指标，数值越高图像越清晰）从34.72 dB降到了34.15 dB；去掉语义分组功能则降到了34.21 dB；彻底移除整个SDSSM，数值更是跌至33.95 dB，还同时增加了参数量和运行时间——这说明SDSSM在提升效果的同时，反而带来了更高的计算效率。

研究者还专门绘制了"令牌路由图"来可视化SDSSM的工作状态。从图中可以清楚地看到，平滑的天空或墙面区域被统一分配到少数几个主要类别，而纹理丰富的树丛、建筑边缘则激活了更多样化的类别标识。这正是语义感知的体现：系统自己学会了区分什么是"需要特别对待的复杂区域"。

三、双频解析：像视网膜一样分工处理细节与结构

鹰的视网膜有一个非常特别的结构：中央的"中央凹"区域密布感知高频细节的锥细胞，负责锁定猎物的精确轮廓；而外围的视网膜则拥有更多感知低频宏观信息的杆细胞，负责把握整体环境。这种分工让鹰能够同时保持对细节的敏锐和对全局的把握。

CogSENet中的BFFB（双频融合块）正是这种分工思想的技术实现。每当图像特征经过这个模块，系统会先用一种叫做"小波变换"的数学工具把特征分解成两部分：低频分量（类似图像的骨架，决定整体形状和亮度分布）和高频分量（类似图像的毛发，决定纹理细节和边缘锐度）。

分解之后，这两部分走向不同的处理通道。低频分量进入一个轻量级的U形网络模块，专门负责维护和恢复全局结构，确保去模糊后的建筑还是那栋建筑，人脸还是那张脸。高频分量则进入密集卷积网络，专门负责增强和精细化局部纹理细节，让树叶的脉络、衣物的纹路都能清晰重现。

与此同时，BFFB还有一条并行处理通道，直接在频率域（傅里叶变换后的世界）对整体特征进行自适应滤波。这就像给图像做了一次精准的音频均衡处理——不需要的频率成分（比如模糊造成的噪声）被压制，有用的频率成分被保留和强化。最后，两个通道的处理结果通过一个可以自学习的权重参数β来动态融合，系统会根据当前图像内容自动决定更偏重哪个通道的输出。

消融实验同样验证了这个设计的价值。去掉显式的高低频分离后，性能降至34.01 dB；去掉隐式频率精炼通道，降至34.15 dB；彻底移除BFFB，则进一步降至33.92 dB。这组数据说明，两个通道各有其不可替代的价值，缺一不可，而且BFFB带来的性能提升相当显著，但增加的参数量和计算时间却极为有限。

在实践中，CogSENet有两种配置：轻量版（Our）在整个骨干网络中全部使用简化版BFFB（LightBFFB），LightBFFB用平均池化来快速分离高低频，更节省计算资源；加强版（Our+）在骨干网络里仍然使用LightBFFB，但在网络最深的瓶颈层引入完整版BFFB（FullBFFB），以增强最关键位置的表达能力。

四、连续模糊场与语义记忆：理解模糊才能消除模糊

前面两个模块（SDSSM和BFFB）负责的是图像特征的处理方式，而CogSENet的第三个核心创新，则是在更根本的层次上：如何理解模糊本身。

大多数去模糊方法要么完全不管模糊是什么样的（盲目处理），要么假设整张图的模糊是均匀一致的（离散核假设）。但真实世界里的运动模糊复杂得多：一张照片里，快速移动的汽车产生横向拖影，而旋转的风扇叶片产生弧形拖影，远处的背景可能几乎没有模糊。用同一个简单模型来描述这些千变万化的模糊，注定力不从心。

CogSENet的解法是估计一个"连续模糊场"（CBF）。具体来说，系统用一个轻量级的卷积网络分析输入的模糊图像，输出一个与图像等大的二维向量场——每个像素位置都有一个二维向量，表示该位置的模糊方向和程度。为了让这个向量场的数值保持稳定、不会出现极端值，系统还用了双曲正切函数（tanh）进行归一化，并乘以一个最大位移系数来控制模糊量级的范围。

这个连续模糊场只在网络最深的"瓶颈层"（整个编解码网络最核心、分辨率最低但语义最丰富的位置）注入一次。在这里，模糊场被编码成特征向量，与瓶颈层的特征图拼接后，经过一个轻量级1×1卷积层融合，产生"模糊感知描述子"。

与此同时，来自CLIP的语义知识在这里汇合。CLIP是一个由大规模图文对训练出来的视觉-语言模型，它对图像内容有极强的高层次理解能力。在CogSENet里，CLIP被彻底冻结（不参与训练，不更新参数），纯粹作为外部知识库提供语义向量。系统从这个语义向量出发，通过余弦相似度计算，在整个特征图的每个空间位置上寻找"哪些区域的特征与高层语义最相关"，从而生成一张空间注意力图。

最后，这张注意力图用于对原始瓶颈特征进行"残差门控调制"——用一个初始为零、慢慢学习的标量参数γ，控制注意力调制信号的引入程度。这种设计非常巧妙：训练初期γ接近零，系统的行为几乎和没有这个模块一样稳定；随着训练推进，γ逐渐增大，系统开始越来越多地利用物理模糊信息和语义信息的联合指导。这就像一个初学者，先扎实掌握基本功，再慢慢引入更高级的技巧，避免一开始就被复杂信号干扰。

消融实验对这个模块的效果也做了细致拆解。在GoPro数据集上，只用CBF（不用CLIP）时，性能为33.80/0.9668（PSNR/SSIM）；只用CLIP（不用CBF）时，为33.78/0.9667；同时用CBF和CLIP但不用完整联合调制方案，为33.88/0.9673；而使用完整CogSENet时，达到34.31/0.9719。这组数据清楚地表明，物理模糊先验（CBF）和高级语义知识（CLIP）各自的贡献有限，但两者联合调制产生的协同效应远超简单相加——它们是高度互补的关系。

可视化分析进一步揭示了联合调制的工作机制：模糊场和模糊量级图在空间上与图像结构高度对齐，在模糊严重的区域自动给出更高的模糊强度值，而不是千篇一律地处理整张图像。CLIP语义引导的注意力图则会突出那些含有丰富语义内容的高频结构区域（比如建筑窗户、文字边缘），同时抑制对平坦无信息区域的过度关注。

五、实验成绩：数字说明一切

CogSENet在多个标准测试集上展开了系统性评测，覆盖运动去模糊、去雨、去雾和去噪四类任务。

在最具代表性的GoPro运动去模糊数据集上，8.9M参数量的轻量版CogSENet（Our）达到34.72 dB PSNR和0.9744 SSIM，超越了拥有16.6M参数的FFTformer（34.21 dB）以及17.1M参数的EVSSM（34.51 dB）。加强版（Our+，19.4M参数）进一步提升至34.91 dB和0.9757 SSIM，成为所有对比方法中的最优。要理解这个数字的意义：每提升1 dB大约相当于图像质量肉眼可见的一个层次提升，而以更少参数实现更高性能，意味着系统在实际部署时更轻巧、更省资源。

参数量超过150M的AdaRevD达到了34.50/0.9710，而Our+仅用其八分之一的参数便超过了它——这种效率优势在实际应用中意义重大。

在HIDE数据集（一个专注于人体运动模糊的测试集，用GoPro数据训练后跨数据集测试）上，Our和Our+分别达到32.18/0.9514和32.42/0.9533，同样位居前列。在更贴近真实拍摄场景的RealBlur数据集两个子集上，Our在RealBlur-R上达到41.83/0.9799，在RealBlur-J上达到34.54/0.9473；Our+在两个子集上均进一步提升，体现了对真实世界复杂模糊的强健适应能力。

在去雨任务中，CogSENet在轻度雨（Rain100L）上达到39.02 dB，与最先进方法相当；在难度更大的重度雨（Rain100H）上达到32.15 dB，仅比最优方法低0.02 dB，但SSIM（0.9099）超过了所有对比方法，并且比知名的Restormer高出整整0.69 dB。在去噪任务中，随着噪声强度的增加（从σ=15到σ=25再到σ=50），CogSENet的优势越来越明显：在σ=25时达到31.50/0.8931，σ=50时达到28.29/0.8062，均为所有对比方法中的最高或并列最高。在去雾任务中，CogSENet在SOTS数据集上达到28.72/0.9692，超越第二名MPRNet的28.21/0.9672，以0.51 dB的明显差距领先。

视觉效果上，在GoPro测试图像中，竞争方法往往在细微结构和高频区域留下残余模糊痕迹，而CogSENet恢复出了更干净的边缘和更锐利的局部纹理。在RealBlur图像中，尤其是文字和建筑轮廓区域，其他方法仍然存在过度平滑的问题，而CogSENet保持了更清晰的边界和更忠实的结构还原。

六、诚实的局限性：这只"数字鹰"也有盲区

任何技术都有其边界，研究者在论文中也坦诚指出了CogSENet的局限。当运动模糊极为剧烈，以至于图像中几乎所有可辨认的语义线索都被完全抹去时，冻结的CLIP编码器就无法提取出有效的语义信息。在这种极端情况下，联合调制模块退化为近乎均匀的注意力分布，失去了精准引导的能力；与此同时，连续模糊场也可能无法准确捕捉极度复杂的局部运动轨迹，导致最终恢复结果仍然存在残余模糊或纵向条纹伪影。

研究者在论文的失败案例分析（图7）中展示了这类场景，图中可见极速人群图像的还原效果明显不如普通运动模糊场景。这种诚实的自我评估对于了解技术边界、指导未来改进方向非常有价值。研究者也明确指出了两条未来改进方向：一是引入对降质图像更鲁棒的语义提取器，替代现有的冻结CLIP；二是将整套架构扩展到视频去模糊任务，因为视频帧间信息可以为极端模糊场景提供额外的时序线索。

七、整体设计哲学：从被动像素处理到主动语义理解

把CogSENet放到更大的背景下来看，它代表的是图像复原领域的一次思维方式的转变。过去的方法，无论是卷积神经网络还是注意力机制，本质上都在做"被动的像素回归"——给定一张模糊图，通过大量数据训练，让系统学会把它映射成清晰图。这个过程里，系统并不知道自己在处理什么内容，也不知道模糊的物理来源是什么，更不知道哪些区域在语义上更重要、更值得精细恢复。

CogSENet的核心理念是：把图像复原从"被动的像素映射"提升为"主动的、语义对齐的重建过程"。系统不仅要学会怎么处理像素，更要理解它在处理什么——是一栋楼还是一片天空，是人脸还是地面——然后根据这种理解动态调整处理策略。这种思路上的转变，使得系统在面对真实世界复杂、非均匀的降质时，表现出更强的适应性和鲁棒性。

这项思路不仅仅对去模糊任务有价值。实验结果显示，同一套架构在去雨、去雾、去噪三个完全不同的图像复原任务上都取得了有竞争力的成绩（去雾任务只需禁用模糊场分支）。这说明语义感知与频率分解的组合是一种具有广泛适用性的图像复原基础框架，未来可能在更多复原场景中发挥作用。

归根结底，CogSENet做的事情，是把一个工程问题（图像去模糊）重新包装成一个认知科学问题（如何像有智识的视觉系统一样理解并复原图像）。鹰不只是"看到"猎物，它"理解"猎物在哪里、如何移动，然后精准出击。CogSENet的雄心，也在于此。

对这项研究感兴趣的读者，可以在arXiv平台上通过编号2606.30030检索到完整论文，里面包含了更详细的数学推导、实验设置说明和更多可视化分析，对于想深入了解技术细节的朋友来说是非常好的资料。

---

Q&A

Q1：CogSENet去模糊系统为什么要参考鹰的视觉系统来设计？

A：鹰拥有地球上最锐利的视觉之一，它能主动扫视目标、视网膜分区处理细节与宏观信息、持续调节焦距，还能对比记忆中的清晰图像。这四种机制恰好对应了去模糊中的四个核心难题：如何理解图像内容、如何分别处理纹理和结构、如何建模空间变化的模糊、以及如何引入高层语义知识。因此研究团队以鹰的视觉为蓝图，将四种生物机制分别转化为系统的四个技术模块。

Q2：CogSENet中的CLIP模型是什么，它在去模糊中起什么作用？

A：CLIP是一个由海量图文对预训练的视觉-语言模型，具有很强的图像内容理解能力。在CogSENet里，CLIP的参数完全冻结，不参与训练，仅作为外部知识库。它负责从模糊图像中提取高层语义向量，再与系统估计的连续模糊场共同作用，生成空间注意力图，引导网络优先在语义重要的模糊区域投入更多复原资源，避免过度处理平坦无信息的区域。

Q3：CogSENet的连续模糊场和传统的模糊核估计有什么区别？

A：传统方法通常假设整张图使用同一个固定形状的模糊核，或者在有限几个位置估计离散的模糊核，无法反映真实照片中模糊因位置不同而千变万化的特性。连续模糊场则为图像中的每一个像素位置单独估计一个二维向量，描述该位置的模糊方向和程度，形成一张与图像同等大小的密集向量图。这样可以精确刻画同一张图里同时存在多种不同模糊的复杂情况，是从离散估计到连续建模的本质性跨越。