TPAMI 2025 | 全新 BIPNet 框架：自适应渐进上采样，让 burst 图像恢复实现质的飞跃

点击上方“小白学视觉”选择加星标或“置顶” 重磅干货第一时间送达在智能手机摄影愈发普及的当下小尺寸传感器、有限的光学器件等硬件短板始终制约着手机成像质量——噪声、低分辨率、暗光下细节丢失等问题成为用户拍摄高质量照片的拦路虎。而突发摄影快速连续拍摄多帧照片再融合被视为弥补硬件缺陷的关键方向。近期一篇发表于TPAMI 2025的论文提出了名为BIPNet的统一网络框架在突发超分辨率、低光增强、低光超分、去噪等多个任务上实现性能领先为手机端图像恢复与增强带来了新突破。论文信息题目 Burst Image Restoration and Enhancement突发图像恢复与增强作者 Akshay Dudhane, Syed Waqas Zamir, Salman Khan, Fahad Shahbaz Khan, Ming-Husan Yang核心痛点突发图像处理的三大难题突发图像处理的核心目标是融合多帧互补信息生成高质量图像但实际落地面临三大挑战帧间对齐难拍摄时的相机抖动、物体运动会导致帧间空间/色彩错位直接引发重影、拉链伪影现有显式运动估计方法如光流不仅参数量大还易积累误差特征融合不灵活传统后期特征融合机制限制了多帧间信息交互无法充分利用各帧的互补特性上采样效果差单阶段上采样方式难以兼顾去噪与细节保留易丢失高频信息或引入伪影。针对这些问题论文提出了BIPNet通过三大核心模块统一框架系统性解决上述痛点。方法总览BIPNet的整体架构BIPNet的核心思路是先对齐、再融合、最后渐进式上采样整体流程如图1所示主要分为三个阶段边缘增强特征对齐EBFA处理输入RAW突发帧完成去噪、特征提取与帧间精准对齐伪突发特征融合PBFF跨帧交换通道信息生成包含所有帧互补特性的伪突发特征自适应分组上采样AGU渐进式分组上采样伪突发特征自适应融合多帧信息输出高质量图像。图1BIPNet整体架构示意图关键模块解析从对齐到上采样的层层突破1. 边缘增强特征对齐模块EBFA精准对齐保留高频细节帧间对齐是后续所有操作的基础EBFA模块图2创新性地结合“特征去噪隐式对齐边缘增强”解决传统对齐方法的弊端。图2(a) EBFA模块整体结构(b) 特征处理子模块首先通过特征处理模块降低RAW数据的噪声采用残差中的残差学习全局上下文注意力既能保留低频信息又能捕捉长距离像素依赖有效净化初始特征。 随后利用可变形卷积隐式学习帧间偏移无需预训练光流模块完全融入端到端学习流程同时引入反投影操作计算对齐特征与参考帧的残差并回补强化高频边缘信息即便帧间错位严重也能实现精准对齐。2. 伪突发特征融合模块PBFF打破帧间信息壁垒传统后期融合机制难以实现灵活的帧间信息交换PBFF模块图3(a)则另辟蹊径将所有对齐后特征的对应通道拼接通过卷积生成“伪突发特征”——每个伪突发特征图都包含所有原始帧的互补属性相当于让每帧特征都“吸收”了其他帧的优势实现充分的帧间信息交互。 为进一步提取伪突发的深度特征作者还引入轻量级U-Net结合前文的特征处理模块挖掘多尺度信息。3. 自适应分组上采样模块AGU渐进式融合兼顾质量与效率上采样是图像重建的最后一环AGU模块图3(b)摒弃单阶段上采样采用三级渐进式×2上采样策略 将伪突发特征分成若干组为每组计算像素级密集注意力图图3(c)自适应调整各帧融合权重——无纹理区域用均匀权重降噪错位帧降低权重避免重影再通过转置卷积完成上采样逐级放大特征的同时持续融合互补信息。 这种设计既能利用多帧亚像素信息又能灵活适配不同区域的重建需求大幅提升上采样图像的细节与纯净度。图3(a) PBFF模块(b) AGU模块(c) 特征组上采样单元实验验证多任务全面领先轻量版兼顾效率作者在合成与真实数据集上对BIPNet的突发超分辨率、低光增强、低光超分、去噪四大任务进行了全面验证结果均显著优于现有方法。1. 突发超分辨率画质与效率双优在SyntheticBurst合成和BurstSR真实数据集上的×4超分实验中BIPNet相比此前最优的MFIR方法分别实现0.37 dB、0.16 dB的PSNR增益表1。视觉上图5BIPNet重建的图像纹理更清晰无斑点伪影和颜色失真即便是×8超分图6也能恢复丰富细节。表1突发超分辨率任务的PSNR对比越高越好图5SyntheticBurst数据集×4超分视觉对比BIPNet细节更清晰图6×8超分视觉结果BIPNet无伪影且细节丰富为适配手机端部署作者还提出BIPNet-16/32轻量级版本图4BIPNet-32参数减少73%、计算量降低81%推理时间仅45.85msPSNR仍高于DBSRBIPNet-16更是将推理时间压缩至36.16ms参数仅0.5M兼顾效率与性能。图4轻量级BIPNet与现有方法的PSNR、推理时间、计算量对比2. 低光增强与低光超分暗光场景表现亮眼在SID数据集的低光增强任务中BIPNet相比最优方法实现2.83 dB的PSNR提升表2视觉上图8能有效提亮暗区同时保留真实色彩与细节扩展至低光超分任务×4时BIPNet同样大幅领先DBSR、MFIR等方法表3、图9解决了单帧低光超分信息不足的问题。表2低光增强任务PSNR对比图8低光增强视觉对比BIPNet提亮更自然无过曝/噪点表3低光超分任务PSNR对比图9低光超分视觉结果BIPNet细节更丰富噪点更少3. 突发去噪对未知噪声泛化性强在灰度/彩色突发去噪任务中BIPNet即便面对训练中未见过的高噪声水平增益∝8仍表现优异灰度去噪比MFIR高0.91 dB彩色去噪高0.58 dB表4、表5视觉上图10重建图像更干净无残留噪点和模糊。表4灰度突发去噪PSNR对比表5彩色突发去噪PSNR对比图10突发去噪视觉对比BIPNet去噪更彻底细节保留更好消融研究核心模块缺一不可为验证各模块的有效性作者在SyntheticBurst数据集上做了消融实验表6基线模型仅能达到36.38 dB而EBFA、PBFF、AGU等模块依次加入后最终BIPNet实现5.17 dB的大幅提升替换EBFA或PBFF为其他对齐/融合方法时性能均显著下降表7证明了核心模块的独特价值。表6各模块对超分性能的贡献表7替换核心模块后的性能对比视觉分析图11也直观证明了EBFA的对齐效果无EBFA时相邻帧与参考帧存在明显亚像素偏移加入EBFA后偏移几乎消失噪声也显著降低。图11EBFA模块对齐效果可视化左无EBFA偏移明显右有EBFA对齐精准局限性与未来方向BIPNet目前仍有一定局限其默认以第一帧为参考帧若参考帧失真严重会直接影响最终结果图12。未来可探索自适应参考帧选择机制根据帧质量动态选择参考帧进一步提升鲁棒性同时也可将核心模块扩展至更多复杂场景如动态场景、极端暗光验证其泛化能力。图12参考帧失真对结果的影响左基础帧严重失真结果差右基础帧中等失真结果优总结这篇TPAMI论文提出的BIPNet通过边缘增强特征对齐、伪突发特征融合、自适应分组上采样三大核心模块构建了统一的突发图像处理框架不仅在超分、低光增强、去噪等多任务上刷新SOTA还推出轻量级版本适配移动端。其核心创新在于打破了传统后期融合的局限实现了帧间信息的灵活交互同时通过隐式对齐渐进式上采样兼顾了对齐精度与重建质量。这一研究为智能手机等便携设备的图像恢复与增强技术提供了极具落地价值的新思路。下载1OpenCV-Contrib扩展模块中文版教程在「小白学视觉」公众号后台回复扩展模块中文教程即可下载全网第一份OpenCV扩展模块教程中文版涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。下载2Python视觉实战项目52讲在「小白学视觉」公众号后台回复Python视觉实战项目即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目助力快速学校计算机视觉。下载3人工智能0基础学习攻略手册在「小白学视觉」公众号后台回复攻略手册即可获取《从 0 入门人工智能学习攻略手册》文档包含视频课件、习题、电子书、代码、数据等人工智能学习相关资源可以下载离线学习。交流群欢迎加入公众号读者群一起和同行交流目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群以后会逐渐细分请扫描下面微信号加群备注”昵称学校/公司研究方向“例如”张三 上海交大 视觉SLAM“。请按照格式备注否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告否则会请出群谢谢理解~