【CVPR26-杜克大学】超越真值约束：利用图像质量先验实现真实场景图像修复

张开发
• 2026/4/9 10:41:20 • 15 分钟阅读

最新文章

推荐文章

相关文章

分享文章

【CVPR26-杜克大学】超越真值约束：利用图像质量先验实现真实场景图像修复
Beyond Ground-Truth: Leveraging Image Quality Priors for Real-World Image Restoration代码https://github.com/fengyang1399-pixel/IQPIR单位杜克大学、清华大学、洛桑联邦理工学院一、问题背景现在的真实场景图像修复模糊人脸、暗光、水下、背光图修复几乎都依赖标准答案图Ground-Truth监督训练。但这个模式有两个致命问题标准答案图本身质量参差不齐AI只能学到平均画质修不出顶级高清效果只挑高质量图训练会丢失数据多样性容易修出伪影、失真直接用画质分数优化容易出现“分数高、看着假”的过度优化问题传统码本模型虽然稳定但完全依赖不完美的标准答案没法主动追求人眼最舒服的高清质感。二、方法创新作者提出了一套叫IQPIR的全新框架核心是用“画质先验”代替死磕标准答案三大创新点画质条件Transformer把无参考画质评价NR-IQA的分数当作条件输入让AI直接朝着“满分画质”去修即插即用不改动原有模型结构。双码本结构普通码本学图像通用轮廓、结构高清码本专学发丝、纹理等顶级细节 两者融合兼顾结构准确与质感高清。离散空间画质优化用码本的离散表示限制输出空间解决连续空间里“分数高、图像假”的过度优化让分数高真的好看。三、实验结果IQPIR在四大真实场景任务中全面登顶SOTA盲人脸修复在LFW、WebPhoto、WIDER数据集上各项画质指标全部第一用户打分最高暗光图像增强PSNR、SSIM领先FID、BIQE更低视觉更干净自然水下图像增强清晰度、色彩还原优于现有模型UIQE、UIQM指标最优背光图像修复细节保留完整颜色失真最小同时把IQPIR集成到其他主流修复模型WaveFace、Interlcm、Reti-Diff等都能带来2%~7%的稳定提升。四、优势与局限核心优势不依赖完美标准答案主动追求最高感知画质即插即用可无缝增强现有图像修复模型双码本离散优化兼顾结构准确与真实质感泛用性强人脸、暗光、水下、背光全场景适用局限画质先验来自现有NR-IQA模型会继承其评价偏差对超极端退化、极低质图像的修复稳定性仍有提升空间五、一句话总结IQPIR抛弃对不完美标准答案的依赖用画质先验双码本让AI直接学会“审美修图”在真实场景图像修复中实现更清晰、更自然、更贴合人眼观感的效果还能轻松赋能现有模型。

更多文章