计算机视觉

超分辨率(super-resolution)

/ SOO-per rez-uh-LOO-shun /

超分辨率把一张又小又模糊的图像,变成一张更大、更清晰、像素更多的版本。粗暴的放大只是把每个像素拉伸成一个模糊的方块;超分辨率则不同,它会凭空造出以假乱真的精细细节——更利落的边缘、貌似合理的纹理——而这些在原图里并不存在。现代方法的训练方式,是拿清晰的照片缩小,再学着把缩小这个过程逆转回去,于是模型吸收了「真实的细节通常长什么样」,并把它重新画回去。

这确实很有用。它能挽救老旧的低分辨率照片和视频,让相机捕捉到比其传感器真正能分辨的更多的表观细节,锐化医学和卫星影像,还能让流媒体服务只传一个小文件、再在你的设备上放大。当缺失的细节在统计上是可预测的——皮肤的毛孔、砖块的纹理、树叶——结果可以看起来比输入好得惊人,而对于日常照片来说,这往往正是人们想要的。

这里有一句怎么强调都不为过的警告:那些添上去的细节,是貌似合理的,而非被恢复出来的。从未被捕捉到的信息无法被找回;模型只是在对「那里原本大概有什么」做一次有根据的猜测。通常是个不错的猜测——但它会产生幻觉。最臭名昭著的例子是人脸:一个放大器可以把一张模糊的面部照片变成一张清晰、自信、却根本不是真人的脸。这正是为什么超分辨率在法医身份鉴定、从监控录像里读车牌,或任何「造出来的像素可能被误当作证据」的场合里,绝不可被信任。电视剧里那句「放大!增强!」,严格来说,是不可能的。

把一张100×100的砖墙缩略图放大到400×400,效果很好——模型知道砖块该长什么样,便填上了可信的灰缝。但若同样地去放大一张只有20像素宽的模糊人脸,你得到的是一张清晰、貌似合理的人——他可能和当时实际在场的那个人毫无相似之处。

对纹理很在行,对身份却危险:那些细节是造出来的,不是恢复出来的。

超分辨率造出的是貌似合理的细节;它并不能恢复已丢失的信息。电视剧里那套「增强」的把戏在严格意义上是不可能的,被放大的人脸或车牌也绝不能用作法医证据——模型可能给出一个清晰、自信、却完全错误的结果。

又称
image upscalingSR超分辨率超解析度图像超分upsampling