本篇介绍一款开源的AI技术(2021年发布的),可以帮助你修复老旧照片,让你重温昔日美好瞬间!
(资料图片仅供参考)
在线免费体验网站:https://huggingface.co/spaces/akhaliq/GFPGAN
什么是GFPGAN因为这个模型比较大,需要大量的计算资源,特别是GPU资源,而且还是免费的,所以不知道什么时候会被关闭。现在用的人少,所以这个在线体验还能免费用。
实现该修复背后用的是GFPGAN算法。GFPGAN 是腾讯开源的人脸修复算法,它利用预先训练好的面部GAN(如StyleGAN2)中封装的丰富和多样的先验因素进行盲脸(blind face) 修复,旨在开发用于现实世界人脸修复的实用算法。
https://github.com/TencentARC/GFPGAN
演示挑选了一张老旧照片,看看修复效果如何。
特地挑了一张巨模糊的照片。
修复后的效果:
那么 GFP-GAN 如此强大的效果是怎么实现的呢?研究人员受到 StyleGAN2 的启发:
既然 GAN 已经能生成如假乱真的图片,那么它所包含的面部信息,是不是也能帮助人脸修复呢?由此,在 GFP-GAN 的模型框架中,主要用到了一个退化清除模块和一个预训练的 GAN 作为先验。
两个模块通过隐编码映射和多个信道分割空间特征变化层(CS-SFT)连接。
训练过程中,首先要对低质量人脸进行降噪等粗处理,然后保留面部信息。
在保真度方面,研究人员引入了一个面部损失( Facial Component Loss),判断哪些细节需要提升保留,然后再用识别保留损失(Identity Preserving Loss)进行修复。
最近大火的AI绘图领域的Stable Diffusion也是用到了GFPGAN。参考下面的依赖包文件第六行 https://github.com/AUTOMATIC1111/stable-diffusion-webui/blob/master/requirements.txt