DOC软件文档百宝箱

codeformer 是什么:从开源模型到手机应用

本篇讲清 codeformer 这个名字下的两样东西:南洋理工大学团队发布的人脸修复开源模型,以及基于它做出的安卓修图应用——搜这个词的人多半想弄明白两者关系。相关文档:人脸修复怎么用.md · 老照片修复与上色实操.md


一、名字的来历:一个开源模型

CodeFormer 最早是南洋理工大学 S-Lab 团队在 NeurIPS 2022 上发表的人脸修复模型,源码挂在 github.com/sczhou/CodeFormer。它的思路是把人脸修复变成「码本序列预测」问题:先从大量人脸数据里学出一本「五官代码书」,修复重度退化的照片时,按这本书记录的人脸规律去补细节,所以对低分辨率、强噪声、严重模糊的脸也能给出比较自然的结果。

模型里有一个关键的保真度参数,取值 0 到 1:往 0 调追求更好看的修复效果,往 1 调追求更像本人,这是后面所有使用技巧的根。

二、手机上的 codeformer:把模型装进口袋

开源模型要配 Python 环境、跑在电脑上,普通人用起来门槛不低。安卓端的 codeformer 应用把它做成了中文界面的修图工具,装进手机就能用:

应用把这个保真度参数简化成了一根滑块:一端尽量保留原样,一端放开手脚深度修复,调法在人脸修复怎么用.md里有对照表。

三、三个形态,各归各位

形态适合谁门槛
手机应用想直接修相册照片、视频的人装 APK 即用,中文界面
开源项目(电脑)要批量处理文件夹、逐项调参数的人要配 Python 环境,速度看显卡
网页演示页只想先试一两张效果的人打开网页就能传图

三者修出来的东西同源,可调的自由度依次递增、上手难度也依次递增。想在手机上用的话,codeformer 人脸修复介绍站里整理了它的功能演示与安卓安装文件的获取入口。

四、合理的预期

再强的模型也有边界:破损到只剩轮廓的照片,补出来的五官属于「合理推断」;本来就清晰的照片没必要过一遍修复,反而可能被改出奇怪细节;人脸在画面里只占几十个像素时,补出的长相参考价值有限。把它当一台「数码暗房」,而不是时光机,用起来心态最稳。

同站更多