CodeFormer 是 NeurIPS 2022 顶级会议论文提出的开源人脸修复框架,专注于解决真实世界中严重退化人脸图像的盲修复难题。通过创新的 Codebook Lookup Transformer 架构,将人脸修复任务转化为代码预测任务,利用学习到的离散代码本先验大幅降低修复映射的不确定性,在低分辨率、模糊、噪声、老化、遮挡甚至AI生成人脸等复杂场景下实现高保真度与高质量的平衡恢复。项目已在全球获得广泛认可,被集成至Hugging Face、Replicate、Stable Diffusion生态等多个平台,成为老照片修复、AI艺术修复、人脸增强领域的标杆工具之一。
核心功能
盲人脸修复:无需任何退化先验信息,即可对严重退化的人脸图像进行高质量重建,支持极端模糊、低分辨率、噪声干扰等多种真实世界退化场景,显著优于传统方法。
人脸增强与细节恢复:通过可调节保真度权重(fidelity weight 0~1),灵活平衡视觉自然度与身份保真度,小权重偏向高质量自然效果,大权重更忠实原图细节,适用于不同需求场景。
老照片修复与颜色还原:针对褪色、黑白老照片提供专业颜色化功能,结合生成式先验智能恢复真实肤色与细节,广泛用于家族相册数字化修复。
人脸局部修复(Inpainting):支持手动蒙版输入,对遮挡、破损、缺失区域进行智能填补,保持人脸整体一致性和自然过渡。
视频人脸增强:直接处理.mp4、.mov、.avi等格式视频,实现帧间一致性的人脸修复与增强,适合短视频、影视素材修复。
整图增强与背景超分辨率:集成Real-ESRGAN实现背景区域超分辨率,支持人脸区域与非人脸区域分别优化,输出完整高质量图像。
人脸裁剪、对齐与上采样:内置多种人脸检测器(含dlib、YOLOv5-face等),自动完成人脸检测、关键点对齐与可选上采样,提供标准化输入处理流程。
模块化推理与训练支持:提供灵活的推理脚本(inference_codeformer.py、inference_colorization.py、inference_inpainting.py),同时开源完整训练代码与配置文件,支持自定义数据集微调模型。
CodeFormer 项目采用PyTorch实现,代码结构清晰,已获得数万星标与大量社区集成,其在盲人脸修复领域的鲁棒性与实用性得到学术界和工业界的双重验证。无论是专业图像修复从业者、AI内容创作者还是普通用户想快速提升老照片质量,CodeFormer 都是当前最强大、最易用的开源解决方案之一。

