MagicColor

MagicColor简介

MagicColor是什么？

MagicColor 是由香港科技大学（广州）提出的一款基于扩散模型的多实例线稿上色框架。用户仅需上传一张黑白线稿和若干参考图像，系统便能在数秒内自动完成精准且自然的色彩填充，同时保持多个实例之间的一致性。与传统方法相比，MagicColor 实现了一步到位的上色，大大提升设计效率。

MagicColor 核心功能

• 一键式上色：用户只需提供线稿图像和参考图像，系统自动完成上色。

• 多实例处理：能够自动识别并区分线稿中的多个实例（如多个角色），并为每个实例分配合适的颜色。

• 高效生成：从上传到生成结果仅需几秒，适合快速创作场景。

MagicColor 技术原理

• 自训练策略：解决多实例训练数据不足的问题。

• 实例引导器：为每个实例提供颜色信息。

• 边缘损失与细粒度颜色匹配：提高视觉质量和颜色匹配的准确性。

MagicColor 应用场景

• 动漫制作：快速生成彩色角色图，提升创作效率。

• 游戏角色设计：高效产出符合风格的角色图像。

• 广告插图：快速生成高质量的插图。

MagicColor 优势

• 细节处理：在保持图像边缘清晰度和避免颜色混淆方面表现优异。

• 灵活性：支持多种风格的参考图像，如真人照片、动漫截图等。

• 快速生成：从上传到完成仅需几秒，节省大量时间。

MagicColor安装使用方法

一、环境搭建

1. 创建 Python 环境：

conda create -n MagicColor python=3.10
pip install -r requirements.txt

2. 克隆仓库：

git clone https://github.com/YinHan-Zhang/MagicColor.git
cd MagicColor

二、数据准备

准备数据集，格式如下：

data/
├── dir_name
├── masks/
├── dir_name.jpg  # 线稿图像
├── dir_name_1.jpg  # 参考图像 1
├── …

下载预训练权重（见 GitHub 说明）。

三、推理

运行推理脚本：

cd scripts
bash multi_ref_infer.sh

四、训练

运行训练脚本：

cd scripts
bash multi_ref_train.sh

五、交互界面

启动 Gradio 应用：

cd inference
python gradio_app.py

MagicColor可自动将黑白线稿转化为色彩鲜艳的图像，支持真人照片、动漫截图等多种风格参考图像，支持PNG 和 JPG 格式，大大提升动漫设计、游戏角色创作效率。