AnyDoor

AnyDoor简介

AnyDoor，由香港大学、阿里巴巴和蚂蚁集团联合研发AnyDoor，可以将一张照片上的任何物品传送到另一张图片的世界中。

AnyDoor项目地址：https://damo-vilab.github.io/AnyDoor-Page/

AnyDoor在线演示地址：https://huggingface.co/spaces/xichenhku/AnyDoor-online

AnyDoor功能：

• 对象移动：AnyDoor 可以应用于对象移动等花哨的任务。

• 对象交换：AnyDoor 也可以扩展为进行对象交换。

• 虚拟试妆：AnyDoor还可以作为虚拟试妆的简单但强大的基准。它可以保留不同衣服的颜色、图案和纹理，而无需复杂的人工解析。

• 多主体合成:：由于 AnyDoor 具有高度可控性，可将对象放置在给定场景的特定位置，因此很容易扩展到多主题构图。

AnyDoor使用场景：

• 在虚拟试穿应用中，用户可以将选定的衣物快速定制到自己的照片中。

• 在物体移动应用中，用户可以将目标物体从一张照片移动到另一张照片中的指定位置。

• 在设计领域中，用户可以将自己设计的家具或装饰品定制到不同的室内场景中，以获得更直观的效果预览。

AnyDoor是一种基于扩散的图像生成器，能够以和谐的方式将目标物体传送到用户指定位置的新场景。 我们的模型不是为每个对象调整参数，而是只训练一次，并在推理阶段毫不费力地泛化到不同的对象-场景组合。 如此具有挑战性的零样本设置需要对特定物体进行充分的表征。 

为此，我们用细节特征来补充常用的身份特征，这些特征经过精心设计，以保持纹理细节，同时允许多种局部变化（例如，照明、方向、姿势等），支持物体与不同环境的有利融合。 我们进一步建议从视频数据集中借用知识，在那里我们可以观察到单个物体的各种形式（即沿时间轴），从而实现更强的模型泛化性和鲁棒性。 

大量的实验证明了我们的方法优于现有的替代方案，以及它在实际应用中的巨大潜力，如虚拟试妆和物体移动。