Unique3D

Unique3D简介

Unique3D 在 30 秒内从单视图野生图像生成高保真、多样化纹理网格，当然运行速度取决于你的硬件资源情况。

Unique3D主要功能：

• 高保真度生成：Unique3D 实现了最先进的生成保真度，可生成细致复杂的纹理和复杂的几何形状。这是通过多视图扩散模型来实现的，该模型生成正交多视图图像和相应的法线贴图。

• 效率：框架效率高，能够在30秒内生成高保真3D网格。这种效率归功于快速前馈模型和称为 ISOMER 的即时网格重建算法的集成。

• 一致性：Unique3D 通过使用多级升级流程逐步提高生成图像的分辨率，确保生成视图的一致性。 ISOMER 算法将颜色和几何先验集成到网格结果中，解决了先前方法中发现的不一致问题。

• 通用性：该框架表现出很强的通用性，在各种不同风格的野生2D图像上表现良好。大量实验证明了这一点，这些实验表明 Unique3D 在保真度、几何细节和分辨率方面优于现有方法。

• 多级升级策略：Unique3D采用多级升级策略来逐步增强生成图像的分辨率。这涉及微调多视图感知 ControlNet 并使用超分辨率模型来实现高分辨率输出。

• 法线贴图预测：为了捕捉丰富的表面细节，Unique3D 使用法线扩散模型来预测与多视图彩色图像相对应的法线贴图。这提高了几何细节的准确性，尤其是边缘处。

• ExplicitTarget 优化：为了解决多视图不一致问题并细化几何细节，Unique3D 引入了 ExplicitTarget 优化。该方法为每个顶点分配唯一的优化目标，比传统方法更稳健地指导优化方向。

Unique3D特征：

• 在 30 秒内生成高保真纹理网格。

• 5 天内仅使用 8 个 RTX4090 GPU 进行训练。

• 利用多视图扩散模型和法线扩散模型来生成多视图图像和法线贴图。

• 采用多级升级流程来提高分辨率。

• 使用 ISOMER 进行即时且一致的网格重建。

Unique3D由清华大学和AVAR Inc.的研究团队共同开发。

Unique3D官网入口：

Unique3D 在线使用：https://huggingface.co/spaces/Wuvin/Unique3D

Unique3D 项目地址：https://wukailu.github.io/Unique3D/

Unique3D Github：https://github.com/AiuniAI/Unique3D