SkyReels-V1

SkyReels-V1简介

昆仑万维SkyReels-V1是中国首个面向ai短剧创作的视频生成模型，能够实现影视级人物微表情表演生成，支持33种细腻人物表情与400+种自然动作组合，高度还原真人情感表达。

SkyReels-V1功能特点

• 影视级人物微表情演绎：能支持33种细腻人物表情以及400多种自然动作组合，高度还原真人的情感表达。

• 电影级光影艺术：基于好莱坞级别的高质量影视数据进行训练，所生成的每一帧画面在构图、演员站位、相机角度等方面都具有电影级的质感。

• 视频生成模式多样：是开源视频生成模型中参数规模最大且支持图生视频的模型，在同等分辨率下，各项指标达到开源领域的先进水平。

• 人物视频理解能力强：作为以人为核心的视频理解多模态大模型，可提升对视频中人物相关内容的理解能力，涵盖影视化表情识别、人物空间位置感知、行为意图理解以及表演场景理解等方面。

• 推理效率极高：在自研的推理优化框架“SkyReels-Infer”助力下，推理效率大幅提高。可实现544p分辨率下，单台4090显卡推理仅需80秒，并且支持分布式多卡并行。

SkyReels-V1应用场景：

• AI短剧创作：生成具备高表演细节和电影级质感的短剧内容，有效解决传统短剧制作流程繁琐、成本高昂、周期漫长的问题。

• 社交媒体内容创作：快速产出高质量的短剧内容，增强内容的吸引力。

• 品牌广告制作：迅速生成契合品牌调性的创意短剧内容，节省制作时间和成本。

• 教育与培训：生成教育视频，以生动的方式展示课程内容。

• 娱乐与虚拟角色：创建虚拟偶像、游戏过场动画，或为直播平台提供虚拟主播内容。

SkyReels-V1使用方法

• 访问开源地址：可以访问SkyReels-V1的开源地址：https://github.com/SkyworkAI/SkyReels-V1

• 下载和安装：依照开源协议下载并安装SkyReels-V1以及其依赖项。

• 数据准备：运用自研的高质量数据清洗和人工标注管线，构建千万级别的高质量电影、电视剧、纪录片数据集。

• 模型训练和微调：基于自研的“Human – Centric”视频理解多模态大模型，对SkyReels-V1进行训练和微调，从而提升其在人物表演、场景理解等方面的能力。

• 生成视频：使用训练好的模型生成视频，支持文生视频和图生视频这两种模式。

• 优化和部署：利用自研推理优化框架“SkyReels – Infer”，对模型进行优化和部署，提升推理效率并降低资源消耗。

相关链接：

Github：https://github.com/SkyworkAI/SkyReels-V1

技术报告：https://skyworkai.github.io/skyreels-a1.github.io/report.pdf