琴乐大模型

琴乐大模型简介

琴乐大模型是由腾讯琴实验室和腾讯 ai Lab 联合研发的 AI 音乐大模型，具备丰富的 AI 作曲和编曲能力。只需输入中英文关键词、描述性语句或音频，琴乐大模型就可直接生成音乐。

琴乐大模型主要功能特点：

• 音乐生成：琴乐大模型能够根据用户提供的中英文关键词、描述性语句或音频输入，智能生成音乐，实现音乐的自动创作。

• 乐谱生成：除了生成音频，琴乐大模型还能生成详细的乐谱，包含旋律、和弦、伴奏和打击乐等多个轨道，为用户提供了丰富的音乐结构。

• 自动编辑：模型支持对生成的乐谱进行一系列自动编辑操作，包括续写乐谱、重新生成特定的音轨或小节、调整配器、修改乐器类型和节奏。

• 音频文本对齐：通过对比学习技术，琴乐大模型构建了一个共享特征空间，将音频标签或文本描述与音频本身进行对齐，为生成模型提供条件控制信号，增强了音乐生成的相关性和准确性。

• 乐谱/音频表征提取：模型能够将乐谱或音频转换成一系列离散的特征（token）序列，这些序列为大语言模型的预测提供了基础。

• 大语言模型预测：使用decoder-only结构，琴乐大模型通过特征预测（next token prediction）训练，预测出的序列可以转换回乐谱或音频，实现了从文本到音乐的转换。

• 音频恢复：通过流匹配和声码器技术，琴乐大模型能够将预测出的音频表征序列恢复成可听音频，增强了音频的真实感和质量。

• 音乐理论遵循：在生成音乐的过程中，琴乐大模型遵循音乐理论，确保旋律、和弦、节拍等元素符合音乐逻辑和人类审美。

琴乐大模型应用领域

• 音乐创作：为专业音乐人提供高效的作曲和编曲工具，简化创作过程中的繁琐任务。

• 教育领域：帮助学生理解和学习音乐理论，通过自动生成的乐谱进行实践练习。

• 娱乐产业：普通用户也可以通过简单操作体验音乐创作的魅力，增加互动性和娱乐性。

腾讯音乐天琴实验室面向QQ音乐、全民k歌、腾讯音乐人、酷我、酷狗等产品的多媒体与AI应用型技术研究与落地。负责的明星项目包括QQ音乐上的听歌识曲、哼唱识别、翻唱识别、歌词时间戳、臻品音质、DMEE、mv视频剪辑、字幕识别、明星识别；全民K歌上的唱歌评分、智能修音、智能音效、歌声合成；懒人畅听上的AI朗读、AI文稿；直播互动上的智能品鉴、高光识别、端云一体视频质量提升。同时还在探索元宇宙中的虚拟人技术，以虚拟形象、虚拟舞蹈、歌唱表情生成、音乐灯光秀等为核心的小天小琴兄妹虚拟人即将面世，敬请期待。

目前，琴乐大模型相关技术已经上线腾讯音乐启明星平台，用户可以免费注册体验。