YAYI2

YAYI2简介

YAYI2，中科闻歌研发的一款新一代开源大语言模型，其中文名为“雅意”。该模型包含 Base 和 Chat 版本，参数规模达到 30B，基于 Transformer 架构构建。

YAYI2采用了超过 2 万亿 Tokens 的高质量、多语言语料进行预训练。针对通用和特定领域的应用场景，我们采用了百万级指令进行微调，同时借助人类反馈强化学习方法，以更好地使模型与人类价值观对齐。

YAYI2雅意核心能力

• 中文知识问答：AGIEval、CMMLU评测第一，MMLU第二

• 信息抽取：零样本中文实体抽取达SOTA，英文对标ChatGPT

• 多模态交互：图文互生成、PDF解析、网页实时理解

• 角色扮演：支持上万种自定义角色，超长轮对话关联

YAYI2雅意技术架构

• 300亿参数规模，支持128k超长上下文（约20万字文本处理）

• 从头预训练实现，全自主知识产权，兼容华为昇腾等国产GPU

• 训练数据包含2.65万亿Tokens，源自200TB原始数据经1000多道清洗工序提炼

• 支持中英等10+语言，中文Token压缩率国内领先

YAYI2雅意行业应用

YAYI 2 在多个垂直领域展现出非常的能力，包括媒体宣传、舆情分析、政务治理、金融分析等。此外，它还被应用于教育、财税、中医药、金融等领域，为企业提供 ai 辅助工具、知识库问答系统、AI 创作机器人等解决方案。

• 政务领域：安全信息抽取、舆情专报生成、法律智能审批

• 金融场景：财报解析、投资合规管理、宏观政策解读

• 媒体创作：多语种新闻写作、视频理解、虚拟主播生成

• 专业工具：中医智能问诊、企业知识库问答、编程语言支持

相较于Llama 2开源模型，YAYI 2在中文场景表现更好，且通过插件就可以实现计算器、天气查询等工具的调用。其安全架构强化价值观对齐，输出内容经过实时审核，适合政企敏感场景。YAYI目前已在国家部委、金融机构等落地，与华为云、北京银行等建立生态合作。

YAYI 2 提供了 Base 和 Chat 两个版本，开源的是 Base 版本，支持开发者在 GitHub 上获取代码、模型和训练数据。此外，该模型遵循 Apache-2.0 协议，允许商用和二次开发。

GitHub 仓库：https://github.com/wenge-research/YAYI2

HuggingFace：https://huggingface.co/wenge-research/yayi2-30b