AwesomeChineseLLM

Awesome Chinese LLM简介

Awesome Chinese LLM是什么？

Awesome Chinese LLM整理了开源的中文大语言模型（LLM），主要关注规模较小、可私有化部署且训练成本较低的模型。它涵盖了底座模型、垂直领域微调及应用、数据集与教程等内容，目前已收录了100多个相关资源。

Awesome Chinese LLM主要内容

常见底座模型细节概览：

• 列出了如ChatGLM、LLaMA、Baichuan、Qwen等模型的参数大小、训练token数、训练最大长度及是否可商用等信息。

模型分类：

• 文本LLM模型：如ChatGLM、LLaMA等。

• 多模态LLM模型：如VisualGLM-6B、CogVLM等，支持图像、中文和英文的多模态对话。

• 应用分类：

• 垂直领域微调：涵盖医疗、法律、金融、教育等多个领域，如DoctorGLM（医疗）、LawGPT_zh（法律）、Cornucopia（金融）等。

• LangChain应用：如langchain-ChatGLM，基于本地知识库的问答应用。

• 其他应用：如wenda（LLM调用平台）、JittorLLMs（大模型推理库）等。

数据集：

• 预训练数据集：如MNBVC（超大规模中文语料集）、WuDaoCorporaText等。

• SFT数据集：如RefGPT（生成大量真实和定制的对话数据集）、COIG等。

• 偏好数据集：如CValues（价值对齐数据集）、GPT-4-LLM等。

LLM训练微调框架：

• 如DeepSpeed Chat（一键式RLHF训练框架）、LLaMA Efficient Tuning（基于PEFT的LLaMA微调框架）等。

LLM推理部署框架：

• 如vLLM（适用于大批量Prompt输入）、DeepSpeed-MII（支持多个机器之间的负载均衡）等。

• LLM评测：

• 如FlagEval（大模型评测体系及开放平台）、C-ｅｖａｌ（中文大模型的知识评估基准）等。

LLM教程：

• LLM基础知识：如HuggingLLM（介绍ChatGPT原理、使用和应用）。

• 提示工程教程：如面向开发者的LLM入门课程、提示工程指南等。

• LLM应用教程：如LangChain中文网、OpenAI Cookbook等。

• LLM实战教程：如LLMs九层妖塔、llm-action等。

Awesome Chinese LLM的特点

• 资源丰富：涵盖了从模型、应用到数据集和教程的全方位资源。

• 分类清晰：按模型类型、应用领域、数据集用途等进行分类，方便用户查找。

• 实用性强：提供了大量可直接使用的开源模型和应用，适合不同需求的用户。

• 社区贡献：鼓励用户贡献未收录的开源资源，共同完善项目。

Awesome Chinese LLM适用人群：

研究人员：可以利用该仓库的模型和数据集进行研究和实验。

开发者：可以参考应用案例和框架进行开发和部署。

学习者：可以通过教程和文档学习LLM的相关知识和技能。