LLMCourse

LLM Course简介

LLM Course是什么？

LLM Course提供了一个关于LLMs课程的集合，包含学习路线图和Colab笔记本，帮助用户从基础到高级逐步掌握LLMs的知识和应用，课程包括数学、Python编程、神经网络、自然语言处理（NLP）、LLM架构、预训练、微调、偏好对齐、评估、量化以及部署等内容。

LLM Course主要内容

LLM Fundamentals

• 数学基础：线性代数、微积分、概率和统计。

• Python编程：Python基础、数据科学库、数据处理、机器学习库。

• 神经网络：神经网络的基础知识、训练和优化、过拟合及其解决方法。

• 自然语言处理（NLP）：文本预处理、特征提取技术、词嵌入、循环神经网络（RNNs）。

LLM Scientist

• LLM架构：Transformer架构、注意力机制、采样策略。

• 预训练模型：数据准备、分布式训练、训练优化、监控。

• 后训练数据集：数据结构、存储与聊天模板、合成数据生成、数据增强、质量过滤。

• 监督微调（SFT）：训练技术、参数设置、分布式训练、监控。

• 偏好对齐：直接偏好优化（DPO）、近端策略优化（PPO）、监控。

• 评估：自动化基准测试、人工评估、模型评估、反馈信号。

• 量化：基础技术、GGUF & llama.cpp、GPTQ & AWQ、SmoothQuant & ZeroQuant。

• 新趋势：模型合并、多模态模型、可解释性、测试时计算。

LLM Engineer

• 运行LLMs：LLM API、开源LLMs、提示工程、结构化输出。

• 构建向量存储：文档加载、分割、嵌入模型、向量数据库。

• 检索增强生成（RAG）：编排器、检索器、记忆、评估。

• 高级RAG：查询构造、代理和工具、后处理、程序化LLMs。

• 推理优化：Flash Attention、键值缓存、推测解码。

• 部署LLMs：本地部署、演示部署、服务器部署、边缘部署。

• 保护LLMs：提示注入、后门攻击、防御措施。

工具和资源

• 工具：LLM AutoEval、LazyMergekit、LazyAxolotl、AutoQuant、Model Family Tree、ZeroSpace。

• 资源：3Blue1Brown视频、StatQuest教程、Khan Academy课程、Real Python教程、freeCodeCamp视频等。

项目链接

Github：https://github.com/mlabonne/llm-course

Blog：https://mlabonne.github.io/blog/