大语言模型（LLM）核心概念50问（包括专业版/通俗版）
大语言模型（LLM）核心概念50问（包括专业版/通俗版）
来源类型： 教育参考 / 知识梳理
日期： 2026-06-10
标签： [LLM, AI-fundamentals, education, technical-reference]
核心论点
系统性梳理 LLM 50 个核心概念的问答集，提供专业版和通俗版双版本。涵盖从基础架构（分词、注意力机制、上下文窗口）到前沿技术（LoRA微调、RAG、MoE混合专家模型），再到实际挑战（偏见、隐私、资源消耗）。适合作为 AI 知识框架搭建和面试准备的参考材料。
关键事实与发现
- 分词（Tokenization）：将文本拆分为 token（词/子词/字符），是 LLM 处理文本的第一步
- 注意力机制：通过 Query/Key/Value 向量计算 token 间相关性，是 Transformer 的核心
- 上下文窗口：LLM 一次能处理的 token 数量，定义了"记忆范围"（如32K token）
- LoRA：低秩适应微调，以少量参数高效调整大模型
- RAG：检索增强生成，让 LLM 在生成前检索外部知识
- MoE（混合专家模型）：多个专家子网络，按输入激活部分专家，提升效率
- 专业版面向面试准备，通俗版面向概念理解