Appearance
用 Claude Code 做 LLM
从头理解大语言模型的运作原理——Transformer 架构、预训练、微调、对齐。这个模块不是教你调 API，而是教你真正搞懂 LLM 是怎么工作的，用 Claude Code 辅助完成代码实验。
这个模块讲什么
| 课次 | 主题 | 核心内容 |
|---|---|---|
| 01 | Transformer 架构 | Self-Attention、位置编码、Encoder / Decoder |
| 02 | 从零实现 GPT | 用 PyTorch 手写一个微型语言模型 |
| 03 | 预训练与微调 | 预训练目标、SFT、LoRA / QLoRA |
| 04 | RLHF 与对齐 | 奖励模型、PPO、DPO 原理 |
| 05 | 推理与部署 | 量化、KV Cache、vLLM、本地部署 |
学完你能做什么
- 读懂 Attention Is All You Need 这篇论文
- 用 PyTorch 从零写一个可训练的语言模型（类 GPT-2）
- 对开源模型（LLaMA / Mistral）做 LoRA 微调
- 理解 RLHF / DPO 对齐的流程和本质区别
- 在本地部署量化模型，理解推理优化手段
关键概念速查
| 概念 | 一句话解释 |
|---|---|
| Self-Attention | 让每个 token 看到序列中其他所有 token |
| Transformer | 纯注意力机制的 Encoder-Decoder 架构 |
| 预训练 | 在海量文本上做下一个 token 预测 |
| SFT | 用标注数据微调，让模型学会指令跟随 |
| LoRA | 低秩适应，用极少参数做高效微调 |
| RLHF | 用人类反馈的奖励信号做强化学习对齐 |
| DPO | 直接偏好优化，RLHF 的简化替代方案 |
门槛说明
这是课程里最硬核的模块。代码部分由 Claude Code 负责——但要真正理解 LLM 原理，你需要投入时间消化数学概念（矩阵乘法、softmax、梯度）。高中数学程度足够，但没有捷径。
只想「用 AI 做东西」不想深挖原理的同学，可以先学「做 Agent」模块。
- 安装 PyTorch（有 GPU 更好，CPU 也能跑实验）