LLM TRAINING · A FIELD GUIDE

大模型理解
六站学习地图

不需要技术背景。走完这条路线,「预训练 / 微调 / RLHF、token、上下文窗口、幻觉」这套技术人的词汇表,你就都能接住了。

甲维
斯机
0 / 0
资料已完成 · 进度自动保存
十八分钟,先看懂全景 约 20 分钟

最零门槛的入口。手绘动画把「生成式 AI 是什么、怎么工作、能干什么」一口气画完,先在脑子里搭个粗框架,后面所有细节都有地方挂。

Generative AI in a nutshellHenrik Kniberg
全程手绘动画,语速平缓,是英语圈转发量最高的入门视频之一。
视频 · 18 minB 站可搜中字版
前往 →
一小时预告片 约 1 小时

Karpathy(OpenAI 创始成员)的经典科普。核心比喻只有一个:训练大模型就像压缩整个互联网。这个比喻会跟着你走完全程。

Intro to Large Language ModelsAndrej Karpathy · 2023
一小时讲清 LLM 是什么、怎么训练、往哪去。第四站那部大片的预告片。
视频 · 1 hB 站可搜中字版
前往 →
文字打底 约 1–2 小时

视频建感觉,文字建结构。这篇的标题就是承诺:不用数学,不用行话。词向量、注意力机制,全部用日常类比讲明白。读完可以收藏起来反复查。

Large language models, explained with a minimum of math and jargonTimothy B. Lee & Sean Trott
当年在英语圈刷屏的一篇,专为「想懂原理的非技术读者」而写。
长文
前往 →
主菜 · 训练三部曲 3.5 小时 · 建议分三次

整条路线的核心。Karpathy 明确说这是拍给普通大众的:从互联网原始文本讲到你手机里的 ChatGPT,把预训练(灌知识)→ 监督微调(学会当助手)→ 强化学习(学会讨人喜欢 + 推理)完整走一遍,顺带讲透幻觉的根源、模型为什么数不清 strawberry 里有几个 r。看完这部,你和技术人员对话的逻辑框架就齐了。

Deep Dive into LLMs · 第一次观看Andrej Karpathy · 2025
看开头到预训练部分:数据从哪来、token 是什么、「压缩互联网」具体在压什么。
视频 · 约 70 minB 站可搜中字版
前往 →
Deep Dive into LLMs · 第二次观看
看监督微调部分:基座模型怎么被「调教」成一个助手,人类标注在其中干了什么。
视频 · 约 70 min
前往 →
Deep Dive into LLMs · 第三次观看
看强化学习到结尾:RLHF、推理模型,以及幻觉、工具使用这些「怪癖」的根源。
视频 · 约 70 min
前往 →
亲手摸一摸模型内部 约 40 分钟

前面是听讲,这一站是动手。三个可视化作品,把抽象概念变成看得见摸得着的东西——玩十分钟胜读十页。

Generative AI exists because of the transformerFinancial Times
滚动交互图解:词怎么变成向量、注意力怎么工作。非技术可视化科普的天花板,也是公众号选题的「制作参考样本」。
交互页
前往 →
LLM VisualizationBrendan Bycroft
把一个小型 GPT 的内部做成 3D 模型,数据流过每一层的过程全部可见。
3D 交互
前往 →
Transformer ExplainerGeorgia Tech
浏览器里跑一个真的 GPT-2:输入一句话,实时看它怎么算出下一个词的概率。
在线实验
前往 →
深读一篇,完成闭环 约 2–3 小时 · 选修

Wolfram 的长文从「每次只预测下一个词」这个最根本的事实出发层层展开,比前面所有材料都深一步,但依然不需要技术背景。读完它,你对大模型的理解就从「听懂了」升级为「能讲给别人听」。

What Is ChatGPT Doing … and Why Does It Work?Stephen Wolfram
可以分几天读。每读一节,试着用自己的话复述给别人——这正是你的主业。
长文 · 选修
前往 →

毕业自测

走完六站后,逐条自问。能向一个完全不懂的朋友讲清楚,才算真的过关——讲不清的那条,回对应的站台补课。

附 · 长期订阅书架

KEEP READING

学完原理之后靠这些持续跟进。全部支持 RSS(推荐 Feedly / NetNewsWire)。带 的是核心四件套 + 视角补全,先订它们。

研究员个人博客 对标 julian.ac
Lil'LogLilian Weng · 前 OpenAI 安全副总裁
万字级领域综述,被研究者当教材读,低产而精。
julian.acJulian Schrittwieser · Anthropic
起点站。AlphaGo/MuZero/AlphaProof 核心作者,观点鲜明。
InterconnectsNathan Lambert · AI2
开源模型生态「驻场记者」,RLHF 与开源权重第一信源。
karpathy.aiAndrej Karpathy
更新不定期,每篇能定义行业话语(Software 2.0)。
把 ML/LLM 真正落地到生产系统的一手经验。
Ahead of AISebastian Raschka
每月精读最新论文并做技术拆解。
大局观与预测 乐观派和冷水派一起读
Don't Worry About the VaseZvi Mowshowitz
每周消化全 AI 圈动态并逐条点评,信息密度极高。
Import AIJack Clark · Anthropic 联创
周报八九年不断更,政策圈研究圈通吃,结尾附 AI 科幻小小说。
AI 进展的定量预测:算力、数据、scaling。
AI Snake OilNarayanan & Kapoor · 普林斯顿
专门泼冷水戳穿炒作,与乐观派构成对照组。
Astral Codex TenScott Alexander
理性主义旗舰,写 AI 必刷屏(AI 2027 情景推演)。
顶级深度访谈 + 高质量文字稿。
商业 · 产业 · 应用 热度最高的一批
StratecheryBen Thompson
英语科技商业评论第一人,Aggregation Theory 发明者。
One Useful ThingEthan Mollick · 沃顿教授
普通人和组织怎么用前沿模型,篇篇基于亲手实验。
SemiAnalysisDylan Patel
芯片/算力产业最硬核分析(核心内容付费)。
Latent Spaceswyx & Alessio
「AI 工程师」一词的发源地,模型与产品之间的工程层。
The BatchAndrew Ng 团队
周报,每期附吴恩达亲笔信,视角平和稳健。
Understanding AITimothy B. Lee
把技术进展写给聪明的普通读者(第三站作者)。
超出 AI 的顶级工程博客 独特洞察密度最高
HN 连续三年最受欢迎博主,「AI 工具实际能干什么」最诚实的测评者。只订一个就选它。
Gwern
一篇文章写十年持续修订,Scaling 假说最早公开论述者之一。
用实测数据推翻工程圈想当然的结论,低产篇篇经典。
底层系统知识讲得极清楚,配手绘漫画,风格独一份。
AI 安全与对齐讨论大本营,许多出圈概念的发酵地。