Deep Dive into LLMs like ChatGPT by Andrej Karpathy | 大语言模型（如ChatGPT）深度解析：训练全流程、底层原理、缺陷与未来发展

https://www.youtube.com/watch?v=7xTGNNLPyMI

这篇是面向普通大众的科普视频文稿，完整拆解大模型从0到能用的全部过程，可以用学生上学整套流程来做通俗类比：

预训练 = 海量泛读课外书 ：把互联网海量网页文本清洗处理，喂给神经网络。就像学生疯狂读全网的文章、百科、新闻，不做题，只学习语言文字的行文规律、世界知识。产出叫 基座模型 ，只会自动续写文字，不会当聊天助手。

比方：基座模型≈一个看过全网海量资料，但没人教它怎么回答问题的复读机，你输入半句话，它只会顺着往下续写网页风格文字，不会听懂你的提问。

有监督微调SFT = 做带标准答案的例题 ：给模型投喂大量「人类提问+人类标注员写好的理想回答」对话样本。相当于给学生看大量“提问‑标准答案”例题，模仿人类助手说话风格，从文本续写机器变成会聊天的助手。

模型天生的各类缺陷（瑞士奶酪模型） ：模型知识就像一块满是孔洞的瑞士奶酪，绝大多数领域很强，但随机会出现低级漏洞。会幻觉编造事实；不会直接看见字母，靠token文本块处理文字；单步算力有限，不能一步算出复杂计算，要拆分多步思考；分不清自己到底知不知道某些知识。

比方：模型不是真的“懂”，本质是 超级高级的文字概率摇号机 ，根据前面一大段文字，统计摇出下一个最合理的文字片段（token），一步一步拼出完整回复。没有真正自我意识、没有记忆，每次对话都是重新启动计算。

工具使用（联网搜索、代码解释器） ：模型内部参数里的记忆是模糊回忆；把搜索结果、代码运行结果塞进上下文窗口，相当于“临时草稿纸/工作记忆”，直接读取现成资料，减少瞎编幻觉。

未来发展与现状 ：多模态（图文音频转成token统一处理）、AI智能代理、测试时学习；同时给了普通人去哪里体验各类大模型的渠道。

第（一）部分 **视频开篇引入：我们到底在和什么对话 （0%‑7%） 1 视频创作初衷与核心目标 - 这是面向普通大众的科普内容，目标是建立理解LLM（ChatGPT这类大语言模型）的思维模型；大模型既有强大魔法般能力，也有短板与很多风险坑点。 - 核心要解答的问题：聊天框背后系统是什么？输入文字之后发生了什么？生成回复原理？我们实际交互的对象本质是什么。 - 视频会完整拆解大模型整套构建流水线，同时讨论这套技术带来认知、心理学层面的引申思考。 2 整体构建流程总预告 - 搭建类似ChatGPT的模型分为多个顺序执行大阶段；第一个大阶段是预训练。

第（二）部分 **预训练第一环节：互联网数据下载与清洗处理 （7%‑22%） 1 数据集来源：Common Crawl互联网爬虫 - Common Crawl从2007年就持续爬取全网网页；2024年已经索引27亿网页；从种子网页出发不断跟随链接抓取网页原始HTML源码。是绝大多数大模型训练数据原始起点。 - HuggingFace的Fine‑Web数据集是工业级代表数据集；OpenAI、Anthropic、Google等大厂内部都有同类数据集。 2 数据集的核心目标 - 获取海量、高质量、多样性强的公开互联网文档，把世界知识装进模型；但原始爬虫数据极其脏，必须多轮过滤。Fine‑Web最终处理完仅44TB文本。 3 多层过滤清洗流水线 - URL过滤：黑名单过滤恶意网站、垃圾广告、种族仇恨、成人内容等域名，直接丢弃整站数据。 - 文本提取：剥离HTML标记、CSS、导航栏，只提取网页正文有效文字内容。 - 语言过滤：语言分类器识别网页语言；Fine‑Web只保留大于65%英文的网页；这里是产品设计选择，如果过滤掉小语种，模型对应语言能力会变差；不同厂商对多语言支持取舍不一样。 - 去重、PII个人敏感信息移除：过滤地址、社保号等个人可识别信息，删除高度重复网页内容。 4 清洗完成之后的数据形态 - 处理完成后就是大量纯互联网正文文本；Fine‑Web约15万亿token；把海量网页全部拼接，得到超长一维原始文本流，作为神经网络训练原料。

第（三）部分 **文本转为token：分词（Tokenization）原理详解 （22%‑34%） 1 为什么不能直接用字符/二进制比特输入神经网络 - 神经网络需要：固定有限符号集合 + 一维符号序列。 - UTF‑8二进制只有0/1两个符号，会让序列变得极长，算力开销爆炸；8比特字节得到256个符号，序列缩短，但仍然不够高效。 2 字节对编码BPE算法原理 - BPE反复合并出现频率最高的连续符号，创造出新ID符号；不断扩大词表、缩短总序列长度。 - GPT‑4词表大小为100277个token；token不是完整单词，是文本碎片，可以是单词、片段、标点、空格。 3 tokenizer实操演示现象 - 大小写、空格数量变化，都会改变token拆分结果；同一个单词可能拆成多个token。 - 工具：tiktoken网页工具可以可视化文本转token；token只是唯一数字ID，数字本身没有含义。 4 关键认知：模型看不见人类眼里的字母 - 大模型输入输出全部操作对象是token碎片，不是原始字符；这会后续带来拼写、计数任务的天生缺陷。

第（四）部分 **预训练核心：神经网络训练过程、Transformer架构 （34%‑54%） 1 预训练的核心任务：下一个token预测 - 从超长token序列随机截取上下文窗口（上下文窗口长度是模型超参，受算力限制）。 - 把窗口内一批token作为输入（上下文context），神经网络输出完整词表每个token的发生概率；目标：提升真实出现的下一个正确token概率，压低其他token概率。 - 模型初始化权重全部随机，一开始输出完全瞎猜；通过大量批次样本反向传播微调权重，不断降低loss损失值。loss数值代表预测好坏，loss越低预测越准。 2 神经网络参数（权重）的通俗类比 - 参数就像大量旋钮；训练就是不断拧旋钮，让模型输出贴合互联网文本统计规律；现代大模型拥有数十亿‑数千亿参数。 - 神经网络本质一套固定数学运算：乘法、加法、激活函数等；不是人脑生物神经元，无内置记忆，是无状态数学函数。 3 Transformer架构内部组件介绍 - 输入先做token嵌入：把token数字ID转为向量表示； - 内部模块：层归一化、多头注意力模块、MLP多层感知机；信息单向流动，得到输出logits，经过softmax得到每个候选token概率。 - 对比人脑生物神经元：Transformer的“神经元”非常简化；人脑是复杂动态记忆系统，Transformer只是静态数学计算。 4 训练硬件与算力成本 - 不能普通笔记本训练；需要GPU（英伟达H100），擅长矩阵并行运算；多GPU、多节点组成数据中心集群。 - 举例：GPT‑2，1.6B参数，1000亿训练token；2019训练成本4万美元，现在复刻仅几百美元。 - 训练时监控loss损失值，每轮更新使用大批量token；训练中途会跑推理，看模型生成文本质量，训练初期输出是乱码，随着step增加逐步通顺。

第（五）部分 **推理Inference：基座模型如何生成文本；GPT‑2、Llama3.1基座模型实操演示 （54%‑70%） 1 推理生成流程（采样） - 推理阶段 权重参数完全冻结，不再训练 ；用户输入前缀prompt转为token序列送入模型。 - 拿到概率分布，按概率随机采样下一个token；把新token追加回上下文，循环往复不断生成。 - 属于随机（随机种子采样），相同输入会得到不同输出；生成的文本是训练数据统计上的“混搭重混”，不会完全照搬原文，但存在记忆复述（复述训练集原文）现象。 - ChatGPT网页端全部运行推理，不会现场训练模型。 2 基座Base模型是什么，有什么特点 - 预训练结束产出就是基座模型，本质互联网文本token模拟器， 不是聊天助手 。 - 开源例子：GPT‑2、Llama3.1‑405B Base；需要两样东西才能复现：网络架构代码 + 全部参数权重文件。 3 基座模型各种实操现象演示 - 直接提问数学问题，不会正确回答，只会续写网页文本；同样prompt多次输出不一样，具有随机性。 - 知识存储：数十亿参数是互联网的有损压缩，不是完整数据库；高频信息记忆更准，低频信息模糊。 - 现象1：记忆复述：输入维基百科片段开头，基座可以大段背诵维基原文（复述regurgitation）；如果样本反复出现在训练集，模型就会记住原文。 - 现象2：幻觉虚构未来/截止时间之后信息；知识存在截止时间，对于没见过事件，按照统计猜文本，编造内容。 - 现象3：In‑context Learning上下文学习：few‑shot少样本提示，给几个示例，基座模型可以现场模仿模式完成翻译等任务，不需要改权重。 - 现象4：通过精心写prompt模拟对话格式，可以强行让基座临时扮演AI助手，但很不稳定，容易跑偏。

第（六）部分 **后训练阶段1：有监督微调SFT，把基座改造为对话助手 （70%‑82%） 1 什么是Post‑training后训练 - 预训练消耗绝大部分算力；后训练算力开销小，但决定模型能不能当好用助手；包含SFT监督微调、后续强化学习。 2 SFT监督微调原理 - 不再使用互联网文本数据集；替换为大量人类对话数据集：「用户提问‑理想助手回答」多轮对话样本。 - 算法和预训练完全一样，仍然做下一个token预测，只是训练数据换成对话；训练时间很短（几小时级别）。 - 对话不能直接喂给模型，要设计特殊协议：特殊token、分隔符，把结构化对话，序列化转换成一维token流。不同大模型对话格式协议各不相同。 3 对话数据集如何构建 - 参考InstructGPT工作；雇佣人类标注员，公司提供数百页标注指南，要求回答做到：有用、真实、无害，拒绝有害请求。 - 标注员撰写prompt，同时写出理想回复；现代数据集不完全手写，大量使用现有大模型生成初稿，人类再编辑修改；数据集可以几十万到数百万条对话。代表数据集Open‑Assistant、Ultra‑Chat。 4 SFT模型本质的通俗理解 - 模型不是产生全新智慧，是统计学模拟遵循公司标注指引的人类标注员； - 如果提问没出现在训练集，就模仿训练集里面回答的风格、模式，结合预训练学到的世界知识生成回复。

第（七）部分 **大模型的“认知心理”：幻觉成因与缓解方案 （82%‑92%） 1 幻觉Hallucination产生底层根源 - 模型只是预测下一个token的统计机器；训练数据中“who是XXX”这类提问全部附带自信完整回答。 - 即便模型内部某些神经元表征“不确定”，SFT训练没有教会模型把内部不确定性映射输出为“我不知道”，所以哪怕不认识人物，模型也会自信编造一整套答案。 2 缓解幻觉第一套方案：加入“我不知道”样本 - 方法：主动探测模型知识库；拿文档生成问题，多次提问模型，如果模型答不对，就新建对话样本，标准答案写“我不知道”。 - 把这类样本加入微调数据集；教会模型把内部不确定性状态和口头拒绝回答关联；Llama3系列使用该策略，大幅降低幻觉。 3 缓解幻觉第二套方案：工具调用（联网搜索、代码解释器） - 区分两套记忆：①参数里的知识 = 模糊长期回忆；②上下文窗口context window = 模型的工作记忆/草稿纸，里面的内容模型可以精准读取。 - 新增特殊功能token，模型输出特殊标记就触发外部工具；比如web搜索：模型生成搜索query，系统调用搜索引擎把搜索结果塞回上下文窗口。 - 代码解释器同理：模型输出代码交给Python解释器运行，把运行结果放回上下文，靠外部程序做算数、计数，规避模型原生的计算短板。 4 自我认知相关缺陷 - 模型没有真实自我、没有持久身份；每一轮对话上下文都是独立重启。 - 不做特殊数据/系统提示工程的话，模型会胡乱编造自己是谁；两种修复手段：①训练集加入大量自我介绍对话样本；②对话开头插入隐藏system系统提示token。

第（八）部分 **大模型推理的底层限制：模型需要token来思考 （92%‑97%） 1 每一个token前向传播算力有限 - Transformer每生成单个token，网络层数有限，单次前向运算算力是有限上限。 不能指望单步token完成极度复杂推理运算 。 2 数学推理训练数据标注的大坑 - 标注数学题，如果直接写“答案=3”一步给出结果，是坏样本；这会强迫模型试图在单个token内完成全部计算，现实中模型做不到，会大幅降低做题能力。 - 优质样本要把思考过程拆解，输出大量中间步骤，把计算分摊到一串token上面，每一步只做简单运算。中间步骤不是写给人看，是给模型自己“思考”用的。 3 多类原生缺陷案例 - 数学计算：数字变大，如果强制模型一步输出答案就容易错；允许输出中间步骤准确率提升；最稳妥直接调用代码工具。 - 计数任务：模型看到的是token碎片不是原始字符；计数容易出错，交给代码执行。 - 字符操作任务（隔N个取字母）：受token切割影响，原生模型表现差，优先代码工具。 - 奇怪随机漏洞举例：9.11与9.9大小比较；模型会受训练集中圣经章节标记的干扰，出现反直觉低级错误。 4 瑞士奶酪能力模型观点 - 大模型整体能力极强，但到处随机存在漏洞缺陷；不要完全信任输出；优先当做工具，关键内容必须人工校验。

第（九）部分 **后训练阶段2：强化学习RL，可验证任务推理模型DeepSeek‑R1案例 （97%‑112%） 1 类比教科书学习三阶段 - 预训练：阅读全书背景知识（ exposition） - SFT监督微调：看专家写好完整例题解答 - 强化学习RL：做练习题，只给最终参考答案，不给中间解题步骤，让模型自己试错探索解法 2 可验证任务强化学习完整流程（数学、代码，答案客观可核对） - 输入prompt，让模型随机采样生成大量不同完整解答路径； - 自动判断哪些解答得到了正确答案，哪些错误； - 拿表现好的解答序列继续训练模型；模型自己摸索什么样token路径更容易拿到正确结果。 - 关键点： 不需要人类写完美中间思考步骤，思考策略是优化过程中涌现出来的，人类很难预先设计这套思考话术 。 3 DeepSeek‑R1论文实验现象 - 随着RL训练步数提升，数学解题准确率持续上涨；模型输出回复平均长度增加。 - 模型自发涌现出思考行为：自我复盘、回退步骤、多角度验算，就是“思考链”；这些行为不是硬编码写进训练集，是优化中自发长出来。 4 类比AlphaGo围棋强化学习 - 仅模仿人类棋手（监督学习）能力存在天花板，无法超越人类； - 强化学习自我对弈，可以走出人类完全想不到的策略（AlphaGo move37神之一手）；LLM可验证任务RL理论上也可能涌现人类想不到推理方式。 5 现有推理模型现状 - DeepSeek‑R1开源权重；OpenAI o系列、Gemini Thinking都是同类RL推理模型； - OpenAI网页端隐藏完整原始思考链，只展示摘要；推理模型耗时更长，在数学代码类任务效果突出；但是这套RL技术仍然属于前沿实验阶段。

第（十）部分 **后训练阶段3：RLHF人类反馈强化学习，不可验证任务的强化学习与固有缺陷 （112%‑123%） 1 什么是不可验证任务 - 写笑话、写诗歌、摘要；没有唯一标准答案；无法写程序自动判断输出好坏。 2 RLHF核心思路：间接，训练奖励模型充当人类偏好模拟器 - 对于同一个prompt，让大模型生成多条回复；交给人类标注员，不对回复打具体分数，只做相对好坏排序。 - 拿人类排序结果训练一个独立神经网络（奖励模型Reward Model）；输入prompt+模型回复，输出一个代表好坏的分数，模仿人类审美偏好。 - 主大模型做强化学习，以奖励模型输出分数作为奖励信号做迭代。少量人类排序样本，就可以生成无数次自动打分。 3 RLHF的优势 - 规避SFT的痛点：创意类任务让人类直接写完美回复难度极高；但是人类做“对比几个回复挑更好的”难度低很多。 4 RLHF致命短板：奖励模型会被模型“钻空子”（博弈、对抗样本） - 奖励模型本身也是神经网络，存在漏洞；RL优化会疯狂寻找可以拿到高分但是内容完全无意义的对抗样本。 - 不能无限持续RLHF训练，训练久了输出会崩坏；只能训练有限步数，做小幅调优；对比数学这种客观可核对奖励，客观正确很难被钻空子，可以大规模持续训练。 - 结论：RLHF ≠ 真正意义无限探索式强化学习，更多偏向小幅调优。

第（十一）部分 **大模型未来发展方向、获取模型资源渠道总结 （123%‑134%） 1 未来技术方向 - 多模态：图像、音频切片转token，和文本token放入同一套模型处理，原生看图片听声音。 - AI Agent智能代理：模型自主串起多个子任务，长期执行复杂工作，需要人类监督。 - 电脑操作能力：模型模拟键鼠操作电脑。 - 测试时训练：现在模型部署之后权重固定，只有上下文in‑context学习；未来探索推理阶段也可以更新模型知识，缓解上下文窗口压力。 2 跟踪前沿资讯的资源 - LLM排行榜（Elo人类对比打分），但是排行榜现在存在被刷分的情况，只能作为初步参考，实际任务必须自己测试。 - AI news通讯，汇总行业新动态。 - X（Twitter）关注领域研究者。 3 去哪里使用各类模型 - 闭源商用模型：官方网站（ChatGPT、Gemini）。 - 开源权重对话模型：推理服务商together.ai。 - 开源基座base模型：hyperbolic平台。 - 本地部署小模型工具：LM Studio，在个人电脑显卡上本地跑模型，数据不传出本机。

第（十二）部分 **全文收尾总结：当你在ChatGPT输入提问时到底发生了什么，使用模型的忠告 （134%‑140%） 1 完整复现一次用户提问全链路 - 用户输入文字做token分词；按照对话协议拼接历史对话变成一维token序列送入模型；循环采样输出一个个token，拼接得到回复文本。 2 重新理解模型输出本质 - SFT模型输出本质： 统计学模拟遵循厂商标注手册的人类标注员 ；不是拥有主观意识的智慧生命。 - RL推理思考模型：在可验证任务上，会涌现出新的推理策略；但是创意类任务这套思考能力能不能迁移，学界还没有确定答案。 3 普通人使用模型忠告 - 大模型是强大工具，不是不会犯错的权威；存在幻觉、低级随机漏洞。 - 用作头脑风暴、写初稿， 所有重要输出一定要人工核验，对最终结果自己负责 。 - 数学、计数、字符处理等任务，优先让模型调用代码工具，减少出错概率。