Andrej Karpathy 的核心思维框架

核心特质：用物理学训练出来的"找到一阶项"的能力，把复杂系统 boil down 到 200 行 Python。

---

思维框架 1：Token 吞吐量 = 新时代的生产力指标

核心思想（来自 No Priors 播客）：

重新定义了新时代的生产力指标——不再是你的算力（FLOPS），而是你能吞吐的 Token 量（Token Throughput）。

"如果你的订阅额度还有剩余，那就意味着你没有最大化你的 token 吞吐量。"

为什么这是根本性的转变？

1. "写代码"不再是一个合适的动词——你现在是在"向 Agent 表达意志"
2. 你的瓶颈不再是手速，而是想象力和表达力
3. "Skill issue"哲学：当事情不工作时，归咎为自己——"不是能力不够，是我还没找到正确的方式把这些工具串起来"

对产品人的启发：

• 提高你的"意志表达"效率，学会更好地向 Agent 描述你的意图
• 你的瓶颈不再是"我会不会写代码"，而是"我能不能想象出足够复杂的系统"
• 一切都是技能问题——这种感觉既赋能又令人焦虑，因为你知道你可以变得更好

案例：

• Karpathy 从 2024 年 12 月起一行代码都没写过——不是躺平了，是他把自己变成了十个 Agent 的调度中心
• 他同时在跑：一个 Agent 在做研究，一个在写代码，一个在想新功能的计划

---

思维框架 2：一阶项思维（First-order Thinking）

来源：Karpathy 的物理学背景

核心思想： 找到系统的最重要部分（一阶项），忽略次要细节（二阶、三阶项）。

"物理学最独特地启动大脑，因为它教你构建模型和抽象，理解存在一阶近似描述了系统的大部分内容。"

应用案例：

1. Micrograd（100 行 Python） = 你需要了解神经网络如何训练的一切

   • 其他所有东西（张量、内核编排、内存移动）都只是效率
   • 理解系统 = 找到最简单的东西，让它展示那个东西

2. "球形牛"近似（物理学家笑话）：

   • 当你想理解一个复杂系统，先假设"有一头球形牛"
   • 这个简化模型能捕获系统的大部分行为
   • 然后再考虑"牛 actually 不是球形的"这个二阶项

对产品人的启发：

• 做产品设计时，先找到"一阶项"（核心用户价值），再考虑"二阶项"（边缘 case、美化细节）
• 不要在一开始就优化二阶项——那是效率问题，不是理解问题

---

思维框架 3：知识的解开（Unbundling Knowledge）

核心思想（来自"学习秘诀"播客）：

教育就像"知识的解开"——你的理解很混乱，你试图以一种创建斜坡的方式来布局它，其中一切都只取决于在它之前的事情上。

"我发现这就像，知识的解开就是如此作为一项认知任务，智力上很有趣。"

操作含义：

1. 找到知识的最基本单元
2. 按照依赖关系排序（A 必须在 B 之前理解）
3. 创建学习路径，让每个概念都建立在前一个概念的基础上

为什么大多数技术文档不好？

• 它们用"最抽象、最多行话"的方式解释事物
• 它们在解释之前先清嗓子四段（铺垫太多）
• 好的解释应该像"在喝啤酒时聊天"——用最简单的语言捕捉精髓

对产品人的启发：

• 写产品文档时，不要先解释"我们为什么做这个功能"（那是清嗓子）
• 先展示痛苦（现有方案有什么问题），再给解决方案
• 用"对话式语言"解释，而不是"PPT 式语言"

---

思维框架 4：Agentic Engineering（智能体工程）

核心思想（来自 No Priors 播客）：

"你现在不是在写代码，你是在编排一个智能体团队。"

"一个研究组织是一组 markdown 文件，描述了所有角色以及整个事情如何连接。"

Auto Research（自动化研究）的构想：

• 把人类从反馈循环中剔除，让 AI 自己进行递归式自我迭代
• 现在的游戏规则是增加你的杠杆——你输入很少的 token，偶尔一次，然后大量的事情代表你发生

"Claw"（智能体实体）的三个层次：

1. Agent 层面：你能同时跑多少个 Agent？
2. Claw 层面：这个 Agent 有没有持久记忆？能不能在你不在的时候继续工作？
3. 指令优化层面：你怎么写 agents.md 文件，让 Agent 理解你的意图？

对产品人的启发：

• 未来的软件交互是"去 App 化"——Agent 直接通过 API 控制系统，人类只需要说人话
• 你的产品应该思考："如果用户不再打开我的 App，他们怎么跟我交互？"
• 答案：通过 Agent（Claw）——用户跟他们的 Agent 说话，Agent 调用你的 API

---

思维框架 5：锯齿状智能（Jagged Intelligence）诊断

核心观察（来自 No Priors 播客）：

大模型的能力是"锯齿状"的——在某些领域极强，在某些领域极弱。

"你要么在轨道上（可验证领域），你就是超级智能电路的一部分；要么你不在轨道上，你在可验证领域之外。突然间，一切都像蜿蜒的河流。"

为什么 ChatGPT 还在讲 5 年前的笑话？

• 因为"讲笑话"是不可验证领域——没有客观的"这个笑话好不好笑"的指标
• 而"写代码"是可验证领域——代码要么跑得通，要么跑不通
• RL（强化学习）只优化可验证的东西——所以代码能力飞升，笑话能力停滞

"物种分化"（Speciation）预测：

• 否定了"单一大神谕模型"的唯一性
• 未来模型会朝着专门化的"物种分化"发展（就像动物王国的多样化）
• 垂直智能体生态将崛起——不会有"一个模型统治所有"，而是"很多专门模型各司其职"

对产品人的启发：

• 不要指望通用模型在你的垂直领域表现好——它可能在写代码上很强，但在你的专业领域很弱
• 未来会出现"模型物种分化"——就像现在有"代码模型"、"图像模型"，未来会有更细的分化
• 你的产品应该"编排多个专门模型"，而不是"找一个万能模型"

---

对产品人的综合启发

1. "写代码"不再是一个合适的动词——你现在是在"向 Agent 表达意志"
2. 你的瓶颈不再是手速，而是 token 吞吐量（你能让多少 Agent 在多长时间内为你工作）
3. 找到一阶项——做产品时，先找到核心用户价值，再考虑边缘 case
4. 教育会终结——当 Agent 能直接读取和理解技术文档，人类不再需要"学习文档"，只需要"表达意志"
5. 未来是"去 App 化"的——Agent 直接通过 API 控制系统，人类只需要说人话

Andrej Karpathy 方法论

1. 最大化 Token 吞吐量：把自己变成 Agent 的调度中心

新时代的生产力指标不再是你的手速或算力（FLOPS），而是你能吞吐的 Token 量（Token Throughput，即你能让多少 Agent 在多长时间内代替你工作）。

实践：

• Karpathy 从 2024 年 12 月起一行代码都没亲手写过——他同时调度多个 Agent：一个做研究、一个写代码、一个规划新功能
• 判断自己有没有偷懒的标准很直接：「如果你的订阅额度还有剩余，那就意味着你没有最大化你的 token 吞吐量」
• 工作的核心动作从「打字」变成「向 Agent 表达意志」（express my will to my agents）

---

2. 一阶项思维：先抓住系统最重要的部分

源自物理学训练——任何复杂系统都存在「一阶近似」（first-order approximation，即用最简单的模型就能描述系统大部分行为）。先找到这个一阶项，把次要细节（二阶、三阶项）放到后面。

实践：

• micrograd（100 行 Python）就是理解神经网络如何训练的「一切」——其他所有东西（张量、内核编排、内存搬运）都只是「效率问题」，不是「理解问题」
• 用物理学家的「球形牛」笑话来工作：想理解一个复杂系统时，先假设「有一头球形牛」（一个粗糙但能抓住核心的简化模型），再逐步修正
• 做任何事先问：「这个问题的最重要部分是什么？」——不要一上来就优化边缘细节

---

3. Agentic Engineering：让 Agent 在规范流程里工作

Vibe Coding（凭感觉让 AI 写代码）抬高了软件创造的下限，让不会编程的人也能做工具；但专业软件的上限需要 Agentic Engineering——把多个 Agent、工具、测试、上下文高效组织起来。

核心原则：Agent 是「有尖刺的实体」（jagged，能力时强时弱），不能当成可靠的成熟工具直接信任，必须放进规范流程：

• 生成方案 → 写代码 → 跑测试 → 互相检查
• 给系统设定边界、验证机制和回滚能力
• 「一个研究组织本质上就是一组 markdown 文件，描述了所有角色以及整个事情如何连接」——把组织流程显式写成 Agent 能读的文档

---

4. 教学法：先展示痛苦，再给解决方案

源自对「知识的诅咒」（Curse of Knowledge，即专家把已掌握的东西当成理所当然，无法站在新手立场解释）的反思。

三条原则：

1. 在给出解决方案之前先展示痛苦——让学生先理解「为什么需要这个方案」，而不是上来就给答案
2. 让学生先自己尝试——不给机会就直接给解，是浪费；自己摸索过才知道「动作空间」和「目标」是什么
3. 用对话式语言解释——像「喝啤酒时聊天」一样，用最简单的语言捕捉精髓，而不是「在解释之前先清四段嗓子」（铺垫太多）

---

5. 按需学习：在真实项目里即学即用

不要相信「你以后会需要这个」的说法。最有回报的学习是：先动手做一件事，遇到问题时再按需学习解决它所需的知识。

实践：

• 选一个真实项目，在过程中遇到卡点就立刻学这一块——这种「即学即用」比预先囤积所有理论有效得多，因为回报立刻可见，动机和理解都被放大
• 把「向别人解释」当成学习工具：如果你无法把一件事讲清楚，说明你没真正理解它，这会暴露并填补你理解上的空白
• 用 AI 当学习伙伴：用 ChatGPT 针对一篇论文提问，再把对话线程分享给论文作者——你提的「蠢问题」反而能帮作者将来解释得更好

Andrej Karpathy 经典语录

以下语录均来自一手播客（No Priors Podcast、学习秘诀切片），保留英文原文 + 中文翻译。

关于 Agent 与新的工作方式

"Codes are not even the right verb anymore, but I have to express my will to my agents for 16 hours a day, manifest."

（「写代码」已经不是个合适的动词了——我每天要做的是用 16 小时向我的 Agent 表达意志、让它显现。）

"I don't think I've typed like a line of code, probably since December, basically."

（我基本上从 12 月以来就没亲手敲过一行代码。）

"The name of the game now is to increase your leverage. I put in just very few tokens just once in a while and a huge amount of stuff happens on my behalf."

（现在的游戏规则是增加你的杠杆。我只偶尔输入很少的 token，然后大量的事情就代表我发生了。）

"A research organization is a set of markdown files that describe all the roles and how the whole thing connects."

（一个研究组织，本质上就是一组 markdown 文件，描述了所有角色以及整件事如何连接起来。）

---

关于「技能问题」哲学

"It's not that the capability's not there. It's that you just haven't found a way to string it together of what's available... it all kind of feels like skill issue when it doesn't work to some extent."

（不是能力不在那里，而是你还没找到把现有的东西串起来的方法……当某些事情不工作时，某种程度上都感觉像是「技能问题」。）

---

关于锯齿状智能

"You're either on rails and you're part of the super intelligence circuits or you're not on rails and you're outside of the verifiable domains. And suddenly everything comes just like meanders."

（你要么在轨道上，成为超级智能电路的一部分；要么不在轨道上，处在可验证领域之外——突然间，一切都像蜿蜒的河流。）

"I simultaneously feel like I'm talking to an extremely brilliant PhD student who's been like a systems programmer for their entire life and a 10 year old."

（我同时感觉自己在跟一个极其聪明、当了一辈子系统程序员的博士生说话，又在跟一个十岁小孩说话。）

"The animal kingdom is extremely diverse in the brains that exist... you don't need like this oracle that knows everything. You kind of speciate it."

（动物界存在极其多样的大脑……你不需要一个无所不知的神谕，你会让它「物种分化」。）

---

关于学习与教育

"我真的、真的很喜欢我的物理背景。早期学校教育不是关于为后期任务积累知识或记忆，而是关于启动大脑。"

"教育就像智力上最有趣的事情，因为你的理解很混乱，你试图以一种创建斜坡的方式把它布局出来，让一切都只取决于在它之前的事情。"

"如果我真的不明白某件事，我就无法解释它……然后你可以回去确保你真正理解了它。"

---

关于开源与未来

处于「稍稍落后的开源模型」，是对抗前沿大厂极少数人黑盒决策的最佳力量。

文档应该写给 Agent 读，而不是写给人看——当 Agent 能直接读取和理解技术文档，人类不再需要「学习文档」，教育的重点将从「记忆知识」转向「表达意志」。

Andrej Karpathy — 成功案例

案例一：micrograd / nanoGPT — 用「一阶项思维」重写 AI 教育

背景：深度学习教育长期被「行话堆砌」和「框架黑箱」困住，初学者面对 PyTorch/TensorFlow 只能照抄，不理解反向传播到底怎么发生。

行动：Karpathy 用「找一阶项」的思路，把神经网络训练 boil down 到极简：

• micrograd：约 100 行 Python，完整展示反向传播（backpropagation）的全部核心机制
• nanoGPT / 「从零构建 GPT」系列：用最少的代码和最对话化的语言，带学习者一行行手写出一个 GPT

结果：成为全球深度学习入门的事实标准教材之一，影响了一整代 AI 工程师。验证了「micrograd 这 100 行就是你需要了解神经网络训练的一切，其他都只是效率」这一判断。

思维模型应用：「一阶项思维」+「先展示痛苦再给方案」——不先讲抽象理论，而是让你亲手撞到「梯度为什么要这么算」的痛点，再给出最小可用的解。

---

案例二：Tesla Autopilot — 把 AI 量产到物理世界

背景：2017-2022 年，Karpathy 任 Tesla AI 负责人，负责把神经网络落地到真实道路上的自动驾驶——这是 AI 从「数字世界」走向「物理世界」的最难一跃。

行动：主导构建 Tesla 的视觉感知与数据闭环体系，推动「数据驱动」而非「手写规则」的路线（即他后来总结的 Software 2.0——人设计数据集和架构，让训练得到权重，而不是人手写逻辑）。

结果：Tesla 的纯视觉自动驾驶方案大规模量产上路，成为「Software 2.0」最大规模的现实验证之一。

思维模型应用：「Software 2.0」——当问题复杂到人写不出规则时，正确的做法是设计数据和架构、让模型自己学出权重。

---

案例三：把自己变成「十个 Agent 的调度中心」

背景：2024 年底，Agent 能力跳跃式提升，但绝大多数人（包括专业开发者）还停留在「手写代码 + 偶尔问 AI」的模式。

行动：Karpathy 率先把自己的工作方式彻底重构——从「80% 手写 / 20% 委托」翻转为「基本 100% 委托」，同时并行调度多个 Agent（研究、写代码、规划），自己只负责「表达意志」和验收。

结果：成为「Agentic Engineering」这一工作范式的第一现场示范者和命名者，他的实践被大量开发者作为参照模板。

思维模型应用：「最大化 Token 吞吐量」+「Agentic Engineering」——把个人产能的瓶颈从「手速」转移到「你能编排多少 Agent 并保证质量」。

Andrej Karpathy — 失败案例与局限

说明：Karpathy 主要以研究者、教育者、观察者身份活跃，公开的「决策失败」案例较少。本文聚焦他自己承认的认知局限与判断的不确定性，而非编造失败事件。

局限一：「锯齿状智能」是诊断框架，不是解决方案

问题：Karpathy 提出「锯齿状智能」（Jagged Intelligence）——模型能重构 10 万行代码、发现零日漏洞，却会在「应该走路去洗 50 米外的车」这种明显常识上翻车。

局限：这个框架是描述性的，不是预测性的。它能帮你理解「为什么模型在这强、在那弱」，但无法精确预测模型在某个全新任务上的表现。知道模型会翻车，不等于你能修好它。

演化：随着 o1/o3 等推理模型扩大 RL 训练覆盖面，某些「断崖」正在被填平——说明「锯齿状」不是模型的永久属性，需要每半年重新测一次能力边界。把它当永久真理就会误判。

---

局限二：对 AI 时间线的反复修正

问题：Karpathy 多次表达对 AI 进展节奏的判断，但他自己也处在「持续的 AI 精神错乱状态」（perpetual state of AI psychosis）——一边为能力跳跃亢奋，一边为不确定性焦虑。

局限：他坦承「技能问题」哲学（一切不工作都归咎于自己还没找到正确方式）既赋能又令人焦虑——它可能让人高估当前工具的能力，把「模型确实做不到」误判成「我还没学会用」。

教训：「Skill issue」是好的自我驱动心态，但用在产品决策上要警惕——别把模型的真实能力断崖，当成「再调调 prompt 就能解决」的技能问题。

---

局限三：「去 App 化」「教育终结」等预测的超前风险

问题：Karpathy 预测未来是「去 App 化」（Agent 直接通过 API 控制系统）、「文档写给 Agent 读」、「教育会终结」。

局限：这些是基于他个人作为顶级工程师的体验外推的——他自己也强调「能被文本描述清楚的任务才会被替代」。对于需要私有数据、专业工具链、实时物理反馈的场景，这些预测短期内并不成立。普通用户和企业的迁移速度，远慢于他的个人节奏。

教训：他的判断是「第一现场观察」，极具前瞻性，但时间尺度需要打折——「会发生」和「明年就发生」是两回事。直接照搬他的时间线做产品决策，容易过早 all-in 一个还没成熟的范式。

Andrej Karpathy — 判断演化

阶段一：手写代码的深度学习研究者（2015 年前）

核心判断：理解 AI 的唯一方式是亲手把它写出来——把复杂系统拆到最小可运行单元。

背景：物理学训练塑造了他的核心方法论（找一阶项、构建抽象、从噪声里提取信号）。这一时期他写 micrograd、做 CS231n 课程，信奉「亲手实现即理解」。

判断来源：物理学的第一性原理思维 + 对「黑箱框架」的不信任。

---

阶段二：Software 2.0 的提出者（2017 左右）

核心判断：编程范式正在从「人手写规则」（Software 1.0）转向「人设计数据集和架构、让训练得到权重」（Software 2.0）。

背景：在 Tesla 主导自动驾驶时，他发现复杂的真实世界问题根本写不出规则，必须靠数据驱动的神经网络。

关键事件：2017 年发表《Software 2.0》一文，系统阐述这一范式转变。

判断来源：Tesla 自动驾驶的工程现实——手写规则在长尾场景上必然失败，数据和模型才是出路。

---

阶段三：Software 3.0 与「LLM 是可编程计算机」（2024-2025）

核心判断：又一次范式跃迁——Software 3.0：LLM 本身成了一台可编程计算机，用自然语言就能「编程」。能被文本说明清楚的任务，对应的旧范式 App 都会被淘汰。

背景：大模型能力爆发，他观察到 MenuGen 这类 App（拍菜单生成渲染图）已经可以被「直接把照片发给模型」替代，整个 App 都成了多余。

判断来源：对 LLM 能力曲线的第一现场观察 + 一阶项思维（先看本质变化，再看细节）。

---

阶段四：「不再写代码」的 Agentic Engineering 实践者（2024.12 至今）

核心判断：工作的本质已从「写代码」变成「向 Agent 表达意志」，生产力的瓶颈从手速变成 Token 吞吐量。但 Agent 是「有尖刺的实体」，必须放进规范流程（Agentic Engineering），不能放任自主（Vibe Coding 只是抬高了下限）。

背景：从 2024 年 12 月起一行代码都不亲手写，把自己变成多个 Agent 的调度中心。

关键事件：公开宣布「基本上从 12 月起没写过一行代码」，并系统阐述 Agentic Engineering 与「锯齿状智能」。

判断演化的诚实之处：他同时承认自己处在「持续的 AI 精神错乱状态」——这个范式转变剧烈到连他自己都在持续校准，并坦言某些预测（去 App 化、教育终结）的时间尺度仍高度不确定。

当前验证：Agentic Engineering 正被大量开发者作为工作范式参照；但「锯齿状智能」「去 App 化」等判断仍需每半年重新测试，因为模型能力边界在快速移动。