Andrej Karpathy ai-native

锯齿状智能(Jagged Intelligence)能力边界诊断

Karpathy 提出「锯齿状智能」来描述 LLM 的能力特征:能力高度不均匀,呈现「锯齿状」分布。最先进的模型可以完成重构 10 万行代码、发现零日漏洞这类高难度任务,却会在「应该走路去洗 50 米外的车」这种明显任务上犯错。根源是:LLM 的能力完全取决于 RL 训练覆盖的领域,使用者本质上受限于实验室给模型喂的数据。

0 关联 · 0 冲突 · 0 反链 · 0 证据 · AI 能力评估 / 产品风险评估 / 模型选型决策
§ 00

""

§ 07

触发场景

评估某个任务是否适合用当前 LLM 完成向团队解释「为什么模型在这个任务上这么强,在那个任务上这么弱」设计 AI 功能的「 confidence 阈值」触发机制

/ 我的