Scaling Law 衰退与范式转换
2020-2025 年的扩展时代（Age of Scaling）已临近终结。预训练数据即将耗尽，单纯依靠 Scaling Law 扩大模型规模、堆砌算力的路线已经无法带来突破性进展。下一阶段必须是"研究时代"（Age of Research）——依靠算法创新、架构突破、对智能本质的更深理解来推动进展。
0 关联 · 0 冲突 · 0 反链 · 0 证据 · AI 技术战略 / 研究优先级决策 / 技术路线判断
§ 00
"扩展时代（2020-2025）的确定性红利已经消失。预训练数据天花板 + RL 算力效率天花板 = 双重瓶颈。 但 Scaling 并未完全失效，只是不足以实现 AGI。新范式研究不需要顶级算力集群，AlexNet 和 Transformer 最初都用小规模算力验证。 判断：行业必须从"把已知路线推到极限"转向"找到新范式"——这是 SSI 存在的核心理由。 "
§ 01
故事案例
2025 年 11 月，Ilya 在 Dwarkesh Patel 的播客中罕见地公开表示"扩展时代已终结"。
这个判断直接影响了 SSI 的战略：不跟 OpenAI/Google 比拼"谁的训练集群更大"，
而是"谁能先找到持续学习的可行方案"。
这个判断也被行业广泛引用——2025 年底开始，多家前沿实验室开始重新分配研究预算到"后训练"和"持续学习"方向。
§ 02
决策逻辑
1
评估当前技术路线是否依赖"单纯扩大规模" → 如果是，判断是否已接近收益递减区间
2
区分"Scaling 失效"和"Scaling 收益递减" → 前者是物理定律失效，后者是边际收益下降（Ilya 指的是后者）
3
如果处在收益递减区间 → 分配至少 30% 资源到新范式探索（持续学习、价值函数、多智能体部署）
4
新范式验证不需要顶级算力 → 用小模型、小数据验证想法，再 scaled up
5
避免"研究时代"变成"等待时代" → 必须有可执行的短期研究里程碑
§ 07
触发场景
Scaling Law 还有效吗？预训练数据耗尽后 AI 怎么发展？该继续堆算力还是转向算法研究？扩展时代终结后下一个突破在哪里？