泛化差距(It Factor)假说
当前大模型的最大缺陷不是"不够聪明",而是"泛化能力不足"——在基准测试(evals)上表现优异,但在真实经济场景中能力呈现"锯齿状"(某些任务超人类,某些简单任务频繁失败)。人类具备的"少量样本就能掌握新领域"的能力,Ilya 称之为"It Factor"(灵气/天赋),是目前完全未被机器学习范式复现的。
"泛化差距是人机智能的核心鸿沟。人类用 10 小时学会开车,AI 需要数百万样本还不一定稳定。 根源:① 当前 RL 过度拟合基准测试;② 人类具备进化带来的底层先验(视觉、运动、社会情绪),AI 缺少这些"内置价值函数";③ 人类的"持续学习能力"本质是高效的价值函数驱动(情感 = 内置价值判断,不需要等到最终结果才给奖励)。 突破方向:价值函数(给 RL 提供中间步骤的学习信号)+ 持续学习(部署后继续学习,不同实例的学习结果可合并)。 "
故事案例
Ilya 在多次访谈中举过一个例子:编程模型能在竞赛中拿高分,但实际应用中会反复引入 bug 又反复修复,陷入死循环。
这不是"模型不够大"的问题,而是"模型没有学会编程的本质逻辑,只是记住了解题模式"。
这个判断直接指导了 SSI 的研究方向:不追求"在更多数据上训练更大的模型",而是"让模型具备类似人类的泛化学习能力"。
决策逻辑
评估当前 AI 系统的"锯齿状"程度 → 如果高,说明泛化是瓶颈,不是数据/算力问题
判断训练目标是否过度关注基准测试 → 如果是,重新设计 reward function(加入泛化测试)
如果要做持续学习 → 必须解决"灾难性遗忘"问题(目前无解,但 Ilya 暗示 SSI 有进展)
如果资源有限 → 优先投资"价值函数"方向(比单纯扩大数据更高效)
不要期待"更大的模型自动获得泛化能力" → Scaling 不解决泛化问题