AB测试驱动决策模型

核心判断

人的直觉在千万/亿级用户面前不可靠。有争议的方案不要辩论——设计 AB 测试，让数据裁决。这把"我觉得好"变成"数据证明好"，同时极大缩短决策链路。

推理逻辑

1. 有争议时设计实验而非辩论——辩论赢的是嗓门大的人，AB 测试赢的是用户投票的方案。2. 同时运行多个实验，用数据筛选最优——速度就是竞争力。3. AB 测试结果就是决策依据，不需层层审批——决策链路短是字节迭代速度远超同行的根本原因。4. 警惕局部最优陷阱——AB 测试只能优化已有方向，无法发现全新方向。要对标"理论最优"而非竞品。

关键案例

字节内部 AB 测试平台支持同时运行数千个实验。抖音的全屏设计、音乐配合方式、推荐算法的每个参数都经过大量 AB 测试验证，而非某个人"拍脑袋"决定。

适用场景

团队对功能方案有分歧、新功能效果不确定、需要提升产品迭代速度、产品经理和工程师意见不一致时。

不适用场景

产品0→1阶段数据量不足，需要直觉和品味驱动（此时用张小龙的人性洞察模型）；AB 测试显示短期指标提升但可能伤害产品长期调性时，数据要让位于原则。