电商页面 A/B 测试怎么落地
结论先行：电商页面做 A/B 测试（A/B Testing），真正难的是三件事：把变量拆到最小、把流量分得稳定、把观测周期拉够。一次只改一个可见变量，同一用户始终落在同一分组，实验至少跑满 7 天再下结论。达不到这三点，跑出来的"提升"多半是随机波动。样本不足时不要硬测，先算清需要多少流量，再决定测还是不测。
先定可测的最小单元
可测单元指"一次实验只动一处"的最小结构。电商页面里常见四类：
- 主图与首屏视觉：换主图、换首屏构图，测的是第一眼吸引力。
- 价格呈现方式：满减文案、券后价展示、分期提示，测的是价格感知而非真实价格。
- 下单入口：按钮文案、按钮位置、吸底与常驻，测的是路径阻力。
- 模块顺序：卖点在评价前还是评价在卖点前，测的是信息说服顺序。
不要同时改主图和按钮，即使数据变好也说不清是哪一处起的作用。一次实验只留一个自变量，这是可解释性的底线。
可测单元取决于数据层能取到什么字段，可看电商页面与商品数据怎么绑定。
分流方式怎么选
分流要满足一条硬要求：同一个用户在实验期内始终进入同一分组。否则用户在两版之间来回切换，体验割裂，数据也失真。
| 分流方式 | 分组一致性 | 适用场景 | 主要风险 |
|---|---|---|---|
| 用户 ID 哈希 | 强，登录用户稳定 | 有账号体系的店铺 | 新客未登录时需临时标识兜底 |
| 设备标识 | 较强，未登录也可用 | 小程序、H5 游客流量 | 换设备或清缓存会导致重分 |
| 渠道来源 | 强，按流量入口固定 | 投放落地页对比 | 不同渠道人群本身不可比 |
| 时间窗轮换 | 弱，同一用户会跨组 | 极低流量时的临时方案 | 周期性偏差、无法归因到人 |
低流量店铺若只能用时间窗轮换，必须把对比周期拉长到 2~4 周，并尽量让两组的星期分布一致。
样本量与观测周期
样本量取决于三个数：基线转化率、想检测的最小提升幅度、显著性水平与统计功效。常用的两比例近似公式是：每组样本量约等于 16 乘基线转化率乘（1 减基线转化率），再除以提升幅度的平方（对应 95% 置信度与 80% 功效）。
举例：基线转化率 3%，希望检测 0.6 个百分点的绝对提升。代入后每组约需 1.3 万次访问，两组合计约 2.6 万次。若日均访问 2000，单组就要跑 6~7 天，两组并行也至少一周。
观测周期还有两条附加规则：至少覆盖完整的 7 天，包含工作日与周末；大促前后各留 3 天缓冲，避免活动流量污染基线。
必须避开的 5 个统计错误
- 中途偷看提前停止：每天看一次数据，一旦某组领先就宣布成功，会显著抬高假阳性率。要么固定周期，要么用序贯检验方法并提前声明。
- 一次改多个变量：主图、文案、按钮同时换，结果无法归因，也无法复用结论。
- 样本不随机：把新版只投给老客或只投给某个渠道，两组人群本来就不同，差异来自人群而非页面。
- 周期不足：只跑 2~3 天，正好撞上周末或发薪日，得到的是时段效应而非页面效应。
- 只看点击不看成交：点击率上涨但加购、支付、退款率同步恶化，说明改动只是把注意力挪了位置。至少要同时看点击、加购、支付三步，以及 7 日退款率。
实验记录该留下什么
每次实验固定记录六项：实验假设、改动点截图、分流方式与分流比例、样本量与起止日期、主指标与护栏指标结果、结论与是否复用。没有这份记录，半年后没人记得"上次换主图到底有没有用"，同样的实验会被重复做第二遍。
FAQs
Q1：日访问只有几百，还能做 A/B 测试吗？
A：不建议做严格意义上的显著性检验。这个量级要检测 0.6 个百分点的提升需要数万次访问，跑一个月也凑不齐。替代方案是先用定性方法（用户访谈、热力图）缩小候选方案，再做一次幅度更大的改动对比。
Q2：A/B 测试应该测价格吗？
A：可以测价格的呈现方式，不建议直接测不同真实价格。对不同用户展示不同成交价涉及公平性与合规风险，且会污染长期价格心智。测"券后价前置"还是"原价前置"是安全的。
Q3：实验结果不显著，是不是说明改动没用？
A：不等于没用，只说明在当前样本量下无法区分于随机波动。此时应看效应方向与护栏指标：若方向为正且护栏指标未恶化，可以保留改动并继续积累样本，而不是直接回滚。