当一次网站改动和促销活动在时间上重叠,你无法用“改动前后流量对比”直接得出改动有效的结论;此时能做的是把结论限定在可验证的范围内,例如只判断“总流量变化是否超出历史同期波动”,而不判断“改动贡献了多少”。如果促销带来的流量来源、落地页或时段与改动影响高度重合,任何单一改动归因都不成立,应该放弃拆分贡献,转向可区分的证据收集。
限制归因结论的第一步不是选指标,而是确认改动和促销是否满足“可分离”条件。需要同时满足两点:促销触达的人群、渠道或时段与改动影响的页面、功能有明显区隔;改动在促销开始前已经稳定生效,而不是与促销同一天上线。
如果这两点不满足,后续任何拆分都是事后编故事。例如改动是首页加载速度优化,促销是全站折扣弹窗——两者都作用于首页且同时发生,此时你无法用首页跳出率判断速度优化是否有效,因为弹窗本身就会改变跳出行为。
一个可操作的动作:在改动上线时,记录改动生效的页面、功能或模板,以及促销覆盖的渠道、时段和优惠触发条件。如果两者交集超过一个可识别的范围,就标记为“不可拆分”,后续只报告整体变化,不报告改动贡献。这个动作的结果直接影响下一步——若标记为不可拆分,你就不需要再花时间做分层对比,转而准备下一次可分离的测试。
当改动和促销重叠时,默认结论应该是“本次无法归因到单一改动”。这个默认结论不是消极,而是防止把促销带来的增量错误地记在改动头上。
要推翻这个默认结论,需要找到可区分的证据,而不是更精细的报表。可区分的证据包括:
注意:这些证据只能缩小归因范围,不能证明因果关系。例如促销结束后流量没有回落,也可能是因为促销带来的新用户留存,而不是改动本身。此时结论应写成“改动与促销叠加期间总流量变化超出历史同期波动,但无法区分各自贡献”。
假设改动是商品详情页增加了推荐模块,促销是全站满减活动,活动落地页直接指向商品详情页。促销期间,详情页流量大幅上升,推荐模块点击率也上升。如果只看这个数据,很容易得出“推荐模块有效”的结论。
但这个结论无效,因为促销吸引来的用户本身购买意图更强,他们更可能点击推荐模块,这与模块改动无关。要检验这一点,可以看促销结束后、流量回落到日常水平时,推荐模块的点击率是否仍然高于改动前。如果回落到改动前水平,说明之前的上升主要由促销人群驱动,而不是模块改动。
这个反例说明:当促销流量与改动页面高度重合时,任何基于该页面指标的改动结论都不可靠。此时正确的做法是等待促销结束、流量稳定后,再用同一指标与改动前基线对比。如果促销结束后的对比仍然显示差异,且没有其他同期变化,才能把改动列为可能原因之一。
如果本次改动和促销无法分离,不要强行输出“改动有效”或“改动无效”的结论。应该把本次分析降级为“总流量变化描述”,并记录以下内容:改动内容、促销内容、重叠时间、重叠渠道、无法分离的具体原因。
然后,为下一次改动设计可分离条件。具体动作包括:
这些动作的结果会决定下一次分析能否给出归因结论。如果下一次改动仍然与促销重叠且无法分离,那么重复本次的降级处理,而不是积累更多无法解释的数据。