选择一个小范围试验,核心不是“找一批用户来试”,而是先确定一个可隔离的变量、一个能承接流量的入口,以及一个不与其他改动互相污染的比较方式。对已有页面或项目的在线商店营销来说,最常见的误解是:把首页改版、全店促销、邮件推送和广告投放同时上线,然后看整体销售有没有涨。这样即使结果变好,也无法判断是哪一项起了作用;结果变差,也不知道该撤回什么。小范围试验的价值在于把因果缩小到可解释的范围。
在线商店营销的变量通常落在三类对象上,试验范围也随对象不同:
如果一次试验同时改了页面和投放素材,那么搜索广告的点击率变化、页面转化率变化会混在一起。此时应优先拆成两个先后试验,而不是硬解释一个混合结果。
“小范围”不等于越少越好。范围太小,比如只让公司内部几个人访问,得到的是可用性反馈,不是营销效果。范围太大,比如全站全渠道同时切换,又失去隔离意义。可执行的判断方法是:
假设某在线商店想测试“满额包邮”提示是否提高客单价,可以选择只在一个客单价相近的商品分类中展示提示,另一个分类保持原样。若两个分类的流量来源、商品价格带和促销节奏差异很大,就不能直接比较。这时更稳妥的做法是在同一分类内做交替测试,例如按访问时间或用户分组轮换展示。
不要预设一个行业通用的转化率提升幅度。更实际的做法是事先写下判断条件,例如:
判断时要区分“可能原因”和“已经定位的原因”。例如试验组下单率下降,可能是新按钮位置不醒目,也可能是同一时段广告带来了低意向流量,还可能是库存变化导致部分商品缺货。没有进一步检查前,不应断言是按钮文案导致的。
在线商店营销中,不同渠道的指标含义不同。搜索流量看的是查询与落地页匹配程度,广告看的是投放成本与点击后的行为,社媒看的是内容互动与引流,销售看的是实际订单和退款。小范围试验应尽量让一个渠道对应一组指标。例如测试商品页改版时,可以固定广告投放不变,只看自然搜索和直接访问带来的行为;测试广告素材时,则固定落地页不变,只看该广告组的点击与转化。把广告点击率上升直接说成“营销整体变好”,会掩盖页面是否真正承接住了流量。
从现有页面或项目中选一个最想验证的假设,写下一句话:“如果我把某个元素改成某种形式,那么某个可计数指标会朝某个方向变化。”然后只改这一个元素,保留原版本作为对照,记录基线、试验周期和停止条件。试验结束后,先检查是否有其他同时发生的改动,再决定继续、停止或扩大范围。