设计体验
在设计实验时，我们决定创建三种变体来测试以下内容：
“在这里注册！”颜色变化效果按钮
“在这里注册！”按钮设计改变的效果
我们希望 A/B 分割测试能够捕获足够多的转化。我们还希望在五周以上的时间内取得具有统计意义的结果。考虑到我们每月接待的访客数量（大约 200,000），我们知道，如果我们在基线上创建三个变体，那么在这个时间范围内的样本量将更加稳健，这样就可以捕捉到 2% 以上的影响。 95% 统计置信度。
指定页面上的基线转化率为 11%。我们的主要目标 安徽移动数据库 是能够评估改变 CTA 按钮的颜色是否会对转化率产生明显且可衡量的影响（对于该按钮而言）。
我们有两个次要目标，因此我们测试了另外两种变化。首先，比较按钮设计的改变是否会对相同的转化率产生更大的影响——这样我们想知道问题是否出在按钮上而不是颜色上。其次，我们想知道我们当前的 CTA 文本而不是按钮本身是否是真正的问题。
案例研究结果
考虑到每个变化的样本量（5,532 到 5,973 之间），最小可检测效应(MDE = BCR +/- (MDExBCR)) 为 13%–14%。该测试是一次性测试，因为我们不想产生负面影响。
改进结果远高于我们建立统计信心所需的 14% MDE。