许多人经常想知道如何确定 A/B 测试的样本量和时间。
本文包含的内容可以帮助您自信地确定下一次 A/B 测试的正确样本大小和时间范围。
A/B 测试的样本大小和时间范围
理论上，要进行完美的 A/B 测试并确定选项 A 和 B 之间的胜者，摩洛哥电报数据库 您需要等到获得足够的结果来查看它们之间是否存在统计上的显着差异。
大量 A/B 测试实验证明这是真的。
根据公司、样本大小以及运行 A/B 测试的方式，可能需要数小时、数天或数周才能获得具有统计意义的结果，而且您必须等待才能获得这些结果。
营销的某些方面需要缩短 A/B 测试的时间范围。让我们以电子邮件为例。就电子邮件而言，由于以下几个实际原因，等待 A/B 测试完成可能会成为一个问题。
1. 每封电子邮件的受众有限。
与登陆页面不同，一旦您运行电子邮件 A/B 测试，就这样了 - 您无法将更多人“添加”到该 A/B 测试中。
因此，您需要弄清楚如何充分利用您的电子邮件。
通常，这需要将 A/B 测试发送到列表的最小部分以获得统计上显着的结果，选择获胜者，并将获胜版本发送到列表的其余部分。
2. 运行电子邮件营销计划意味着您每周至少发送几封电子邮件。
如果您花费太多时间收集结果，您可能会错过发送下一封电子邮件，这可能会产生更糟糕的后果。
3、发送电子邮件一定要及时。
营销电子邮件针对在一天中的特定时间发送进行了优化。也许他们支持新活动的启动时间和/或在收件人希望收到邮件时将其投放到收件箱。
因此，要进行电子邮件 A/B 测试并优化发送的消息以获得最佳结果，请考虑 A/B 测试的样本大小和测试的时间。
如何确定 A/B 测试的样本量
1. 检查您的联系人列表是否足够大以运行 A/B 测试。
要对列表中的样本进行 A/B 测试，您需要至少包含 1000 个联系人的列表。
2. 使用样本量计算器。
A/B 测试套件有一个很棒的免费样本量计算器，用于 A/B 测试。
3. 在计算器中输入基本转化率、最小可检测效果和统计显着性。
统计显着性：这显示您对样本结果在指定置信区间内的信心有多大。百分比越低，您对结果的信心就越低。百分比越高，样本中需要的人员就越多。
基本转换率（BCR）：BCR是基准版本的转换率。例如，如果您向 10,000 个联系人发送电子邮件，其中 6,000 个联系人打开该电子邮件，则电子邮件打开转化率 (BCR) 将为 60%。
最小可检测效果 (MDE)：MDE 是版本 A（原始版本或对照版本）和版本 B（新版本）之间需要检测的转化率的最小相对变化。 MDE 对测试时间和流量方面的样本大小具有实际影响。
4. 根据您使用的电子邮件程序，您可能需要计算整个电子邮件的样本大小百分比。
运行电子邮件 A/B 测试时，您需要选择将列表发送到的联系人的百分比，而不仅仅是初始样本的大小。
为此，您需要将示例中的联系人数量除以列表中的联系人总数。
为您的电子邮件 A/B 测试选择合适的时间范围
对于电子邮件，您需要弄清楚在将（获胜）版本发送到列表的其余部分之前，电子邮件 A/B 测试需要多长时间。
了解时间方面不太依赖于统计数据，但绝对应该使用过去的数据来做出更明智的决策。以下是具体操作方法。如果向列表中的其他成员发送获胜电子邮件没有时间限制，请继续进行分析。
了解电子邮件的打开/点击（或任何其他成功指标）何时开始下降。要找到答案，请查看以前的电子邮件。
结论
完成这些计算并研究数据后，您将能够更好地成功运行统计上有效的 A/B 测试，并帮助您实现目标。