如何进行A / B测试：您要添加书签的清单

当像我们这样的营销人员创建登录页面，编写电子邮件副本或设计号召性用语按钮时，可能很容易利用我们的直觉来预测将使人们点击并转化的因素。

但是基于“感觉”制定营销决策可能对结果非常不利。 与其依靠猜测或假设做出这些决定，不如进行A / B测试（有时称为拆分测试）要好得多。

A / B测试可能很有价值，因为不同的受众的行为方式会有所不同。 适用于一家公司的事物不一定适用于另一家公司。 实际上，转化率优化（CRO）专家讨厌“最佳做法”一词，因为它实际上并不是您的最佳做法。

但是A / B测试也可能很复杂。 如果您不小心，则可能对人们的喜好和使他们点击的原因做出错误的假设，而这些决定很容易误导您策略的其他部分。

继续阅读以了解如何在数据收集之前，之中和之后进行A / B测试，以便您可以根据结果做出最佳决策。

要运行A / B测试，您需要为一个内容创建两个不同的版本，并对单个变量进行更改。 然后，您将向两个相似大小的受众群体展示这两个版本，并分析哪个版本在特定时间段内表现更好（足够长的时间来得出关于您的结果的准确结论）。

资源

A / B测试可帮助营销人员观察营销内容的一个版本与另一个版本的表现。 为了提高网站的转化率，您可以进行以下两种A / B测试：

示例1：用户体验测试

也许您想看看是否将某个号召性用语（CTA）按钮移至首页顶部而不是将其保留在侧边栏中会提高其点击率。

为了对A / B进行验证，您需要创建另一个替代网页来反映CTA展示位置的更改。 现有设计（或“ 控件 ”）是版本A。版本B是“挑战者”。 然后，通过向预定比例的网站访问者展示这两个版本来测试这两个版本。 理想情况下，看到两种版本的访问者百分比是相同的。

了解如何使用HubSpot的Marketing Hub轻松地对网站的组件进行A / B测试。

示例2：设计测试

也许您想了解一下更改号召性用语（CTA）按钮的颜色是否可以提高其点击率。

为了对A / B进行验证，您需要设计一个替代CTA按钮，该按钮具有不同的按钮颜色，从而导致与控件具有相同的登录页面。 如果您通常在市场营销内容中使用红色的号召性用语按钮，而绿色变体在您的A / B测试后获得了更多点击，则可能需要从现在开始将号召性用语按钮的默认颜色更改为绿色上。

要了解有关A / B测试的更多信息，请在此处下载我们的免费入门指南 。

A / B测试的好处

A / B测试可以给营销团队带来很多好处，这取决于您决定测试什么。 但是，最重要的是，这些测试对企业而言是有价值的，因为它们成本低廉但回报率高。

假设您雇用内容创作者，年薪为$ 50,000。 该内容创建者每周为公司博客发布5篇文章，每年总计260篇文章。 如果公司博客上的平均帖子产生了10个潜在客户，那么您可以说，为该业务产生10个潜在客户的成本略高于192美元（50,000美元的薪水÷260条文章=每篇文章192美元）。 这是很大的变化。

现在，如果您要求内容创建者花两天的时间对一篇文章进行A / B测试，而不是在这段时间内撰写两篇文章，则可能会花费192美元，因为您要少发表一篇文章。 但是，如果A / B测试发现您可以将每篇文章的转化率从10个线索增加到20个线索，则您只需花费192美元，就可以使您的企业从博客中获得的客户数量翻倍。

当然，如果测试失败，您将损失192美元-但现在，您可以使下一次 A / B测试更加受教育。 如果第二次测试成功地将您博客的转化率提高了一倍，那么您最终将花费284美元使您公司的收入翻番。 无论您的A / B测试失败多少次，其最终成功几乎总是会超过进行该测试的成本。

您可以运行多种类型的拆分测试，以使最后的实验值得。 营销人员在进行A / B测试时，对他们的业务有一些共同的目标：

• 网站流量增加：测试不同的博客文章或网页标题可能会更改单击该超链接标题以访问您的网站的人数。 结果，这可以增加网站流量。
• 更高的转化率：在您的CTA上测试不同的位置，颜色甚至锚文本可以更改单击这些CTA进入登录页面的人数。 这样可以增加在您的网站上填写表单，向您提交联系信息并“转换”为潜在客户的人数。
• 较低的跳出率：如果您的网站访问者在访问您的网站后迅速离开（或“跳出”），则测试不同的博客文章介绍，字体或功能图片可以降低跳出率并保留更多访问者。
• 降低购物车放弃率：据MightyCall称 ，电子商务企业看到40％– 75％的顾客带着购物车中的物品离开网站。 这就是所谓的“放弃购物车”。 测试不同的产品照片，结帐页面设计，甚至显示运输成本的位置，都可以降低放弃率。

现在，让我们遍历清单设置，运行和测量A / B测试。

如何进行A / B测试

跟随我们免费的A / B测试工具包，其中包含进行A / B测试所需的一切，包括测试跟踪模板，指导和启发方法指南以及统计意义计算器，以查看您的测试是成功还是失败或不确定的。

A / B测试前

1.选择一个变量进行测试。

在优化网页和电子邮件时，您可能会发现有许多要测试的变量 。 但是要评估更改的有效性，您将需要隔离一个“独立变量”并衡量其性能-否则，您将无法确定哪个变量负责性能变化。

您可以为单个网页或电子邮件测试多个变量； 只要确保您一次测试它们即可。

查看营销资源中的各种元素，以及它们在设计，措辞和布局上可能的替代方案。 您可能要测试的其他内容包括电子邮件主题行，发件人姓名以及个性化电子邮件的其他方法。

请记住，即使是简单的更改（例如更改电子邮件中的图像或号召性用语上的文字）也可以带来很大的改进。 实际上，这些变化通常比较大的变化更容易衡量。

注意：在某些情况下，测试多个变量而不是单个变量更有意义。 这是一个称为多变量测试的过程。 如果您想知道是否应该运行A / B测试还是多变量测试， 这是Optimizely的有用文章 ，将两者进行了比较。

2.确定您的目标。

尽管您将为每个测试测量许多指标，但是在运行测试之前 ，请选择一个主要指标以供关注。 实际上，在设置第二个版本之前就要做。 这是您的“因变量”。

考虑一下您希望此变量在拆分测试结束时的位置。 您可能会陈述官方假设并根据此预测检查您的结果。

如果您等到之后再考虑哪些指标对您很重要，您的目标是什么以及您提出的更改可能会如何影响用户行为，那么您可能就无法以最有效的方式进行测试。

3.创建一个“控件”和一个“挑战者”。

现在，您有了自变量，因变量和所需的结果。 使用此信息可以设置要测试的任何内容的未更改版本，以作为“控件”。 如果要测试网页，则这是已经存在的未更改网页。 如果要测试登录页面，则这将是您通常使用的登录页面设计和复制。

从那里构建一个变体或一个“挑战者”，即您将对照自己进行测试的网站，登录页面或电子邮件。 例如，如果您想知道是否在登录页面上包含个人鉴定会有所作为，请设置没有任何个人鉴定的控制页面。 然后，通过推荐创建您的变体。

4.均等和随机地划分样本组。

对于具有更多控制对象的测试（如电子邮件），您需要在两个或两个以上相同的访问者中进行测试，以获得最终结果。

具体操作方式取决于所使用的A / B测试工具。 例如，如果您是在电子邮件上进行A / B测试的HubSpot Enterprise客户 ，则HubSpot会自动将流量分流到您的变体中，以便每个变体都会获得访问者的随机抽样。

5.确定样本量（如果适用）。

确定样本量的方式也将随A / B测试工具以及所运行的A / B测试类型而异。

如果您要对电子邮件进行A / B测试，则可能希望将A / B测试发送到列表的一小部分，以获得具有统计意义的结果。 最终，您将选择一个获胜者，并将获胜的变化发送到列表的其余部分。 （有关计算样本量的更多信息，请参见本文末尾的“拆分测试的科学”电子书。）

如果您是HubSpot Enterprise客户，则可以使用滑块来帮助确定样本组的大小。 它使您可以进行任何样本大小的50/50 A / B测试-尽管所有其他样本拆分都需要至少1000名收件人的列表。

如果您要测试的对象数量有限（例如网页），那么运行测试的时间将直接影响样本量。

您需要让测试运行足够长的时间以获得大量视图，否则很难判断这两个版本之间在统计上是否存在显着差异。

6.确定结果的重要性。

选择了目标指标后，请考虑一下您的结果需要有多重要，以证明选择一个变体而不是另一个变体。 统计意义是A / B测试过程中非常重要的部分，经常被误解。 如果您需要从营销的角度重新了解统计意义，建议阅读此博客文章 。

置信水平的百分比越高，您对结果的把握就越大。 在大多数情况下，您希望将置信度设置为最低95％（最好甚至是98％），特别是如果要建立一个耗时的实验。 但是，有时如果您不需要严格的测试，则可以使用较低的置信度。

HubSpot的高级软件工程师Matt Rheault喜欢将统计意义视为下注。 您愿意打赌的赔率是多少？ 说“我80％的人确定这是正确的设计，我愿意下注一切”，这类似于对A / B测试进行80％的重要性然后宣布获胜者。

Rheault还说，在测试只会稍微提高对话率的内容时，您可能需要更高的置信度阈值。 为什么？ 因为随机方差更有可能扮演更大的角色。

他说：“降低置信度阈值会让我们感到更安全的一个例子是，这项实验可能会将转化率提高10％或更多，例如重新设计了英雄部分。”

“这里的要点是，变更越激进，我们就需要在流程上进行的科学化越少。变更越具体（按钮颜色，微型副本等），我们就应该越科学，因为变更少可能会对转换率产生重大影响。”

7.确保您一次在任何广告系列上仅运行一项测试。

为单个广告系列测试多个功能（即使不是完全相同的资产）也会使结果复杂化。 例如，如果您在对A / B测试目标网页的同时，对A / B测试了一个直接定向到目标网页的电子邮件广告系列，您怎么知道哪个变化导致了潜在客户的增加？

在A / B测试中

8.使用A / B测试工具。

要在您的网站或电子邮件中进行A / B测试，您需要使用A / B测试工具。 如果您是HubSpot Enterprise客户，则HubSpot软件具有的功能可让您A / B测试电子邮件（ 在此处了解如何 ），号召性用语（ 在这里了解如何 ）和登录页面（ 在这里了解如何 ）。

对于非HubSpot Enterprise客户，其他选项包括Google Analytics（分析）的Experiments ，它使您可以A / B测试单个网页的多达10个完整版本，并使用随机的用户样本比较其效果。

9.同时测试两个版本。

无论是一天中的时间，一周中的一天还是一年中的某个月，时间在营销活动的结果中都起着重要作用。 如果要在一个月内运行版本A，而在一个月后运行版本B，您如何知道性能变化是由不同的设计还是由不同的月份引起的？

在运行A / B测试时，您需要同时运行两个版本，否则您可能会猜测结果。

唯一的例外是如果您正在测试计时本身，例如找到发送电子邮件的最佳时间。 这是一项很棒的测试，因为取决于您的业务范围和订户是谁，订户参与的最佳时间会因行业和目标市场而有很大差异。

10.给A / B测试足够的时间以产生有用的数据。

同样，您需要确保测试运行足够长的时间以获得足够的样本量。 否则，很难判断这两个变体之间是否存在统计学上的显着差异。

多长时间足够？ 根据您的公司以及执行A / B测试的方式，可能需要数小时甚至数天甚至数周的时间才能获得具有统计意义的结果。 获得具有统计意义的结果需要多长时间的很大一部分是您获得的流量-因此，如果您的企业没有大量访问您的网站的流量，则运行A / B所需的时间会更长测试。

从理论上讲，您不应该限制收集结果的时间。 （ 阅读此博客文章以了解有关样本大小和时间的更多信息 。）

11.征求真实用户的反馈。

A / B测试与定量数据有很大关系……但这不一定能帮助您理解人们为什么要对其他人采取某些行动。 在运行A / B测试时，为什么不从真实用户那里收集定性反馈呢？

向人们征求意见的最好方式之一是通过调查或民意调查 。 您可以在网站上添加退出调查，以询问访问者为什么没有单击某个CTA，或者在您的感谢页面上添加一个询问访问者为什么单击按钮或填写表格的退出调查。

例如，您可能会发现，很多人都点击了号召性用语，将他们引导到一本电子书上，但是一旦他们看到了价格，便没有转化。 此类信息将使您深入了解用户为什么以某些方式运行。

A / B测试后

12.关注您的目标指标。

同样，尽管您将要测量多个指标，但是在进行分析时，请始终专注于该主要目标指标。

例如，如果您测试了电子邮件的两种变体并选择了销售线索作为主要指标，则不要赶上打开率或点击率。 您可能会看到较高的点击率和较差的转化率，在这种情况下，您最终可能会选择最终具有较低点击率的变体。

13.使用我们的A / B测试计算器测量结果的重要性。

现在您已经确定了哪种变体效果最好，现在该是确定结果是否具有统计意义的时候了。 换句话说，它们足以证明改变的合理性吗？

为了找出答案，您需要进行统计意义的检验。 您可以手动执行此操作，也可以将实验结果插入我们免费的A / B测试计算器 。

对于您测试的每个版本，系统都会提示您输入尝试的总数，例如发送的电子邮件或看到的印象。 然后，输入完成的目标数量-通常您会查看点击次数，但这也可能是其他类型的转化。

计算器将吐出您的数据为获胜变化产生的置信度。 然后，根据您选择的值测量该数字以确定统计显着性。

14.根据结果采取行动。

如果一种变体在统计上优于另一种变体，那么您就有赢家。 通过禁用A / B测试工具中的丢失变化来完成测试。

如果两种变化在统计上都没有更好，那么您已经了解到您测试的变量不会影响结果，因此您必须将测试标记为不确定。 在这种情况下，请坚持原始版本-或运行其他测试。 您可以使用失败的数据来帮助您确定新测试的新迭代。

虽然A / B测试可帮助您逐案影响结果，但您也可以应用从每个测试中学到的经验教训并将其应用于将来的工作。

例如，如果您在电子邮件营销中进行了A / B测试，并反复发现在电子邮件主题行中使用数字会产生更好的点击率，那么您可能要考虑在更多电子邮件中使用该策略。

15.计划下一个A / B测试。

您刚刚完成的A / B测试可能有助于您找到一种使营销内容更有效的新方法-但不要止步于此。 总有空间进行更多优化。

您甚至可以尝试对您刚刚进行过测试的同一网页或电子邮件的其他功能进行A / B测试。 例如，如果您只是在着陆页上测试了标题，为什么不对正文进行新的测试？ 还是配色方案？ 还是图片？ 时刻注意增加转化率和潜在客户的机会。

了解如何使用下面的免费电子书更好地执行上述某些步骤。