实验分析

A/B 测试显著性计算器:两比例检验与 p 值

用两比例 z 检验比较两个变体。输入 A、B 两组的访客和转化数,查看转化率、相对提升、p 值,以及差异在 95% 水平是否显著。

✓ 隐私优先:计算在浏览器本地完成,输入内容不会上传。

输入两组独立访客和转化数;转化数不能大于访客数。

结果

如何使用

  1. 填写 A 组访客和转化数。
  2. 填写 B 组访客和转化数。
  3. 计算并结合实际影响解释 p 值。

计算方法

转化率 = 转化数 ÷ 访客数。相对提升 =(B 转化率 − A 转化率)÷ A 转化率 × 100。p 值来自使用合并转化率的双侧两比例 z 检验。

示例

A:1,000 访客中 100 次转化(10%);B:1,000 访客中 130 次转化(13%)。相对提升 30%,双侧 p 值约 0.0355,因此在 95% 水平显著。

限制

  • 假设分配独立,且测试期间转化定义稳定。
  • 不校正多变体、序贯检验或中途查看。
  • 统计显著不等于业务或收入显著。

输入与假设

更多示例

A 访客A 转化B 访客B 转化A 转化率B 转化率相对提升p 值显著
1,0001001,00013010%13%+30%0.0355是
100101001210%12%+20%0.6513否
1000100100%10%—0.0012是

常见错误

来源与复核

结果是使用合并标准误的两比例 z 检验和双侧 p 值,属于统计估计,不保证 B 在未来一定优于 A。

复核日期:2026 年 10 月 22 日。本工具不替代预先登记的实验设计或样本量计算。

FAQ

常见问题

p 值是什么意思?

它表示在两组没有真实差异的前提下,观察到至少这么大的差异的概率。它不是 B 更好的概率,也不是结果会重复的概率。

95% 置信度总是够吗?

不一定。可接受的风险取决于决策。高风险改动可能需要更强证据,并检查护栏指标。

可以同时测试三个或更多变体吗?

本工具只比较两个变体。测试多个变体会增加误报概率,需要使用多重比较校正。

结果显著就可以直接上线 B 吗?

不能自动上线。还要看实际意义、收入影响、护栏指标,以及测试是否按计划执行。

应该用访客还是会话?

使用被随机分配的单位。如果按用户分组,就分析用户;同一用户的多个会话可能相关。

计算器会告诉我测试要跑多久吗?

不会。它只分析现有数据。应在启动前确定样本量和时长,并避免中途反复查看。

方法与来源复核于 2026 年 10 月 22 日

发现错误或有改进建议? 告诉我们.

我们如何复核公式与来源