名词释义

试验组

一般指我们需要验证接受试验假设的策略组，分到此组的用户看到对应的策略展示。

试验层

为了让多个可能产生相互干扰的试验同时运行，需要将这些试验加入到不同的试验层中，用户进入同一个试验层时只能命中该试验层中的其中一个试验，用户进入不同试验层时可以命中不同试验层的多个试验。

置信水平

对一个概率样本的总体参数的进行区间估计的样本均值范围。置信区间展现了这个均值范围包含总体参数的概率，这个概率称为置信水平。

置信区间

根据统计学的中心极限定理，样本均值的抽样分布呈正态分布。因此，通过相关的公式我们可以计算出两个总体均值差的95%置信区间，计算公式为：

统计功效

统计功效的作用是在假设检验中， 当原假设错误时， 接受正确的替换假设的概率。

正交试验

如果您需要较多的试验流量，或者您可以确保试验之间互不干扰，则可以选择分层试验，同一个用户有可能会进入不同层的多个试验。

互斥试验

当您同时运行多个试验时，如果希望试验结果尽可能精确，需要确保试验之间互不干扰，则建议您将试验建立在同一分层，同一个用户只会进入该分层中的一个试验。

核心指标

作为评估试验效果的主要指标，核心指标会计算置信区间。

对照组

一般指拒绝试验假设的默认策略组，分到此组的用户看到默认的策略展示。

分流主体

分流时可使用设备、用户、账户、访客、自定义标识作为设备的主体标识。

T 检验

T 检验，亦称“Student's t test”， 主要用于样本含量较小（例如n < 30），总体标准差σ未知的正态分布，用t分布理论来推论差异发生的概率，从而比较两个平均数的差异是否显著，t 值的计算公式为：

p-value

在原假设为真的条件下，样本数据拒绝原假设这样一个事件发生的概率。