试验管理

文章图片

试验管理页展示当前创建的试验，包含试验 ID、试验类型、试验名称、试验层、更新时间、创建人、状态信息

在试验管理页中可以查看试验报告、上下线及发布试验、编辑试验、复制试验、删除试验

点击右上角「创建试验」可以进入创建试验页面

基本信息

文章图片

试验名称

试验名称为必填项，不可重复，长度不超过 20 ，支持中文、大小写英文、数字，不能以数字开头。

试验描述

试验描述为选填项，最大不超过 100 字符。

运行周期

勾选「运行周期」可以开启试验定时上下线功能，支持精确到小时。
未上线的试验可以编辑开始和结束时间，试验上线后，只能调整结束时间且不可早于当前时间

选取受众用户

文章图片

试验层

需要为试验选择一个试验层，试验层为必选项。
如果当前无可用的试验层，可在下拉菜单中点击「新建试验层」创建一个试验层，新建试验层时会根据当前选中的分流主体自动选择对应的主体。
可以设置当前试验层在本次试验中可用流量比例，试验层可用流量默认为 100%，当前试验层可用流量 = 100% - 当前试验层中运行中试验所占用比例之和。

分流主体

设备 ID：SDK 生成的设备唯一 ID, 属性名为 _distinct_id。
用户 ID：热力引擎的用户唯一标识, 属性名为 _user_id, 由_account_id 和_visitor_id 按用户识别规则生成。
账户 ID：由开发者上报的账户 ID, 属性名为 _account_id。
访客 ID：访客 ID, 属性名为 _visitor_id, 优先取值为开发者传入的值, 未传入时取值为 _distinct_id。

条件配置

全部：以日活作为受众用户，所有访问试验的用户都将参与分流。
条件筛选：通过事件或属性筛选圈选受众用户；当分流主体为用户 ID 时可以使用用户属性，分流主体为设备 ID时可以使用设备属性。
分群：可以使用已存在的用户分群作为受众用户，分群主体需要与试验的分流主体一致。
文件导入：可以通过 csv 文件上传 ID 列表，文件大小不超过 200M，重复上传时新文件会覆盖旧文件

分配流量

文章图片

流量调整只对新进组用户生效

默认开启，开启后流量调整只对新进组用户生效，已进组用户依然命中原分组，运行中和已结束试验不支持修改。

文章图片

分配方式

平均分配：根据当前分组数将 100% 自动均分，最后一个分组补齐分配比例到 100%。
手动分配：可以手动调整比例，范围是 1~100 的整数，剩余未分配的比例会归入待分配组，不进入试验。

分组名称

根据实际需要调整分组数量，最多有 10 个分组，支持自定义分组名称，长度不超过 10 ，支持中文、大小写英文、数字。

分流比例

展示当前每个分组的流量比例，手动分配模式可自由输入比例值。

分组描述

支持使用文字或图片两种方式。

调试设备

可添加设备的 _distinct_id 作为调试设备，每个 _distinct_id 在同一试验层中只能添加到一个分组内，调试设备访问试验时将直接进入所在分组，忽略其他受众条件。
调试设备命中分组不产生分流事件，所产生数据不会在报告中被统计。
试验创建后默认为调试中状态，此时只有调试设备可以命中该试验

参数

需要为每个分组分配试验参数，可在参数管理中维护参数，最大支持添加 10 个参数，参数在不同试验层内不可重复使用。

配置指标

文章图片

每个试验最多可配置 10 个指标，指标名称不可重复。
需要为试验设置一个核心指标以评估试验效果，其他指标作为关注指标辅助评估，核心指标的格式要求如下。

常规指标：人均次数、人均值、平均值可以设置为核心指标。

自定义指标：指标A/指标B（A或B 不支持人均次数、人均值、平均值）可以设置为核心指标。

留存指标后续事件

留存指标的初始事件为用户进组事件

可自定义后续事件作为用户留存的回访事件，回访事件支持添加筛选条件

上线试验

试验创建完成后状态为「调试中」，在试验列表中点击试验对应的「上线」按钮上线试验。

下线试验

当运行中试验下线时，已请求到的试验参数在试验下线后依然保留在设备中，可在试验下线后通过创建在线参数规则更新设备中的参数

需要选择当前试验中的一个组的参数作为更新的参数
点击确认后当前试验转为下线，同时在线参数中增加一个对应的规则，用来更新已进组用户设备中的参数

A/B测试