此前,企业进行 A/B 测试时每个试验指标都需要单独配置,在业务发展初期还可以接受,但当你的公司有 5 个业务部门、每个部门有 50 个试验、每个试验需要配置 10 个指标时,该怎么办?

　　在神策数据 A/B 测试产品服务客户的过程中,我们收到了不少基于试验高质量增长的反馈,但与此同时,也进一步收集到了客户对 A/B 测试产品的更多需求,比如多产品线的指标配置口径统一、更细颗粒度的试验直观分析报告等。

　　针对此,神策数据 A/B 测试产品团队秉承着“给客户带来价值”的理念,深入客户痛点,完成指标管理与试验报告两大模块的重磅升级,明确了试验指标的类型、配置方式和计算原理并可以统一调用,显著提升试验配置效率;另一方面,新版试验报告拆分化,无论你是企业的什么角色,在使用 A/B 测试的时候,都可以快速获取更丰富、方便阅读的报告内容,以及多角度、细颗粒度的试验洞察和报告产出,全面提升产品体验。

　　关注神策数据公众号,了解更多 A/B 测试功能与实践。

　　接下来将详细介绍。

一、试验指标管理升级,把指标配置时间从「分钟」缩短到「秒」

　　为了帮助企业更好地进行试验指标管理,神策数据 A/B 测试在此次升级后,进一步完善了指标的类型、配置方式、计算原理,分析师等同学可以明确计算逻辑,最大可能减少歧义和与技术同学沟通的成本,轻松实现公司内部信息的有效统一。

　　比如,对于通用指标 DAU 来说,部分客户的公司内部有统一的口径,不同的业务部门做试验的时候如果跟着试验单独配置,容易造成 DAU 口径差异,带来指标口径和计算方案核对的额外成本。而通过试验指标管理功能,企业可以通过统一创建 DAU 指标,对齐后续所有试验涉及 DAU 指标的计算口径。

　　通过神策数据 A/B 测试的指标管理功能完成统一配置后,相较于过去每个试验都需要进行指标配置的情况,针对相关性较强的试验,企业可以告别费时费力的重复配置,有效减少操作量。过去需要数十分钟的配置工作,现在只需一键调用即可快速完成。

　　值得关注的是,神策数据 A/B 测试在此次升级后也将为客户提供常见业务指标的观测能力,帮助客户更全面地评估试验效果。

二、试验报告升级,不只有统计学指标,业务数据也一目了然

　　企业可以通过试验报告综合了解试验情况、同步了解业务状况、对试验进行小时/分钟粒度的监测、自定义主题分析等。通过此次升级,神策数据 A/B 测试将试验报告拆分化,同时丰富了每个细分部分的内容,全面提升报告的整体可读性和易用性。

　　具体表现在:

　　第一,综合了解试验情况。观测试验运行至今的进组情况、重要指标的数据表现、指标的统计检验结果。也就是说,相较于之前的试验报告,试验负责人可以通过新的报告总览直观了解进组人数、重要指标的表现,并统计检验指标结果。

　　第二,同步了解业务状况。除了关注试验本身的数据,同时观测常用业务数据在试验期间的变化情况。

　　第三,实时监测。对于实时性较强的试验,如活动落地页试验等需要进行短期高频观测的场景,可以进行小时/分钟粒度的监测。

　　第四,自定义主题分析。通过自选指标和观测时间范围,进行主题式分析逻辑的构建,辅助产出报告或分享试验洞察。

　　第五,发布报告增加指标选择。可切换指标查看发布策略情况。

　　升级后的试验报告不再只有单纯的统计数据结果,对于关注业务类指标的产品运营同学,可直接查看试验的业务报告;对于技术同学来说,参考检验类指标相对更严谨;对于试验负责人,只需查看报告的试验总览,即可获得进组人数、重要指标的表现,以及检验指标结果。

　　通过指标的统一管理,报告可读性和透明性提升,打消客户 A/B 测试使用成本的顾虑,可以让客户更加聚焦业务本身,而不是反复的配置和需求沟通上。

　　除此之外,神策数据 A/B 测试在此次更新过程中,还进一步明确了试验进组事件,减少对指标计算逻辑的误解;同时,样本量计算器适配最新的指标管理逻辑,支持多个检验指标切换去预估样本量,自动配置计算模板。

　　关注神策数据公众号,了解更多 A/B 测试功能与实践。