一群PM聊一个话题的乐趣
群友误区：
A/B测试是什么？这个不是测试的事吗？和产品经理有什么关系？
什么是A/B测试？
AB测试是为web或app界面或流程制作两个（A/B）或多个（A/B/n）版本，在同一时间维度，分别让组成成分相同（相似）的访客群组（目标人群）随机的访问这些版本，收集各群组的用户体验数据和业务数据，最后分析、评估出最好版本，正式采用。
一句话概括：针对目标人群，发布多个版本，通过数据分析，验证哪个版本是用户更喜欢的。
A/B测试的作用？
#消除客户体验设计中不同意见的纷争，根据实际效果确定最佳方案；
#通过对比试验，找到问题的真正原因，提高产品设计和运营水平；
#建立数据驱动、持续不断优化的闭环过程；
#通过A/B测试，降低新产品或新特性的发布风险，为产品创新提供保障。
群友观点：
雪芒：电商类，前端用的很多。
郭健文：B端很少用AB测试，C端比较多。
为什么C端要用AB测试：因为对于一个新功能而言，要判断用户喜欢哪一种方式，不能主观判断，只能通过数据分析，而数据分析可以来源于AB测试的横向比较。
后台想怎么搞就怎么搞，我们AB测试都不搞，就只弄灰度发布。效果不好就回滚。
子夜优舞：哈哈 我们也是， 成熟框架，写崩了框架的锅，写错了你的锅。
nina：后台没有做过A/B测。页面倒是做过一次，但是流量不大，没有什么参考意义，之后就没有做了。
E.M：后台因为对内且试错成本相对终端来说较低，所以不会作AB测试。同时后台最多只会做beta。A/B测试产品还真的跟进多点。
看到你们都在说A/B测试，如果涉及到终端，没法回滚得。都知道A/B测试，但是有没有都深入了解过A/B测试在各端的执行落地方案。ios一个包发出去了，你们怎样弄。没那个量，做也没意思，日活常规到大几百万没？
灿城：对，需要人力物力时间。
blessed：只允许有一个变量不同，多了没有对比价值。
之前看到一图，分享之
程传宝：a/b测试也需要注意，参与测试的用户结构以及属性特点要基本一致，避免对数据的准确性造成影响。
Azir：AB测试是产品的事。AB没多难，公司内部也可以试，关键是你统计的数据，可能一个按钮该放什么位置就直接影响ROI。
祝丰：字节跳动的产品经常用AB测试，叫测试而已。更多的使用数据思维验证产品，增长黑客的必须手段。最关键的是一次只控制一个变量比较难操作。如果多个，就容易导致注意力分散，不好分析数据准确性。
嗒嗒兴：A/B测试就是验证哪种方式更能提高转化率或者更符合用户需求这样。
Miss女尔：我一直G端 C端的时候 也没做过AB测试。哦 明白了 发布不一样的同一版本,对比哪个引流多，666 学到东西了 以后可以用。
猪哥汇总：
1.从简单开始：可以先在Web前端上开始实施。Web前端可以比较容易的通过可视化编辑器制作多个版本和设置目标（指标），因此实施A/B测试的工作量比较小，难度比较低。在Web前端获得经验后，再推广到App和服务器端。
2.隔离变量：为了让测试结果有用，应该每个试验只测一个变量（变化）。如果一个试验测试多个变量（比如价格和颜色），就不知道是哪个变量对改进起了作用。
3.尽可能频繁、快速进行A/B测试：要降低A/B测试的代价，避免为了A/B测试做很多代码修改，尽量将A/B测试与产品的工程发布解耦，尽量不占用太多工程部门（程序员、QA等）的工作量。
4.要有一个“停止开关”：不是每个A/B测试都会得到正向的结果，有些试验可能失败，要确保有一个“开关”能够停止失败的试验，而不是让工程部门发布一个新版本。
5.目标人群必须特征一致：如果AB测试选取的两波人群属性不一样，那么AB的实验结果就没有一丁点的说服力的。
6.先“特区”再推广：先在一两个产品上尝试，获得经验后，推广到其他产品中。
7、C端产品用的主要原因是解决意见分歧、同时也可以用事实数据验证哪种方案更受大众喜爱。
8、ab测试使用情况：to B产品、to G产品、小公司很少用到；to C产品、大公司用的比较多。
9、小产品做ab测试毫无意义，费时费力还费钱
谢谢各位大佬教诲，欢迎更多大佬加入一起探讨！
作者：会飞的猪
标签：退伍军人，反面教材创业者，懂技术懂运营的不知名产品人
老铁
点个在看
微信扫一扫 
支付宝扫一扫 
