· 3 min de lectura

应对预测失败的艺术与民主化A/B实验

百分之九十的预测都是失败的,说明你做的东西是困难的。

今天听到这句话,有了很深刻的感受,想一想自己总是预测失败的领域,与父母的相处,与一些朋友的相处,写作的结构,等等。

对我而言,这些事物既困难,也值得研究,所以宁愿投入足够多的时间和精力去面对,而不至于患得患失。

同时,从解决问题的过程中获得的历练和整合也因为困难而宝贵的。正如《树之生命木之心》中所说:

要想成为一个好的手艺人,需要长时间的修炼过程,没有近路也没有快道,只有一步一步地埋头往前走。这跟在学校的学习不同,它不是光靠脑子死记硬背、死读书来完成的。这种修炼不是很多人一起学习同一样东西,并以同样的速度记住的过程。

它的过程是需要靠自己慢慢地体会和积累,靠继承祖辈们传承下来的技艺和智慧来完成的。所有的活计,从基础开始,不弄懂每一步到底是怎么回事是不可能进入下一步的。

因此无论你做什么都会遇到最基础的问题,无论你中途退出还是以他物取而代之,最后还是需要你自己去解决所有的问题,没人能帮得上你,这就是我们手艺人的工作。

解决这些问题,不就是没有人能帮得上你吗?不就是不弄懂每一步到底是怎么回事是不可能进入下一步的吗?这才是令人向往的技艺,真正宝贵的技艺。

关于预测,还有一个概念很有意思:

看到一个软件叫做statsig,基于民主化A/B实验的软件,觉得很有意思,是一个很好的互联网实验工具和方法。

是否应该下大力气去减少游戏的加载时间?常规的决策方式可能会先收集玩家的意见,按照玩家的想法来决定,但实际上玩家并不能提供一个可信的观测数据。

减少加载时间很困难,但人工增加游戏加载时间很简单,我们可以先测一下增加游戏加载时间对用户带来的影响,然后用这个结果来评估要不要投入几个月时间去减少。最后的结论是这个优化带来的增益,远远不值得投入这么大的精力,然后我们就可以用这个时间去做更有效的事情了。

这就是民主化A/B实验,它的原则是

实验的门槛和开销要低。这是所有人都能够去测试他们各种想法的必要条件,非常重要。

实验数据要容易获取且透明。数据容易获取,可以降低实验的门槛;数据透明,实验结果才可以让大家信服。

决策结构去中心化。在民主的实验文化下,任何意见都会被考虑,用实验一一去测试可行性,然后再用数据结果来做决定。

能够自我学习和优化的团队。当结果和预期不一致时,这种看似失败的实验,往往能带来更多的思考价值。

这也就意味着,我们有可能在决策之前有一个比较准确的预测,特别是这种实验运用于互联网时,更有预测的必要。

那这种预测能不能减少那些真正困难之事的预测失败率呢?或许会有但也不会更准确一些,因为困难之事之所以困难,是因为他们的答案还未曾有人真正发现过,也并没有一群演员来配合演出,你只能独自一人前进。