覃超：Growth Hacking & AB test

本篇文章10480字，读完约26分钟

编者按:3月12日，在外迈科技与丰瑞资本联合举办的“成长黑客——网络时代的超级英雄”线下沙龙中，前facebook工程师、现丰瑞资本技术合作伙伴覃超第一个为大家带来了题为“覃超:成长黑客& ab测试”的主题演讲。本文来源于微信公众账号(id: appadhoc)，经授权转载。

我在脸书上的经历

我做过很多增长黑客，我以前在facebook上做过一些实践经验总结，重点是ab测试。

我在facebook的主要经历是从做一些与facebook手机相关的事情开始的。facebook phone是ctu自己领导的一个非常雄心勃勃的项目。在硬件方面，它与htc合作，拥有自己的操作系统，并拥有大量自己制作的应用程序。同时，我们邀请了许多开发者为我们开发应用。

当时我想做的一件事是与安卓和ios竞争，这在当时是高度机密的。我们整个团队根本不在脸谱网上，而是在脸谱网旁边的大楼里秘密开发的。当我们泄露这一事件时，反恐组勃然大怒，直接解雇了泄密者。因为那件事，和斯蒂芬的关系不是很好。后来，由于种种原因，这个电话最终没有打出来，反恐组也因此事件离开了脸谱网。简而言之，当时发生了许多惊心动魄的事情，所以我现在不在这里详述。

后来，我去了特别有趣的信使小组。它的产品形式相对固定，但当时只有很少的信使用户，而facebook的主要应用有很多用户。当时，整个信使集团被强行拉下增长。所以在接下来的两年里，如何用增长黑客的方法制作一个产品，并把facebook用户拉向messenger就是这样一个过程。

我基本上在facebook上呆了两年，参与了成长黑客的整个开发过程，并总结了一些东西。

facebook上的增长黑客

让我们来看看为什么facebook的增长表现良好，或者为什么facebook增长黑客值得学习。我没有炫耀和吹嘘自己。当我进去的时候，每月大约有5.5亿份工作，当我出来的时候，是16亿份。当我进去的时候，每天有2.5亿活跃用户，当我出来的时候，有9.5亿。随着这一比例的增加，该公司无疑是世界上增长最快的公司，其16亿用户已经超过了中国的总人口，使其成为世界上第一个国家。

如果你看看日常生活与每月生活的比率，事实上，它已经增加了，也就是说，越来越多的每月用户已经成为它的日常用户。如果你看看它的手机版，现在手机用户的数量接近90%，当我第一次进入的时候大约是20%，因为我第一次进入的时候苹果刚刚起步，现在是85%。也就是说，它的整体用户数量，它的活跃程度和它在移动中的适应性都很好。

让我们再看看这个数字。这个数字显示了从2010年到2013年底facebook用户的增长曲线。在2010年之前，有超过5亿的用户，所以它非常非常接近尾声，而不是爆发阶段。在用户增长的三年中，你会发现一个特征，基本上是线性增长。此栏的总高度代表所有用户，每个用户都有不同的颜色，代表不同的国家和地区。第一批是美国和加拿大，这两个国家基本上已经成熟，所以你可以看到它生长得很慢，而其他地方生长得相对较快。但看看它的总趋势和整个柱的高度，这基本上是一个线性增长，也就是说，稳步上升的趋势。一般来说，线性增长只能是一种情况。当然，在中国有两种情况，一种是数据欺诈，另一种是facebook经常使用的情况，即使用大量的监控和数据，并做大量的测试来看看这种增长是什么样子。事实上，这个数字是3个月的数据。如果你把数据分成每一天或每一周，你会发现它的用户的活动在抖动，而且抖动得相当厉害。原因是什么？它是实时监控的。当它的数据下降时，我们采取许多措施把它拉回来，所以它保持基本稳定的线性增长。因此，一切都是手工训练的结果，而这种手工训练是与成长黑客有关的，将在后面讨论。

这是我们的整个facebook校园，我们在那里上市，在那里打印了一个黑客，右下角是反恐组工作的地方，那是他的大玻璃房间。后来，当整个校园搬到一个新的建筑时，玻璃面不在这个广场上，这也是我们公开的地方，黑客这个词放在我们的地板上。与此同时，黑客有时会安排不同的颜色，这也是黑客的行为，也就是说，做一些特别的，有用的或有趣的事情，只要你不违反法律。让我们从facebook上增长黑客的定义开始。facebook文化中非常重要的一点是黑客精神，这意味着你立即开始，快速完成，然后不断迭代。在中国有趣的一点是，它超级快速和激烈，这是另一种解释，但它有类似的含义。有一件事是禁忌的，那就是你有任何新想法和新提议。当每个人都在一起时，有些人肯定会反对，因为你不可能一开始就完美。然后大家聚在一起，两个星期后，没有任何进展。这在脸书上是绝对禁止的，而且是非常非常反对的。相反，如果你有任何想法，立即去做，做一个产品的原型，或者一个总体外观，然后看看用户的反应，或者甚至看看用户在发布灰色版本后的反应。其特点是非传统技术驱动，数据为王。增长就是增长，所以增长黑客意味着通过黑客来实现用户的增长。这里的用户增长包括用户数量和他们的活动。

增长黑客与传统增长模式的区别

让我们看看具体的增长黑客。首先，它与传统的增长模式有什么不同？

传统的增长方式是在美国的电视上做广告，在中国也是一样，然后扩展到任何频道。让我们先来看看互联网产品。在它的用户进来之后，如何使用你的产品以及随后对产品的影响。

第一层是获取，也就是说，用户拉动新产品并获取它们。获取后，激活成为活动用户，并在激活和注册后开始使用它们。保留意味着在你满足了某个要求之后，他认为你是有用的，然后把它保存在你的应用程序中，也就是说，保留意味着继续，保存在你的应用程序中，可以是网页或你的应用程序。后来，他可以支付，因为他认为你真的值他的钱，所以他开始支付，这成为你的收入。最后，推荐意味着用户认为你真的很好，然后自发地重新分享。这五个层次不是一个接一个的。它们实际上是产品中的一个循环。它们只是被放在这里，因为就像一个漏斗，每个人群都会相应地减少。所以我们需要知道的是，当你的产品在三个月后发布时，你的每个部分的情况如何？你应该有一个清晰的理解。这是关键。你不会在意用户何时开始使用它。

传统营销方法可以解决的问题是播放各种广告，它可以解决品牌知名度和用户推广的问题，但它不能很好地衡量有多少用户激活，有多少用户保持和有多少用户给你增长，这是它的比喻，有多少用户从你的新营销方法后每一层楼，有多少人最终支付和分享它。增长黑客在这里，因为它是通过技术手段和程序方法解决的，你可以埋藏一些点，同时标记这个用户。在这批用户进来之后，您将清楚地了解每一级还剩多少用户，以及这里还剩多少用户。这是增长黑客可以给每个人带来的最大好处，也就是说，它可以分析第一层的用户，这样你就可以详细了解每个用户的行为，每层的转化率是多少，然后找出你的应用程序有什么问题。关键是这个。

我们做什么呢

让我们看看，如果我们希望用户增长，我们需要做些什么。让我们先来看看facebook的增长情况。

facebook成长的一个特点是，扎克伯格亲口说过，要建立这样一个成长团队，整个团队最大的特点就是直接向扎克伯格汇报。年龄最大的是西班牙人哈维尔，其次是收集数据和进行数据分析的小组，即数据分析师。这个职业主要关注数据分析，并编写各种sql语言。分析，建立各种数据图表，然后把许多图表放在一起。每周，每个人见面时都会看一张桌子。当某些抖动非常严重时，他会标记它，每个人都会见面分析原因。例如，一些伊斯兰国家进行一些禁食或其他活动。人们不吃东西也不上网。像这样，有些可能是因为你的产品有问题，然后你会及时找到原因。基础设施组负责架构，因为数据量非常非常大，所以需要一些努力。例如，现在每个人都经常谈论大数据的基础架构，这也是由这个小组完成的。增长战略由亚历克斯舒尔茨领导。如果你说成长黑客，你会经常发现他的讲座。他在这里所做的是查看各种数据以制定增长战略，也就是说，它不是一个技术团队。他想自己考虑一下策略，然后再考虑如何进行。I18n的话是因为我们已经做了一个系统来翻译整个facebook。messenger非常非常重要，所以它是由paypal首席执行官大卫·马克思领导的。上个月，扎克伯格被授予2015年最佳首席执行官。如果你看了那张照片或那段视频，大卫会去帮扎克伯格颁奖。对于整个团队来说，你会看到它的功能是非常完整和独立的。有些产品是自己开发的，有些产品与其他产品组或工程师深入合作。它之所以有如此大的影响力，是因为扎克自己在起主导作用，而且基本上整个数据驱动和增长的事情都深深扎根于facebook。这种文化会让每个人都想知道它背后的数据是什么样的。让我们来看看messenger置于整个增长黑客之下，我们为这个产品做了什么，增长黑客的步骤是什么，从而实现整个messenger的快速增长。

第一步是开始收集数据并显示这些数据。我们经常显示，无论是整个脸书主页还是其他页面，我们经常看日常工作或每月工作。根据产品的不同，facebook本身频率不高，主要是看月度工作，而看周工作相对较少。messenger是一个自然频率很高的东西，所以它主要是观察日常工作。用户的上网时间决定了很多事情，所以我就不细说了。用户保留率，例如7天保留、第二天保留和3或4天保留。用户参与是指在7天内登录6天。我将详细解释这一点，因为l6/7可能不为外界所知。这是facebook上非常非常沉重的指标。指用户在7天内登录6天的次数。这一点之所以重要，是因为日常活动不能反映用户的逆转程度。这个指标可以跟踪你的平台上的单个用户的忠诚度，你可以根据日常活动来查看用户的健康状况。对于一个特定的函数，我们会有自己独特的索引，就像这里，就像喜欢/评论。因为我们的推荐算法经常改变，如果它改变了，我们可以看看普通用户的喜欢/评论，看看你的推荐算法怎么样了。你对创业公司或其他做这种仪表板的公司的核心业务指标是什么？你必须满足和决定这样一个指标，然后把它放在这一页上。因此，这个页面的建立相当于最基本的情况，现在已经有很多服务基本上建立起来了，这相当于这个基本上是标准的。

第二步是分析你的仪表板。最简单的情况是了解你的产品的健康水平和存在的问题，或者看看活跃的比例是否太小，用户的保持力是否不够。你要做的一件事是采访用户，或者做一些搜索机制，定期给他发邮件，告诉他发生了什么新变化。

第二是如何进行相应的监控。第三点非常重要。在中国可能被忽略的一点是，你可以通过用户数据反过来推断一些函数迭代。在facebook，这是一个传递数据的问题，这反映了为什么有些用户非常活跃，而有些用户非常不活跃。最后，推断出他的朋友越多，用户就越活跃。因此，他做了一个像pymk(你可能认识的人)这样的功能，你可能知道这样的功能，即使在facebook修改了很多之后，这个功能仍然存在。同样的，我们也进行了一些其他的数据分析，发现如果一个用户的信息比较完整，它的活跃程度会比较高，所以那个时候在facebook的左边页面上加了一个小红点，这就意味着你的用户信息不完善。这些也用于各种创业公司和创业产品。例如，你能做得很好，你的信息完成的百分比是多少。我认为你已经使用了许多其他的社交产品，你会经常看到这一点。这一点基本上是增长黑客或吸引用户使用它的标准，或者是用户保存在你的平台上的标准，也就是你的完整性，你可以用小红点或百分比来提醒用户。第三步是关于增长模式。在脸书上，经过大量练习，我总结出三点:

1.拉新的2。留住用户。3.用户有很多方法来分享新单词。在那些日子里，facebook是相对土气的，也就是说，发送电子邮件或指导用户的地址簿。现在，有各种各样的其他词，以及花钱来推动它们。我认为我们可以在中国做得更好。如果您保留它，这意味着您应该始终监控该用户。你的应用的保留率是多少？现在，它基本上是标准的。我想强调的是，保留永远是王，保留的基础是产品满足用户的核心需求。在这方面，成长黑客对你没什么帮助。你必须分析你的用户形象是什么，用户的痛点是什么，以及你如何解决用户的问题，这是它的内在原因。增长黑客相当于外部原因。它可以在一定程度上通过技术方法或方法帮助你提高记忆力，但本质上，它仍然要求你满足用户的核心需求。对于用户来说，重新分享，口碑是可以实现的，这是你的产品最好的增长方式。从技术角度来说，用户可以做的是使共享按钮尽可能简单。如果你去任何社交、电子商务或o2o，在产品详细信息页面上会有一个非常方便的按钮。点击后，你可以和你的朋友圈分享或者在微博上分享。用智虎的话说，当你回答一个问题时，他的默认是你是否想在你的微博上分享。

第四步，我想特别强调的是，大量的守门人和ab测试已经在facebook中应用。网守指的是灰度发布，而ab测试是ab测试。让我告诉你什么是ab测试。我认为每个人都应该知道它的概念。也就是说，当发布一个功能时，并不意味着所有的功能都同时发送给所有的用户。只是一开始所有的函数都已经写好了。在代码被描述之后，服务器有一个开关，即使它已经被放入你的应用程序。用户下载后，该功能开始关闭，服务器通过开关控制该功能。一开始，它对多少比例的用户开放。例如，它只在开始时对您的员工开放，然后员工进行内部测试，然后使用此开关控制1%的用户，查看这些用户的情况。在这种情况下，他会看看你的数据增长对这些实验用户是好是坏，然后判断你的功能是否有问题，或者它是否满足你的预期目标，最后开放到5%和20%。也就是说，一步一步来，更重要的是收集用户数据的反馈，看看有没有问题。

ab测试的重要性

这个东西之所以重要，是因为它在脸书上随处可见，而且我们广泛使用ab测试。我们不会在非常小的功能上浪费时间。它确实是直接发送的，但是当一个非常大和重要的功能被修改时，我们会尝试很多，不管是在网上还是在标志上，这个ab测试最终会决定它是好是坏。考虑到你的公司，你公司的整体战略是什么？一开始，我们认为增长是最重要的，我们不在乎钱，所以我们不考虑赚钱。以后，我们会关心赚钱。有时它会损害用户体验，所以我们把它放上去。

例如，我们在主页上尝试了很多。稍后，我可以详细告诉你我们修改主页时遇到的各种问题。此外，我们的移动应用最初只是一个抽屉。很久以前，每个人都使用明显的九宫格。许多应用都是这样的，然后它变成了一个抽屉。最近的版本在两三年前被改成了下面的版本。有五个入口。这五个入口是什么？按照什么顺序，我们在那一年也进行了大量的抗体测试。通过ab测试，我们选择了一个对用户增长和收入增长最合理的组，并将其放在这里。我可以想象如果公司盲目前进而不进行ab测试会造成多大的损失。与此同时，整个界面的开发、更新和重新设计最终花了大约3个月的时间，但是我们的ab测试花了大约6个月的时间。例如，这五个的顺序是什么，把这五个放在哪里，是放四个还是五个，为什么把这个人类符号放在右上角，我们也做了很多计算。

让我给你举个例子。这里的第二个是请求(朋友请求)。那时候它为什么放在这里？你可以考虑一下。人们通常认为朋友请求意味着其他人想添加你的朋友。这不是很重要。你为什么不把它放在目录里？当朋友加你的时候，只需显示一个小红点和一个小红点。用户到了那里后，你可以看到用户添加了你和我。

告诉我ab测试是如何在脸书上使用的，为什么它很重要。当facebook强制发布任何大功能时，你应该先做计划，同时也要有所期待。计划是关于函数发布后的周期有多长，你的期望是关于它将如何影响用户的数据。一般来说，用户的活动会增加或用户数量会增加，但也可能有其他影响。例如，用户的在线时间会下降一点，因为你更有效率，否则会影响用户的功耗和流量损失。

最终，在我们基本上100%地打开它之后，我们最终清理了所有的客户端代码，这意味着在很长一段时间内，比如两个月，这个应用程序会有几个版本，这是真的。

让我们告诉你那一年我们的ab测试是如何进行的，也就是记录的功能。这个功能是在我认为微信做得很好之后添加的。最后，pm和rd自己认为这个功能还不错，所以他们批准了它，所以他们在我们的产品中正式实现了它。当时，他们给了我们pm和一个设计师来做这样的功能。当结果发布时，整个代码已经开始编写了。该应用程序更新并发布给用户后，用户无法立即打开它。相反，在我们开始打开服务器上1%的用户后，1%的用户开始看到这个功能，然后我们立即查看这1%的用户数据。我一开始期望的是用户的活动会增加一点，因为有了一个新的消息表单。同时，我也期望它的个人用户发送的消息数量会增加一点，因为你会感受到这个用户的感受。这是一种有趣的交互方式，但我也要说，它的功耗会稍微多一点，流量损失会稍微多一点，但对用户的整体活动不会有太大影响。最后，数据与我的预期相似，所以5%的用户开发得很快，达到90%的用户，并且在最后一个月发布给所有用户。如果你的公司相对较大，你有数千万用户。这时，你应该注意它。一步一步地发出去是非常重要的。此外，中国仍然存在同质化竞争非常严重的局面。例如，有甲和乙，在两个战斗的情况下，喜马拉雅山和蜻蜓，当以前的市场玩58，你不能只是兴风作浪。因此，在这样一个大公司里，ab测试尤为重要。

拯救陷入困境的facebook的一个例子

让我给你另一个例子。这个例子几乎是把facebook从困境中拯救出来的一个例子。我们的网站在2009年是这样的。如果你现在打开它，它将基本上是一样的。然而，毕竟在那些日子里，我们公司要求发展得非常快。大约有四五次，我们想修改主页，例如，把它改成瀑布，因为许多产品经理都有自己的抱负，或者有些人在追求他们的kpi后经常会有一些建议。其他人会想它是不是平的，但是一个在左边，一个在右边，因为显示了一条线，所以不是特别好。

最大的修改是在这个时候改变了这个外观。这个版本非常有名。2013年，有一个特别棒的副总裁，然后很多非常有权势的人被带来做这样的事情。当时，有一个非常强大的设计师，他在脸书上有很好的声音。他谈了几个理论。首先，照片非常非常醒目。毕竟，用户实际上生活得越来越快，他们更喜欢看照片而不是读单词，所以照片被打乱了。与此同时，由于时间太分散，他没有太多时间一直停留在上面，所以他把很多东西放在一起，贴在左边，以图片的形式显示在左边，谈论其他理论，整个页面变得扁平。如果你在电脑屏幕上看，你会觉得更漂亮。

在那之后，我开始做这件事。我认为它真的很好。整个团队是一个非常强大的团队，大约有60人。它开发了6个月。一开始所有员工都使用它。员工方面的数据基本没有变化，但是员工的反应很好，他们感觉很美。后来，它被开发出来了。开始时，1%的用户发现了问题。这组用户的活动和在线时间都减少了，而且降幅很大，接近20%。当时，我们去检查，第一个问题是因为什么？也就是说，当我们隐藏数据时，我们在收集数据时没有写好，因为每个人都在忙于开发各种功能。你在这家公司工作的时候就会知道。当我们埋藏数据的时候，也许每个人都没有时间和精力，或者每个人都认为它脏了或者累了，并且一下子就完成了。员工的数据收集是错误的，但用户的数据收集是正确的。

毕竟，在当时发出之后，这样一个庞大的团队工作了半年，而他当时一直在游说。然后他们还谈了很多理论。例如，起初，用户可能不适应我们的界面。虽然它很漂亮，但我们必须给用户一定的时间。同时，我们再次优化了它。扎克当时也很开放。说那很好。毕竟，在这样一个庞大的团队工作了半年之后，要让它如此轻易地消失是不可能的。后来，他们继续做了大约三个月的优化。上个月底，用户数量增加到12%。对于这组用户，近18%的用户活动减少，18%的用户在线时间也减少。因为我们在过去的在线时间里直接看了广告，你的广告显示得更少，这意味着我们损失了这个用户群近20%的收入。最后，数据真的不合理，然后他不能坚持。扎克伯格回滚了整个版本，回滚到当前的facebook页面。如果你读了这一页，回头看这一页，你有时会觉得这一页像80年代的那一页，或者像hao123，这一页更现代一点。的确，这一页给了当时的人们同样的感觉。他还谈了很多事情。设计师实际上非常开放。他觉得这件事必须上传，但就数据而言，他的数据很差。如果你没办法，你可以给我。这个版本将留在这里。

当时我们想做的事情之一是稳步增长，同时，我们没有让收入下降。最后，我们选择了这个版本。如果你的公司是以设计为导向的，或者如果你不在乎赤字，但想做点什么，保持这一点可能没有错。但是最后，你的想法是你有这么多的用户，最后你会保留哪一个？你必须做ab测试，收集数据，最后分析数据。你选择哪个版本，它的特点是什么，所以保持A或B，不要只是拍拍你的头，或者看着老板的眼睛。

六个月后，每个人都复制了我们的版本。那时，我们都下线了，但毕竟我们有20%的用户，其他媒体经常报道。然后每个人都密切关注pm，并立即拿出一个几乎相同的版本。我们觉得数据太糟糕了，无法回到过去，但当时每个人都已经完成了，所以他只能上网。上线后，他没有做任何其他事情，直到下一版。

最后，这位大人物离开了公司，因为他花了大约60个人半年的时间。他写了一个博客，其中一句话是一切都必须测试，它的功能回声定位。回声定位指的是回声探测器，类似雷达或声纳。我们抛出一个想法，当数据回来的时候，我们看看数字，也就是说，当我有任何想法，或者想做任何事情的时候，我会开发它，并把它立即投放市场，然后做一个灰度发布，做一个ab测试，看看用户的反应是什么，看看用户的数据。无论发生什么，我们都要做。也就是说，如果数据是好的，我们会去做，我们会保留它。他还说我们是盲目的，这意味着即使他承认像facebook这样拥有10亿用户的航空母舰，当行走在这个产品的海洋或竞争的海洋中时，他认为我们是盲目的，也就是说，没有人知道你的产品的方向在哪里，而扎克伯格并不是特别了不起。站在那里向前看，我们可以看到我们产品的方向。如果不是这样，我们将使用ab测试方法，最后收集数据，看看数据是什么样的。如果数据是好的，我们将保留它，如果数据是差的，我们将丢弃它。

我们是数字的奴隶。事实上，这意味着我们必须害怕数据，或者我们应该收集数据，特别是在同质化竞争非常严重的中国，这一点尤为重要。Ab测试在facebook的其他地方也做了很多事情，也就是说，在分流中，我们经常在这里看到，我们使用了很多方法来分流我们的信使。这一点在中国被大量引用，尤其是在大公司。例如，如果他们想在58市场推出瓜子二手车，他们通常会开始转移，或者如果你有其他的附属产品，如果你想转移，你通常会采取各种转移策略，这也是增长黑客。至于这种转移，我们也进行了大量的抗体测试，然后使用了最好的方法。当我们开始转移messenger时，你仍然可以在我们的facebook主应用程序页面上观看messenger，几个月后，你就再也看不到它了。你必须去媒体源。你可能认为这东西对用户来说太糟糕了。太强了，但是对于前五个方案，我们都做了大胆的预测，然后看着用户，一步一步的拉用户的指南。在最强的一端，我们首先打开看看用户如何反映，最后我们决定做这件事。

左边的可能是你可以下载它，但是你可以稍后再谈，但是他们都做了很多ab测试。与此同时，在我们的广告中，facebook最大的收入来源是广告，无论是A还是B，同时在哪里显示，在facebook自己的广告中，在我们的广告界面中，我们为用户提供了一个ab测试选项供用户选择，最终转换率为17%，这一定是A。现在，由于移动设备越来越多，facebook的主要收入来源是订阅广告。 也就是说，信息流上显示的广告，也就是现在大家经常看到的微信朋友圈的广告，我们当时正在做这个广告。 事实上，这个团体中有很大的反对意见。如果你直接在朋友圈里填写广告，会让用户感到很不舒服，所以一开始我们也加了ab测试。一开始，我们开放了1%的用户，并关注这些用户。

如果后者被证明是可行的，我们将开放20%、50%、80%和90%的用户。直到今天，我们还没有达到100%。我们已经开放到99.5%，而且我们一直保持0.5%。这0.5%将永久保留。我们的内部名称是保持组，这意味着这0.5%的用户从来没有显示任何饲料广告。这0.5%的用户是固定的，永远不会改变，这意味着我们一直在监控这0.5%的用户的活动和在线时间，以及他们与广告相比的变化，看看用户体验的损失有多大。因为一方面，我们想赚钱，但另一方面，我们有一个标签。让我们看看。我们第四季度的收入为56亿美元，其中80%来自手机。如果我们把这0.5%的用户作为标签或收集标准，facebook每年可能会损失近1亿美元的投资，但这仍然是值得的。一切都很重要，其背后的理念是必须有标准，数据必须开始。ab测试在这方面给予了很大的帮助。最后，总结灰度释放和ab测试的作用:

角色1。数据驱动，事实说话。角色2。防止独裁造成的产品或功能灾难。角色3。减轻服务器的压力。功能4。主要漏洞的最后一道防线。最后，总结整个演讲:

首先，如果你创办了一家公司，成长黑客不是你的良药，它只是从1到n的奖金，而不是你从0到1的变化。您从0更改为1是为了满足市场或用户的需求。其次，我谈到了在facebook上进行增长黑客的四种具体操作方法。第三，我最重要的一点，特别是对于大公司来说，拥有大量的用户。如果你做ab测试，这是最重要的一点。自己做ab测试需要大量的人力和物力。我认为喝技术是非常好的，谷歌以前使用过很多ab测试。事实上，如果这个ab测试在整个硅谷使用，其他公司会非常频繁地使用它。谷歌通常不这么说，但是有很多。

这篇文章由读者提交，并不代表36英寸的立场。如果转载，请注明出处

“读完这篇文章还不够吗？如果你也开始创业，希望你的项目被报道，请点击这里告诉我们！”