如何打造一款有用的数据产品？美国首席数据科学家说出了他的秘籍

本篇文章4121字，读完约10分钟

作者:董飞，数据科学家。否:董先生在硅谷。

本期将做一系列的数据科学。第一位美国首席数据科学家谈到了数据产品的实践，如何推动数据、改进产品和创建精益企业。我们希望了解的关于建筑数据产品的一切最初都是由董飞翻译的。

“当您在半夜遇到系统故障和数据损坏时，有什么方法可以避免这些痛苦和头痛吗？”

这是dj帕蒂尔在最近的首席技术官峰会上提到的。他是relateiq产品公司的前副总裁，现任美国首席数据科学家。帕蒂尔总结了所有带来变化的经验、教训和错误。他和salesforce现任工程副总裁ruslan belkin分享了在创建数据产品过程中最重要和最突出的错误和经验。

一个常见的错误是认为所谓的“数据产品”仅指twitter或linkedin，社交地图就是一切。事实上，越来越多的产品属于这一类别，包括硬件、可穿戴设备以及任何其他收集的对用户有意义的数据。belkin和patil给出的建议也适用于初创公司的生态系统。

“当您想到范围更广的数据产品，并开始意识到即使是公司的报表也是数据产品时，您的视野就开阔了。您可以开始创建理解、制造和扩展的流程。”那么，为什么很少有公司谈论或强调构建有用的数据产品呢？为了回答这个问题，帕蒂尔引用了杜克大学著名经济学教授丹·阿里里的话:

诚然，这归结于一个事实，即构建大规模数据产品确实很困难。

在这里，贝尔金和帕蒂尔提供了一些有见地的策略，使其更容易和大胆地创造新产品。这将改变我们看待连接世界的方式。

|数据产品需要以不同的方式构建。使用原型制作数据产品和其他产品一样容易开始。但是在规模上，你会遇到一系列独特的挑战。你必须计划好每个地方。他们从来没有一次性或独立的产品。因此，你不能像以前那样只是构建、测试、回滚和在线。

开始时你必须有一个非常基本的想法:数据非常混乱，数据清理总是要花费80%的工作。换句话说，数据是问题所在。

“如果你像创业初期的linkedin一样，他们有4000种关于ibm的说法——ibm、IBM研究中心、软件工程师、所有缩写等等。”

我保证，如果你不从一开始就考虑如何清理数据，你就完了。

“尽量及时清理，因为将来需要几个月的时间。”

面对这种困境，你应该首先构建简单的产品——超级简单的东西，计数练习，就像协作过滤器一样，只有0和1。所有这些事情将更难大规模地执行。“如果你试图建立像机器学习这样雄心勃勃的东西，它将在你面前失败。形成一个管道，并确保其他一切都是正确的，然后一步一步来。”

|以一种强大的方式回忆数据，最好的例子来自linkedin。最近浏览过你个人资料的人。这是一条将流量引导回您网站的消息。

“这里常见的错误是导入数据很好，所以您会想，“让我们付出更多吧！然而，向页面添加数据实际上与你的点击次数成反比，所以你必须为用户找到合适的平衡点。"

当你添加更多数据时，你会让用户陷入瘫痪。他们不知道该怎么办。

决定哪些数据是暴露给人们的，而不仅仅是暴露多少——这是关于它所说的。帕蒂尔想向别人推荐工作，比如“嘿，你应该申请这份工作，因为它符合你的技能！”我很快意识到这种做法是危险的。

“我们很有可能无意中推荐了一位身居高位的人申请实习，或者加州居民应该搬到爱达荷州去找工作。”当这样的事情发生时，人们会生气，这会很快毁掉你的品牌。你必须考虑当用户看到这个特定的功能时，它实际上是什么样子的。这就是为什么你应该聪明——当谈到数据产品时，智力比傻瓜强得多。

在这种情况下，明智的解决方案是从不同的角度推荐工作。如果“比尔”是他们想要推荐的用户，他们不会直接向比尔发送工作推荐机会，而是通过他的社交关系发送一条短信:推荐比尔的工作。它使用完全相同的算法，这是有点扭曲，但它处理硬相关的问题。

“如果比尔从他的一个朋友那里听说他应该接受一份工作，他仍然可以说那是一派胡言。”但这是罕见的，网站永远不会被批评。此外，让我们收集所有允许的数据，找出这个函数发生了什么，并使它更好。"

我们没有时间把它做好，但是我们有时间重做它

这是贝尔金最喜欢的一句话，强调先做事情，然后尝试，当你有更多的知识要重复的时候。

有一个像linkedin这样的人才匹配产品。当时的想法是，一家公司公布了一个空的职位空缺，并推荐了职位描述的最佳人选。它开始很棒，直到他们试图扩大规模，各种各样的复杂性出现。

“最后，我们必须审查所有系统，直到我们能够理解功能的正确组合和合理的评估框架。我们不知道如何大规模地建造它，直到我们把一切都做对了。”

大量的数据产品需要时间来成熟，并生成您需要的信息来使它们变得更好。

“这可能非常困难，即使像苹果这样的公司有时不得不对客户处理有争议的劣质产品数据的行为道歉，并推荐竞争对手的应用程序。”这个问题会影响公司的规模和技术水平。

在linkedin中，“你可能认识的人”功能以工程师电脑中的python脚本开始。直到2008年，也就是该功能推出两年后，它才开始促进平台流量的有效增长。

推特搜索也发生了同样的事情。这是为推特用户推出的第一个实用工具。然而，直到2013年年中，大家才发现这是交通增长的主要驱动力。

永远不要按照固定的时间表推出复杂的数据产品。

|从哪里开始？许多人选择从建模开始。有些是从发现功能或工程开始的。其他人从建设基础设施开始，以提供大规模的服务。但是贝尔金认为数据产品只有一个正确的答案和出发点:理解如何评估性能和构建评估工具。

他说:“到目前为止，每个公司都无一例外地谈论它，数据质量很差，尤其是监测数据。”"要么是数据不完整，要么是监测数据缺失，要么是重复监测数据."

为了解决这个问题，需要投入大量的时间和精力来监测数据质量。你需要监控网站的响应时间。你需要把数据质量的缺陷放在第一位。不要害怕因为数据质量问题而导致部署失败。但是有一件事你不能做:

他说:“如果你有数据质量问题，不要提交给苹果应用商店。”“您必须确保您拥有完全正确的工具，您正在跟踪的所有事件，并且您可以通过模式注册将它们集成到开发过程中。”

为了巩固这些教训，贝尔金迅速检查了报告，开始了他的工作会议。他个人一天看了20多次，发现讨论表面问题和潜在问题要活跃和迅速得多。在灾难发生前获得更快的解决方案。

|产品上线前的清单。在向用户推出数据产品之前，您应该通过以下列表进行检查:

首先，产品必须能够贯穿始终

贝尔金早年在网景公司工作，他还记得首席执行官吉姆·巴克斯代尔(Jim Barksdale)的一句话:“你看，如果你犯了一个错误，每天只送1%的包裹，那么100天内就会有一大批客户不高兴。”你需要考虑用户看到不好结果的可能性。

把它放在高科技消费品上:“每三个月在其新闻来源中显示黄色信息可以接受吗？”半年？九个月？你必须弄清楚什么是可接受的水平。"

如何处理尴尬的内容和推荐。这是一个需要你注意的问题。不管他们做什么，总会有搞砸的时候。你会怎么做？回滚此版本？你会改变在线数据库来尝试正确的事情吗？用诡计来修改索引？当系统运行时提高一个级别？所有这些通常都是个坏主意。您应该提前预测这种可能性，并制定一个解决方案来立即部署它。"

其次，它必须为用户服务

你必须在用户面前展示他指的是什么。他们需要明白他们看到的是特定的信息——要么是因为他们关注特定的用户，要么是因为他们采取了特定的行动，甚至是因为他们没有采取行动。

重要的是，你不能展示以前没有用户体验的品牌和产品。没人想看到随机的东西。传入将失去用户。

例如，如果一个推特个人资料被放在你关心的人身上，如果你已经知道了，你将更有可能关注他们。这就引出了下一个问题。

第三，让用户感到安全

“这就是我所说的泰迪熊原则。问问你自己，用户认为你的产品是坏的还是有害的？不一定是这样的，但是这些糟糕的用户体验会对你的平台造成长期的损害。

首先，你必须确保你的个人身份信息不被泄露。这不是开玩笑，总有一定的风险，这可能是由于产品设计或实施中的缺陷而发生的。你可能会被黑客攻击，有些数据没有加密，这是非常严重的。你应该尽最大努力，不仅要防止这种情况发生，还要传达好的设计和好的用户体验。用户将使用最小的线索来决定他们是否应该信任一个产品。

第四，用户可以控制自己

这是你当前的用户设置——尤其是涉及到隐私的时候——这是非常重要的。你需要考虑不强大的最佳方式，让他们做出明确的选择，让用户有权决定与谁以及何时分享。这通常决定了用户是否可以回来访问。

5.美国以外也有用户

许多人没有意识到大多数用户生活在美国之外。“根据经验，多达35种语言与贵公司有关。一般来说，不同语言的数据选择更为有限。许多用户会说多种语言。如果你没有额外的努力和计划，你可能无法提供同样质量的服务

即使你缺乏资源在一个小的创业公司考虑国际化，你也需要为解决这些问题打下基础。你不能想象拥有一个完整的英语的巨大产品，然后突然决定扩展到35种以上的语言。如果你有全球野心，你必须在成熟之前考虑分层。

如何组织你的团队经常被问到这个问题:当你想要构建和迭代多个产品时，如何组织你的产品和工程团队？团队的合理结构是什么？

“这带来了一个非常古老的论点:你应该纵向扩张还是横向扩张？哪个是正确的？

“没有通用的标准答案，但在公司阶段有一个适合您的正确答案，其矩阵形式如下图所示”。

“评估一些指标需要做什么——执行、创新、代码质量和用户体验的重要性？跨团队工作需要什么来平衡构建和扩展的速度？”

一般来说，一个垂直整合的团队在执行或创新方面速度很快。每个人都与外界有更好的关系，因为团队与业务目标是一致的。

横向团队通常有更高质量的产出。他们在内部动态控制方面效率更高、更好。

真正的核心是不断尝试和迭代，不仅仅是产品，而是如何构建它们。并不是所有的问题都能一次解决，但是新的数据可以指导接下来的过程。不要期望在任何地方玩——尤其不要期望你的用户和公司在同样放松的水平上一起成长。

“有一个构建数据产品的隐喻，就像爬山一样。许多人在你前面，许多人在你后面。还有一些路没有走完，但是如果你一直盯着山顶，走一小步，你一定会到达那里的！”