变坏其实很容易 人工智能也是如此

本篇文章1683字，读完约4分钟

编者按:曹政是一位资深的it人士，从事互联网工作已有十多年。技术控制、数据控制、历史控制和考证控制。参与创建统一统计和cnzz站长统计，并主持建立百度业务分析支持平台。这篇文章首次出现在微信公众账户“曹氏之梦”(微信号:曹氏)，并被授权在36氪星发布。

微软的机器学习项目tay将女孩放在twitter上，与用户互动，并基于搜索和语义识别进行自学互动交流。不幸的是，这个节目没过多久就揭露了非常严重的种族主义言论和其他非常不健康的言论。

事实上，程序员是无辜的，所以请从对话信息中阅读。在互动中，他们都被用户教得很差。

我们为什么担心人工智能？事实上，人工智能没有好坏之分。我们可以教育好的和坏的。然而，可怕的是，要教育好人工智能，你需要极其认真，逻辑严谨，并不断给出积极的信息。反馈，并对可能出现的风险和误解给出严格的保护策略；如果我们教授糟糕的人工智能，它可能是一个负面反馈，一个系统错误，或者一个逻辑不精确，然后就会发生一些事情。一旦人工智能掌握了远远超过人类的能力，这件事可能不会结束。因此，我们担心的是，我们是否真的准备好了这种人工智能。

因此，我在这里提出一个风险警告。当满足人工智能或信息决策的未来应用场景时，具有决策权的战略决策者或管理者不得使用那些不合逻辑的人！然而，在现实中，那些没有逻辑的人总是受到公众的欢迎！

不要想得太远，也就是说，在这个阶段，在当前的信息应用场景中，系统逻辑错误或缺陷可能导致的风险和威胁已经足够大了。从医疗保健，到交通控制，到金融系统，等等。在几天前的新闻中，日本一个交易系统的一个错误导致一个著名的交易机构每天损失数百亿美元。最近被中国抓住的所谓俄罗斯量化交易团队，这个从中国股市赢得数十亿美元的神奇团队，有一个内部人士说，据称它抓住了我们证券交易系统的漏洞。幸运的是，我们现在面临的系统问题都在人类控制范围之内。

不仅仅是系统，人工智能，变坏比变好更容易。我们人类实际上也是。在许多电影和电视剧中，一些隐藏的邪恶老板起初也是好人，他们努力做了几十年的好人。然后，如果他们不小心，或被社会欺负，他们发现好人做不到，他们走投无路，走投无路。事实上，在日常场景中，这种事情相当普遍。

做一个好人需要不断的克制、坚持和控制你过度的欲望和需求。

要成为一个坏人，大多数时候，也许你只是需要变得随意。

幸运的是，在人类社会中，我们仍然有一些中间选择，不要求成为圣人，追求完美，热爱每一句话和每一件事，停留在理性上，这是非常困难的，但是我们可以给自己留一点底线，什么事情不能做，什么错误不能犯。在保持底线的基础上，尽你所能做好事，我认为它会做到。

回到机器、深度学习和系统，我们可能不是极其严格、逻辑正确和完美无缺的。是的，我们必须承认缺陷是不可避免的，问题也是不可避免的。在此基础上，我们必须为系统的设计留一个底线，即当一个错误发生时，有一个救生规则可以防止它滑入无尽的深渊，并尽可能地在一个边界点停止损失。

这种冷备用是dba系统设计的底线；当我们在做it系统时，这种想法也很常见。太多的系统必须有一个非常紧急的恢复和救生设计。设计者希望这种设计不会在一生中生效，但是一旦发生大事，这种设计可能真的会为系统挽救生命。

一个好的系统需要小心地持续维护，小心地控制，并通过正确和严格的策略不断优化和改进；在一个糟糕的系统中，任何一个环节都会出现遗漏，不一定需要坏人来控制。

我们不能停止制度的改变。我们能做的是当它真的被发现是坏的时候，约束和控制它。

人和系统很容易变坏。

建筑师会议即将召开。事实上，我希望你将来能做一个专题，设计系统灾难救生策略。事实上，许多大公司的系统都有这种设计，但没有人专门提出来。面对人工智能和其他新的小玩意(如生物基因，你知道，这一领域近年来取得了巨大的突破！有越来越多的黑色技术，我也在弥补它们。)，我认为这个主题的价值越来越大。

原文作者:安，如转载，请注明出处:http://36kr/p/5045135

“读完这篇文章还不够吗？如果你也开始创业，希望你的项目被报道，请点击这里告诉我们！”