谷歌新计划：一键关停那些危险的机器人

本篇文章2261字，读完约6分钟

三个月前，谷歌旗下的人工智能公司deep mind开发的go人工智能程序alphago以4:1的总比分击败韩国围棋世界冠军李世石，成为多年来人工智能史上的一个关键时刻。

三个月后，阿尔法戈可能与世界第一的中国棋手柯杰对弈的消息再次让公众舆论沸腾。虽然这个消息还处于传播阶段，但早在李石师和阿尔法戈的人机大战中，柯杰就曾在微博上燃起挑战人工智能的希望。

阿尔法戈战胜世界围棋冠军这一里程碑式的事件不仅让科技界兴奋不已，也引发了人们对人工智能将超越人类的担忧。"人工智能可能是不可预测的，并且可能违反人类道德."一位专家在一篇新发表的论文中说。

现在，deepmind已经站起来说，他们将有一个解决方案——一个关闭人工智能的“红色按钮”。

同时，该公司认为外界过于关注科幻电影中对人工智能的炒作，比如《机械纪》和《终结者》。他们认为科幻电影和电视作品错误地描述了人工智能的未来方向。

“我们创造人工智能是为了给他们人性，而不是毁灭我们自己。”深度思维的创始人之一穆斯塔法·苏莱曼说。

艾“大红色按钮”

在伦敦国王十字区的一栋新建筑里，迪普明的实验室雇佣了来自世界各地的140名研究专家。deepmind的目标是开发强大的通用学习算法，并将它们集成到人工智能系统或智能程序中，以确保机器能够自己学习。

2014年，deepmind在《自然》杂志上发表了一篇论文，成为公众关注的焦点。这篇论文是关于如何预先给电脑编程，让它自己学会雅达利的游戏，并比大多数人玩得更好。Deepmind的人工智能可以将从上一个游戏中学到的知识应用到下一个游戏中。创始人苏莱曼称这是长期以来人工智能研究的重大突破。

现在，在57款雅达利游戏中，deepmind的人工智能程序已经能够熟练地玩49款雅达利游戏，包括泰空入侵者、吃豆人等等。在人工智能的最新版本中，深层思维甚至增加了一种叫做“好奇心”的内部激励机制，这使得人工智能不仅倾向于获得更高的分数，而且还积极探索更多不同的游戏方法来获得更好的回报。

正是这种接近人脑学习的突破引起了人们对人工智能的担忧。

为了防止人工智能控制人类，deepmind团队已经开始探索建立一个逻辑框架，可以禁用人工智能或暂停其工作。

在深度思维研究人员看来，人工智能不可能一直以最佳模式工作。机器可能会毁灭人类，因为人类的语言太微妙，它们误解了人类的指令。

该团队呼吁在人工智能系统中建立“安全可中断能力”。

团队成员之一Laurent和牛津大学人类未来研究所的Armstrong博士共同撰写了一篇论文，并在miri网站上发表。

在这篇论文中，他们说:“人工智能程序必须在人类实时监控下运行。为了防止这些程序继续执行有害行为，操作员需要获得按下“红色按钮”的权限和能力。”

如果机器人(Quote 300024，Buy)在操作中出错或可能导致不可逆转的结果，这个“红色按钮”可以起到帮助机器人脱离紧张状态的作用，甚至可以暂时让机器人完成它还没有学会如何执行的任务。

尽管如此，他们也承认“我们不能确定是否所有的算法都可以很容易地被赋予可以安全中断的特性。”

高度人性化

2015年，牛津大学的阿姆斯特朗博士警告说，尽管机器人被告知要保护人类，但人类可能会灭绝。

据《英国电讯报》报道，阿姆斯特朗预测机器人将以人脑无法理解的超高速工作，从而跳过与人类的交流，控制经济和金融市场，以及交通和医疗保健。“在接下来的100年里，所有你能想象到的人类能做的事情，人工智能都有可能很快完成”。

因此，阿姆斯特朗担心人类语言如此微妙，可能会被误解。“防止人类遭受痛苦”的简单指令可能被超级计算机解释为“杀死所有人”，而“确保人类安全”可能使机器限制所有人。

阿姆斯特朗认为，在机器人超越人类，甚至意外毁灭人类之前，人工智能研发的保障措施是与时间的竞争。

“它可能成为人类历史上最重要的事件，不幸的是，它也可能是最后一个。”阿姆斯特朗说。

阿姆斯特朗博士不是第一个危言耸听的人。2015年11月，特斯拉创始人马斯克(在硅谷被称为钢铁侠)也警告称，人类可能会在短短五年后受到“一些极其危险的东西”的威胁。

“我们正在用人工智能召唤恶魔。你知道这个故事，有一个人带着五角星和圣水...他确定他能控制魔鬼吗？”马斯克说过。

目前，业界认为一个解决方案是教给机器人道德原则，但阿姆斯特朗博士并不认为这是可行的。因为人类发现很难区分对错，就行为规范而言，人类通常不是好的榜样。

2016年，包括马斯克和霍金在内的一群科学家和企业家签署了一封公开信，承诺确保人工智能研究能够造福人类。这封公开信警告说，如果智能机器没有安全保障，人类的未来可能是黑暗的。

目前，为了使人工智能更加人性化，成立了一个伦理委员会来监督深层人工智能技术的使用。

早在谷歌被收购之前，deepmind就成立了一个道德和安全委员会，作为收购谷歌的条件。谷歌不能允许deepmind的人工智能研究成果用于军事和情报目的。

尽管学术界和媒体一再要求，谷歌在获得deepmind一年后仍未发布更多关于该伦理委员会的信息。我只知道谷歌已经任命了一名委员会成员，但还没有公布此人的身份。

创始人苏莱曼(Suleiman)拒绝透露人工智能伦理委员会的组成、如何选择其成员、运作何种机制以及拥有何种权利。他只是说谷歌已经成立了一个由学者、政策研究人员、经济学家、哲学家和律师组成的团队来处理伦理问题，但目前只有三四个成员在关注这些问题。

苏莱曼说:“我们将在适当的时候公布这些信息。”