如何预防人工智能失控？OpenAI和Google是这么做的

　　上周末的一则新闻再次已发了人们对人工智能的关注，著名的Dota 2职业玩家Dendi在一场1V1的solo大战中惨遭OpenAI公司的人工智能碾压，短短10分钟便彻底输掉了这场比赛！从中不难看出，人工智能在各个领域中惊人潜力。那么人工智能一旦失控又该怎么解决呢？

　　在OpenAI位于旧金山的办公室里，研究人员Dario Amodei正在通过赛船冠军赛（Coast Runners）来训练人工智能。不过，这个人工智能好像有点失控了。

　　赛船冠军赛的游戏规则很简单，如果想赢，选手必须收集到最多的分数，然后跨过终点线。

　　但Amodei的人工智能玩着玩着有点过火了，它在不断地追求高分，非但毫无跨过终点线的意思，反倒为了要多转几个圈拿高分，它开始和其它赛船碰撞，或是在过程中自己撞墙爆炸了。

　　为了应对，Amodei和OpenAI的同事Paul Christiano正在研发一套不仅可以自我学习，同时也愿意接受人工监控的算法。

　　在赛船游戏的训练中，Amodei和同事将不时通过按键来指出人工智能的不当之处，告知人工智能，不仅要赢分数，同时也要跨过终点线。他们认为，这种包含了人工干预成分的算法可以确保系统安全性。

　　而在Google旗下DeepMind的研究人员也同意Amodei和同事的想法。两个团队，分别代表了OpenAI和DeepMind，最近罕有地合作发表了部分人工智能安全方面的研究论文。

　　除此以外，Google旗下的Google Brain，以及来自伯克利大学和斯坦福大学的研究团队，都设有该方向研究课题，从不同方面考虑人工智能安全问题。

　　除了这种在自我学习过程中“搞错重点”的潜在危险，另一个可预想的人工智能危险在于“为了完成任务，拒绝被开发者关机”。

　　一般在设计人工智能时，研发人员都会给它设定“目标”，就像赛艇游戏中的“得分”一样。一旦人工智能将获得“分数”为终极目标，它可能会产生一个方法论——想要获得更加多的分数，其中一个方法就是不关闭自己，这样就能无止境地获取分数了。

　　伯克利大学的研究人员Dylan Hadfield-Menell和团队最近发布了讨论这个问题的论文。他们认为，如果在设计算法的时候，让人工智能对目标保持一定不确定性，它们才有可能愿意保留自己的“关机键”。他们采用了数字方式来尝试实现这个设置，目前还处于理论阶段。

　　除了人工智能自我“失控”，研究人员还在考虑黑客对人工智能的干预影响。

　　现代计算机视觉基于深度神经网络（deep neural networks），它通过学习分析大批量数据来形成对模式的了解。也就是说，如果要让计算机学会什么是“狗”，那就让它分析大批量狗的图片，并从中寻找规律。

　　但Google的Ian Goodfellow则认为，这种模式可能会为黑客提供“蒙骗”人工智能的机会。Goodfellow和其它研究人员曾展示，只要修改图片中的几个特定像素，他们就能让神经网络相信图片中的大象是一辆汽车。

　　如果这个神经网络是应用在安保镜头的话，这样就问题大了。

　　即便你用了数百万张标志了‘人’的照片来训练一个物件识别系统，你还是可以轻易拿出系统和人工识别100%不同意的图片。我们需要认清这种现象。

　　Goodfellow 说道。虽然这些研究大多仍处于理论阶段，但这群致力于将意外扼制于摇篮的研究人员坚信，越早开始考虑这个问题越好。DeepMind人工智能安全方面的负责人Shane Legg 说道：

　　虽然我们还不能确定，人工智能将以多块地速度发展。但我们的责任是尝试理解并猜测，这种技术将有可能以哪种方式被误用，并尝试找出不同的应对方式。

　　值得一提的是，科技大亨埃隆·马斯克（Elon Musk）此前曾公开表示，“我认为，任何对公众构成危险的事情，至少政府应该有所了解，因为政府的义务之一就是确保公共福利。没有人喜欢受到监管，但对公众有危险的任何东西（包括汽车、飞机、食品以及药品等）都应该受到管制，AI也是如此。”那么小伙伴们认为该如何解决人工智能失控的问题呢？