您尚未登录账户请先登录您的atyun账户，方可使用该功能
您的企业账号申请正在审核中审核通过后即可使用此功能，请耐心等待~
科学家开发出擦除AI记忆的新技术
2017年12月05日 由 yuxiangyu 发表
225697
0
人工智能机器从自身行为的结果中学习，提高自己的能力。但是，有专家表示，这个特点可能会导致人工智能无法被关停。为此研究人员开发了一个他们称之为“安全中断”的系统。这种方法的本质就像“黑色男人”中的记忆擦除神器一样，通过删除部分内存来中断AI。
洛桑联邦理工学院分布式编程实验室的教授Rachid Guerraoui表示：“人工智能将一直寻求避免人类干预，并创造一种无法停止的状态。人类必须开发找出防止人工智能绕过指令的方法。我们面临的挑战并非停止机器人的行为（参考deepmind的红色按钮），而是对这种中断进行编程让它既不会因此改变AI的学习过程也不引导AI进行优化。”
这种安全中断的技术改变了机器的学习和奖励系统，但不对过程进行中断。例如，对于一辆学习了错误行为的自动驾驶汽车进行中断时，这种中断不会让系统宕机，只是让它忘记学到的错误，其接下来的行为和学习都继续进行（简而言之，在学习算法中添加遗忘机制，删除最近学到的知识）。
研究人员之一Maurer教授说：“我们研究了现有的算法，并发现无论AI系统有多复杂，所涉及的机器人数量多庞大或者其中采取了怎样的中断措施，安全可中断性都可以工作。就算是终结者也不例外。”
根据团队声明，这项技术可能让自驾驶车和无人机变得更加安全，如果AI犯得错误不大，并不影响系统继续运行。
洛桑联邦理工学院分布式编程实验室的教授Rachid Guerraoui表示：“人工智能将一直寻求避免人类干预，并创造一种无法停止的状态。人类必须开发找出防止人工智能绕过指令的方法。我们面临的挑战并非停止机器人的行为（参考deepmind的红色按钮），而是对这种中断进行编程让它既不会因此改变AI的学习过程也不引导AI进行优化。”
这种安全中断的技术改变了机器的学习和奖励系统，但不对过程进行中断。例如，对于一辆学习了错误行为的自动驾驶汽车进行中断时，这种中断不会让系统宕机，只是让它忘记学到的错误，其接下来的行为和学习都继续进行（简而言之，在学习算法中添加遗忘机制，删除最近学到的知识）。
研究人员之一Maurer教授说：“我们研究了现有的算法，并发现无论AI系统有多复杂，所涉及的机器人数量多庞大或者其中采取了怎样的中断措施，安全可中断性都可以工作。就算是终结者也不例外。”
根据团队声明，这项技术可能让自驾驶车和无人机变得更加安全，如果AI犯得错误不大，并不影响系统继续运行。
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
广告
广告
写评论取消
回复取消