OpenAI建立新团队,以研究和控制超智能AI

2023年07月06日 由 Neo 发表 111254 0
OpenAI正在组建一个由其首席科学家、公司联合创始人之一的Ilya Sutskever领导的新团队,该团队将开发运行和控制“超智能”AI系统的方法。



在今天发布的一篇博客文章中,Sutskever和OpenAI的对齐团队负责人Jan Leik预测,超过人类智能的AI可能会在十年内出现。他们说,假设这种AI最终真的来了,它不一定是无私的,我们需要现在开始研究如何控制和限制它。

他们写道:“目前,我们没有操作或控制潜在的超智能AI并防止其发生故障的解决方案。” “我们目前调整AI的技术,例如根据人类反馈进行强化学习,依赖于人类监督AI的能力。但人类将无法监督比我们更聪明的AI系统。

为了在“超智能对齐”领域推动进展,OpenAI正在创建一个新的SuperAlignment团队,由Sutskever和Leik共同领导,该团队将可以使用公司目前获得的20%的计算资源。这个团队由来自OpenAI之前的对齐部门的科学家和工程师,以及来自公司其他组织的研究人员组成,将致力于在未来四年内解决控制超智能AI的核心技术挑战。

如何做到?通过构建Sutskever和Leik描述的一个“人类水平的自动对齐搜索器”。高层目标是使用人类反馈训练AI系统,训练AI来帮助评估其他AI系统,并最终构建可以进行对齐研究的AI。(这里,“对齐研究”指的是确保AI系统达到期望的结果或不偏离轨道。)

OpenAI的假设是,AI可以比人类更快更好地推进对齐研究。

“随着我们在这方面取得进展,我们的AI系统可以处理越来越多的对齐工作,并最终构思、实现、研究和开发比我们现在拥有的更好的对齐技术。”Leik和他的同事John Schulman和Jeffrey Wu在之前一篇博客文章中说。“他们将与人类合作,确保他们自己的后继者与人类更兼容。人类研究者将越来越多地专注于审查由AI系统完成的对齐研究,而不是自己创建这些研究。

当然,没有任何方法是万无一失的——Leik、Schulman和Wu在他们的文章中承认了OpenAI的许多局限性。他们说,使用AI进行评估有可能放大那个AI中存在的不一致性、偏见或弱点。而且可能证明,对齐问题最难的部分可能根本不是与工程相关的。

但是Sutskever和Leik认为这是值得努力的。

“超智能对齐本质上是一个机器学习问题,我们认为优秀的机器学习专家将是解决它的关键”他们写道,“我们计划广泛地分享这项工作的成果,并认为为非OpenAI模型的对齐和保护做出贡献是我们工作的重要部分。”

 

来源:https://biz.crast.net/openai-is-building-a-new-team-to-get-superintelligent-ai-under-control/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
写评论取消
回复取消