我们撰写了一份政策研究论文，确定了目前可用于提高AI安全规范长期行业合作可能性的四种策略：沟通风险和收益，技术合作，提高透明度和激励标准。分析表明，在安全方面的行业合作将有助于确保AI系统是安全和有益的，但竞争压力可能导致集体行动问题，潜在地导致AI公司在安全方面的投资不足。我们希望这些战略将促进在AI安全发展方面开展更多合作，推动AI在全球取得更好的成果。

建立和发布安全、可靠且有益于社会的AI系统符合企业的经济利益，这一点很重要。即使我们认为AI公司及其员工有独立的意愿这样做，这也是正确的，因为如果AI公司的经济利益不与他们负责任地构建系统的愿望相冲突，那么AI系统更有可能是安全和有益的。

这种说法似乎是多余的，因为开发和部署不会对社会构成风险的产品通常符合公司的经济利益。例如，人们不会为没有刹车的汽车付出太多代价。但是，如果多家公司正在尝试开发类似的产品，他们可能会感到有压力将其推向市场，从而减少了发布前的安全工作。

这些问题通常出现在外部监管薄弱或根本不存在的情况下。对市场上提供的商品和服务进行适当的监管可以减少安全问题。这可以使商品和服务的用户以及行业本身受益。例如，航空业从商业上受益于世界各国政府对安全保持警惕，并且当事件发生时，他们总是受到详细调查。然而，由于技术发展的速度以及开发商和监管机构之间的大量信息不对称，传统的监管机制在处理AI方面可能效果较差。我们的论文探讨了哪些因素可能推动或抑制这种匆忙的部署，并提出了改善AI开发人员之间合作的策略。

就安全问题采取集体行动的必要性

如果公司通过在技术被认为安全之前将技术推向市场来应对竞争压力，那么他们将发现自己处于集体行动问题中。即使每家公司都倾向于竞争开发和发布安全的系统，许多人认为他们无法负担这样做，因为他们可能会被其他公司打败。通过加强行业安全合作可以缓解这样的问题。AI公司可以制定行业规范和标准，确保系统只有在安全的情况下才能开发和发布，并且可以同意在开发过程中投入资源安全并在发布前满足适当的标准。

假设情景：某公司开发了一种性能非常高的图像识别模型，并急于进行大规模部署，但该公司的工程师尚未充分评估该系统在现实世界中的性能。该公司还知道，它缺乏完整的测试标准，以了解模型的全功能表面。然而，由于担心在某个特定利基市场上被竞争对手击败，该公司继续前进，押注于他们有限的内部测试将足以对冲任何重大系统故障或公众反弹。

一些集体行动问题比其他问题更容易解决。一般而言，如果合作的预期收益超过不合作的预期收益，则集体行动问题更容易解决。以下相互关联的因素增加了合作的预期收益：

• 高度信任


• 共享上行


• 低曝光


• 低优势


• 共享下行

集体行动问题容易受到负面螺旋式的影响，其中信任的丧失导致一方停止合作，导致其他方停止合作。与此同时，也有可能产生积极的螺旋。

合作战略

我们已经找到了四种可用于改善AI安全规范和标准合作可能性的策略：

1.促进对合作机会的准确信念

传达与AI相关的安全和安保风险，表明可以采取具体步骤促进安全合作，并对安全常识做出共同关注。

2.就共同的研究和工程挑战进行合作
参与促进安全的联合跨学科研究，并有助于促进强有力的合作（例如，将互补的专业领域结合起来的工作）。

3.开放AI开发的更多方面，以进行适当的监督和反馈

宣传行为准则，提高与出版物相关决策的透明度，并且只要解决了安全和知识产权问题，就应开放个人AI系统，以便进行更严格的审查。

4.鼓励坚持高标准的安全

赞扬那些遵守安全标准，责备失败以确保系统安全开发，并支持经济，法律或行业范围的激励措施以遵守安全标准的人。

我们认为，随着AI系统日益强大，集体行动问题可能成为政策挑战的主要来源。我们还预计，在未来几年中，确定类似机制以改善国家之间以及与其他非行业参与者之间AI安全的合作将变得越来越重要。未来AI系统可能带来的挑战存在很大的不确定性，但我们认为鼓励在AI安全发展方面加强合作可能会对AI发展产生积极影响。

虽然我们承认存在这样的挑战，但我们主张更全面地划分跨组织和国家边界的可能合作，特别关注其解决方案可能具有广泛实用性的研究和工程挑战。需要考虑的领域可能包括联合研究AI系统的能力以及AI安全和安全的其他方面的广泛应用；各种应用的“AI for good”项目，其结果可能具有广泛且主要是积极的应用（例如在可持续性和健康等领域）；联合制定针对全球AI相关威胁的对策，例如在线滥用合成媒体。为了在安全方面实现更大的合作，我们需要让人们知道这种合作符合每个人的利益。

论文：

openai-assets.s3-us-west-2.amazonaws.com/The_Role_of_Cooperation_in_Responsible_AI_Development+(1).pdf