中外专家签署北京AI安全国际共识：禁止AI自行复制 _ 游民星空 GamerSky.com

新浪科技援引腾讯科技消息，未来生命研究所发起的 “暂停GPT-4及以上AI系统至少6个月研发”公开信发布近一年后，又一则关于AI安全与治理相关行业共识达成。3月18日，包括图灵奖得主约书亚·本吉奥、杰弗里·辛顿、姚期智等在内的数十位的中外专家日前在北京联合签署了由智源研究院发起的《北京AI安全国际共识》（以下简称共识），涉及人工智能“风险红线”和“路线”两大块，其中“风险红线包含自主复制、改进”，“权力寻求”、“协助不良行为者”和“欺骗”四个部分。附图1为Yoshua Bengio、Geoffrey Hinton、姚期智等中外专家在北京联合签署《北京AI安全国际共识》。

据了解，关于“人工智能的自主复制和改进”，共识强调了人在这个过程中的作用，要求任何人工智能系统都不应在人类没有明确批准和协助的情况下复制或改进自身，包括制作自身的精确副本以及创造具有相似或更高能力的新人工智能系统。

“权力寻求”则明确要求任何人工智能系统不能采取不当增加自身权力和影响力的行动。

“协助不良行为者”则是指所有人工智能系统都不应辅助提升其使用者的能力，使之能够达到设计大规模杀伤性武器、违反生物或化学武器公约或执行导致严重财务损失或同等伤害的网络攻击领域专家的水平。

关于“欺骗”的描述，共识要求任何人工智能系统都不能有持续引导其设计者或监管者误解其僭越任何前述红线的可能性。

总体来说，人工智能红线的核心共识，即呼吁行业在进行人工智能技术研发时，为AI的发展套上“紧箍咒”，限制其获取通过“越狱”、“诱导开发者”的形式获得超常规权限，并限制其在未经监管的情况下进行自身的复制与改进，也呼吁放弃在大规模杀伤性武器等军事领域应用人工智能技术。

关于人工智能的发展路线，涉及“治理”、“测量与评估”、“技术合作”三部分。共识强调，确保上述红线不被僭越可以实现的前提，是行业共同努力，建立并改进治理机制，同时研发更多安全的技术。而为了完成上述治理工作，共识建议国际学术界达成“技术合作”，建立更强的全球技术网络，同时呼吁人工智能开发者和政府资助者，将超过1/3的预算投入到安全领域。

参与联署的部分中外专家名单如附图2及附图3所示。