OpenAI CEO：十年内超强AI系统或将诞生 _ 游民星空 GamerSky.com

AI安全是最新的技术，不仅需要考虑AI模型本身的安全性，还需要考虑整个系统的安全性。未来随着模型变得越来越大，确保正确性将变得昂贵，开源一切可能不是最优路径。

6月10日，OpenAI联合创始人兼CEO，萨姆·奥特曼(Sam Altman)以视频连线的方式现身于中国北京举办的2023智源人工智能大会，这是Altman首次对中国观众发表演讲。

奥特曼表示，世界的注意力主要集中在解决当今的人工智能问题上，很多问题的解决非常迫切。人工智能能力正在迅速增长，现在需要负责任地将其应用到世界中去。

当下，人工智能变革正在迅速拓展人类的想象力，未来十年，奥特曼认为AGI将会超过90年代初人类所具备的专业水平，最终可能超过人类最大体量公司的总体生产力，潜在收益是巨大的。

与此同时，管理风险、共同努力实现预期目标也是必需的。随着越来越强大的人工智能系统的出现，全球合作的利益变得前所未有地重要。如果不做好规划，一个未对齐的AI系统可能会通过提供不平衡的建议来破坏整个集体系统。因此，奥特曼强调，推进AGI安全是行业寻找共同立场的最重要领域之一。

奥特曼表示行业必须为开发和部署可能引发的问题负起责任，其中最重要的两个领域是：一，建立起包容的国际准则和标准，并在所有国家对AGI的使用中建立平等、统一的防护措施；二，需要国际合作，以可验证的方式在全球范围内建立对越来越强大的AGI系统安全开发的信任。

奥特曼引用《道德经》称“千里之行，始于足下”，最有建设性的第一步是与国际科技界展开合作，推动增加AGI安全技术进展的透明度和知识的机制，发现紧急问题的研究人员应该与更多人共享研究成果。更加深入地思考如何在鼓励推动国际合作的同时尊重和保护知识产权，推动并引导与安全研究一致的投资。

聚焦眼下，奥特曼认为，要使AI系统成为一个有益和安全的助手，对应的是如何训练模型，使其在没有安全威胁的前提下发挥积极作用，主动应对AGI带来的潜在挑战，将未来灾难性后果的风险降至最低。

具体到GPT-4从完成预训练到部署，奥特曼称团队花了八个月的时间来研究如何前置预判风险并给出对策的问题，团队走在正确的道路上，GPT-4的对齐程度超过当前所有的代码。但对于更高级的系统来说，对齐仍是一个尚未解决的问题，需要新的技术方法以及加强治理监督，毕竟未来的AGI可能是一个十万行二进制代码的系统，人类监督者很难判断如此规模的模型是否在做一些损害的事情。

针对于此，奥特曼称团队正在投资新的方向，其一是可扩展监督，尝试使用AI系统来协助人类监督其他AI系统，例如训练一个模型来帮助人类监督员找出其他模型代码中的缺陷。其二是可解释性，更好地理解模型内部发生的事情，如用GPT-4来解释计算机的复杂状态。最终目标是训练AI系统具备更好的优化自身的能力，而美国、中国乃至世界各地的研究人员，在应对AI领域技术挑战上的合作存在巨大潜力。

在与智源研究院理事长张宏江隔空对话中，奥特曼表示，AGI时代可能很快就会发生，未来十年内，行业可能会拥有超强的AI系统，这种情况下，全球监管便非常紧迫。而AI安全是最新的技术，不仅需要考虑AI模型本身的安全性，还需要考虑整个系统的安全性。因此需要构建安全的分类器和检测器，来监测符合用户政策的情况。

至于OpenAI会否重新开放GPT源代码，奥特曼表示，目前OpenAI开源了部分模型，随着时间的推移，可以期望更多模型开源。未来随着模型变得越来越大，确保正确性将变得昂贵，开源一切可能不是最优路径。