网易伏羲虚拟交互技术赋能玩法创新，促进游戏行业精品化发展_游戏陀螺
youxituoluo
当产业发展到一定阶段之后，必然要经历从“唯产能论”到“精品意识”的过渡。作为数字经济发展的新引擎，游戏行业近年来保持着高速增长的态势。但是受制于成本、技术等因素，精品供给有待进一步加强，才能与供给侧改革的战略同步，带动行业全面进入精品化时代。
作为一家游戏人工智能研究机构，成立于 2017 年的网易伏羲，覆盖了强化学习、自然语言、图像动作、用户画像、虚拟人、大数据、云计算等领域，致力于运用人工智能尖端技术为玩家营造新世代的游戏体验。其中，以“降本增效”的游戏剧情动画制作技术为核心，围绕虚拟形象创建、表情、动作、语音等维度，网易伏羲期望以此丰富虚拟角色的交互体验，实现游戏玩法的创新，为游戏精品化提速升级。
AI剧情动画制作能力，为游戏精品化提速
随着越来越多的厂商对游戏视觉化呈现的重视，为游戏制作高质量的剧情动画或游戏衍生内容，成为了广泛共识。但传统的动画制作要求严苛，专业化程度高、制作成本高、制作周期长，对精品化进程造成了一定程度的阻滞。
网易伏羲推出的 AI 剧情动画制作，则致力于破解这一难题，通过输入一段语音或台词，人工智能技术即可自动合成虚拟角色的表情、口型。表情细腻，口型与语音精准匹配，使虚拟形象栩栩如生。且虚拟角色精通中英日韩等多种语言，支持 3D、写实、卡通二次元等多种美术模型及风格。这项技术使动画制作门槛和成本实现了“双低”，研发效率显著提升，可谓是名副其实的“降本增效”。
即使 AI 具有独特的技术优势，但要实现把声音、文字转化为动画，且衔接流畅，并不容易。只有当声音和口型一一对应，并同时考虑发音时间的长短，才能塑造出高度拟真的剧情动画。网易伏羲通过对深度学习的钻研，研究出的口型动画参数生成技术终于解决了这一问题，从而形成高效而精简的 AI 剧情动画制作能力。该产业成果载入《（2020）中国虚拟数字人白皮书》，同时，网易伏羲参与行业标准《（中国）虚拟数字人指标要求和评估方法》制定。相关算法发表在AI顶级学术会议CVPR 2020，CVPR 2021，AAAI 2021，IJCAI 2021，并入选国际游戏开发者GDC 2021机器学习峰会。
截至目前，AI 剧情动画制作已经在《逆水寒》《天谕》等知名游戏中落地。以《天谕》手游为例，该能力为其生产了超过 10 小时的剧情动画，降低了研发成本之余，也提升了游戏内容的衍生价值，为游戏的“二创”和“二传”提供助力。
黑科技加持，营造逼真虚拟交互体验
除了 AI 剧情动画制作能力为厂商降本增效之外，网易伏羲还依托于 AI 技术的模拟能力，从表情、动作、情绪等维度为虚拟角色注入更饱满的生命力，不仅能帮助游戏产品完成细节创新，也为玩家营造出更逼真的虚拟交互体验，实现了从企业端到用户端的双赢。
·表情/动作迁移
网易伏羲提供了一套简单便捷，无需额外动捕设备辅助的表情和动作的迁移能力，可对用户的表情和动作进行精准复刻，并迁移到虚拟角色之上，从而驱动游戏内虚拟角色做出相同的表情及动作。
表情和动作迁移的整个过程，通过摄像头或根据用户上传的视频即可完成。AI 会自动检测用户的五官表情、头部姿态、肢体手势动作，甚至还能对眼球和舌头的运动还原追踪。下图就实现了面部表情、头部姿态、肢体手势动作以及眼球运动的精准迁移。
通过对表演者的动作和表情进行捕捉，实现在游戏中大规模的广场舞表演。
下图生动地展现了网易伏羲的 AI 迁移能力与专业动捕演员实时动捕的对比效果，彩色模型是高级动捕设备迁移的，暗色模型是 AI 算法基于视频迁移的。可以看出，网易伏羲的迁移能力，已达业内标杆水平。
今年 5 月 20 日，网易伏羲携手《倩女幽魂》手游，在游戏中上线了私人定制表情动作功能，玩家上传视频，通过动作迁移技术，在游戏各职业角色上细腻流畅地演绎出来，受到了玩家的热烈欢迎。
·情绪识别
如果说动作和表情迁移带来的是拟真体验，那么情绪识别则能为虚拟角色赋予“灵魂”，使得玩家交互过程中获得更具冲击力的感受。但是，人类的表情库十分丰富，学术界目前也无法对所有的表情做出精准地识别和描述，这无疑为厂商营造更加逼真的虚拟体验造成了一定程度的阻滞。
网易伏羲全新研究出的人类表情编码提取方法，则以人工智能的方式突破了这一瓶颈，通过学习大量的人脸表情数据，大幅提升了 AI 感知人类喜、怒、哀、惧、惊、厌、平等表情的精度，有望超越人类感知的平均水平。相关算法发表在AI顶级学术会议CVPR 2021，并在AI顶级学术会议ICCV 2021人脸表情国际大赛上摘得两项冠军一项亚军。目前，网易伏羲这套基于情绪识别的 AI 能力，已经与网易重磅在研的女性向游戏《绝对演绎》达成落地合作，为玩家营造更加真实和细腻的沉浸感体验。
结语
除此之外，在不久前举行的世界人工智能大会上，网易伏羲还正式推出了游戏行业人工智能解决方案，横跨 AI 反外挂、AI 竞技机器人、AI 对战匹配以及 AI 剧情动画制作四大 AI 能力，解决游戏行业的痛点，不仅能有效地遏制外挂、打金工作室等影响行业健康发展的现象，而且还能完善游戏的匹配机制，营造丰富的对战体验，实现 AI 技术在游戏行业的新突破。
产业发展到一定阶段，必然离不开创新技术的赋能。从网易伏羲落地的这一系列基于游戏场景化的 AI 能力应用，我们能够直观感受到其推动游戏行业精品化的决心。无论是着眼于降本增效的 AI 剧情动画制作，还是结合虚拟交互技术创新游戏玩法，这些 AI 能力所积蓄的力量，将会为行业的变革注入强大的驱动力，一个可以预见的精品化时代正在慢慢地向我们走来。