全面迎接体感新纪元三大游乐器平台操控介面 _ 游民星空 GamerSky.com
gamersky
在2009年E3展中，三大平台厂商不约而同的发表或推出以革新游戏操控介面为诉求的产品，包括甫上市的任天堂「Wii动态强化感测器（Wii MotionPlus）」，采用影像动态捕捉技术的微软「诞生计画（Project Natal）」以及导入扩增实境玩法的SCE「PS动态控制器（PlayStation Motion Controller）」，显示操控介面的变革已然成为趋势。
本次的专题将针对这些革新的直觉体感游戏操控技术进行介绍，让玩家了解这些技术的历史沿革、运作原理与应用方式，替即将全面迈入体感操控的游戏世界做好准备。
◆前言：随时代进化的人机介面
打从电子计算机（电脑）问世以来，用来沟通机器与人类的人机介面就不断的随着时代推移与技术发展而变化，从最早期的零件与线路插拔，到打洞卡与列表机，再到键盘与萤幕，最后来到大家所熟悉的滑鼠，都是朝着自由度更高、更直觉的方向发展。
以电脑为基础所产生的电子游戏，自然也不会置身于人机介面进化的脚步。而专门针对游戏用途所设计的游乐器，则是比用途广泛的电脑更着重于简单直觉的操控，因此不论是最初的旋钮与摇杆，或是延用至今的方向钮与按钮，都算是相当简单易用的设计。
不过随着游戏规模逐渐提升，游乐器惯用的控制器也随之复杂化，从早年任天堂FC的1方向钮+ 2按钮，一路演变到今日PS3 / Xbox 360的1方向钮+ 2类比摇杆+ 8按钮，数量增加数倍，组合增加数十倍，使得较少接触游戏的轻玩家族群望之却步。
【日趋复杂化的游戏控制器】
FC控制器（1983年）
SFC控制器（1990年）
Xbox 360控制器（2005年）
PS3控制器（2006年）
◆「威力手套」大胆尝试却以失败告终
企图改革游戏操控介面的尝试可说是从未间断过，早在1989年Mattel / PAX就曾推出过FC手套型控制器「威力手套」，采用了应用于专业领域的资料手套技术，透过手套上的超音波扬声器与安装于萤幕上的超音波侦测器来侦测手部的位置与方向，透过手套中印刷电路弯曲造成的电阻变化来侦测手指的伸屈，让手部的运动对应到游戏的操作。
【威力手套】
威力手套
威力手套应用了当年相当先进的技术，算是革新操控界面的代表之一。不过受限于成本导致功能与精确度不佳，加上缺乏专属支援游戏（共2款），拿来玩非专属游戏时只能透过繁复设定将控制器的方向钮与按钮操作对应到各种手部动作上，比直接使用控制器更不直觉。种种因素使得这款概念新潮的产品，最终沦为雷声大雨点小的失败作。
◆「EyeToy」展现视讯体感人机介面可能性
之后虽然各种不同设计的控制器周边层出不穷，不过大都是针对特定应用的专属产品，对于操控介面并没有太多的革新，直到SCE在2003年推出应用影像辨识动作侦测技术的PS2「EyeToy」摄影机与系列游戏之后，才真正将崭新的人机介面应用端上台面。
【EyeToy】
新版EyeToy搭配薄型PS2
EyeToy是由出身史丹佛大学航太机器人实验室的SCEA研发部专案经理理察马克思（Richard Marks）自1999年起投入研发，使用USB视讯摄影机拍摄玩家的动态影像并传输到PS2，透过影像辨识处理来侦测玩家的动作，借以达成直觉体感的操控方式。
EyeToy的影像辨识技术提供了多样化的操控应用，像是运动身体触碰画面特定物件所延伸出来的拍球、顶球、接球、拳打、脚踢、打鼓等，之外还包括戴上萤光绿手套以双臂的左右倾斜来操控滑板操控，戴上指套在空中画出符咒，扫描卡片输入资料等。
【丰富多变的玩法】
由于EyeToy的玩法新奇，摆脱一成不变的按钮操控，也不像跳舞踏垫等周边只能侦测脚踏的位置，而是能让全身上下都成为游戏操控的一部分，而且自己的身影还会出现在游戏中，更具投入感，因此推出后广受各阶层玩家的欢迎，全球销售超过1000万组。
【也有以运动健身为诉求的游戏】
不过EyeToy仍受限于2D影像辨识技术而有许多不足之处，像是光线不足、玩家衣着颜色与背景近似，或是背景有干扰等状况时，经常会发生误判的状况，而且对于玩家身体姿势的掌握程度有限。因此在EyeToy推出后，SCE仍持续研发各种新技术来强化影像辨识的应用，像是搭配特殊标记来提升精确度，或是采用更先进的3D影像辨识技术等。
◆「Wii遥控器」全面开启直觉体感操控介面风潮
虽然EyeToy率先导入了直觉体感操控介面，不过支援范围有限，并未成为PS2游戏的共通标准，一直到2006年底任天堂才以Wii真正开启了直觉体感操控介面的风潮。
【Wii遥控器】
Wii采用了以遥控器为概念所设计的「Wii遥控器」，外型由双手握持的主流设计摇身一变成为单手握持的棒状设计，并结合3轴加速度侦测技术来侦测玩家手部的挥舞动作，透过与红外线光学定位技术来侦测控制器前端的指向，借以提供崭新的操控界面。
Wii遥控器内建3轴加速度侦测器，可以侦测控制器朝前后/左右/上下3个方向（轴）移动时所产生的加速度，借以掌握玩家手持控制器挥舞的动作。由于地心引力所产生的重力加速度也是加速度的一种，因此也能侦测控制器朝前后/左右倾斜的角度。
Wii遥控器前端配备红外线光学摄影机，能侦测安装在萤幕顶端/底部的感应条两端发出的红外线光源，藉由两光源的相对位置来判断控制器的指向，以提供游标或准星等操作。附属的双节棍控制器同样内建加速度侦测器，因此可以同时侦测左右两手的动作。
由于加速度计侦测器只能侦测移动或是倾斜，无法侦测手腕旋转或扭转等细微动作，因此任天堂后续又在2009年中推出附加的「Wii动态强化感测器」，透过内建的陀螺仪侦测器来侦测角速度（转动）的变化，让控制器的动作能1:1完整对应到游戏中。
虽然加速度计与陀螺仪都是问世已久的技术，不过早期采用的机械式或电子式元件体积庞大成本高昂，并不适合应用于游戏控制器。近年来则是藉由微机电系统（MEMS）技术的发展，使得这些侦测器能以半导体制程蚀刻在微小的矽晶片上，加上汽车、导航、手机等产品的大量采用，体积成本大幅缩减，因此能顺利应用于游戏控制器。
透过加速度侦测与光学定位，让Wii遥控器得以掌握玩家手持控制器的一举一动，包括挥动的方向、速度与指向。加上便于单手握持的棒状设计，让控制器可以摇身一变成为拳套、球棒、钓竿、手电筒、枪炮等各式各样的装置，以自然直觉的方式操作。
而后续加入的Wii动态强化感测器则是补足了原本所欠缺的角速度侦测，让控制器可以掌握细微的摆动与扭转，让球类运动的控球、运球、击球等操控更为逼真细腻，同时也补足许多玩家热切期盼的拟真刀剑格斗玩法，真正达成当年初始规画时的理想。
由于Wii采用设计近似电视遥控器且具备直觉体感操控介面的控制器，比起传统的游戏控制器来说更容易被未曾或很少接触游戏的大众所接受，特别是家庭主妇与高龄者。加上运动健身与阖家欢乐等亲和诉求，因此推出后广受全球玩家欢迎，即使面对画面更细致的高解析度竞争平台，也能成功打出自己的一片天地，成为现世代最畅销的主机。
任天堂后续也在2009年E3展发表会上发表了以测量脉搏来判断身心状态的「Wii活力侦测器」，虽说这与一般的「体感」概念有点不同，不过也算是一种以身体（状态）来与游戏连动的操控方式，也承袭了自Wii遥控器到Wii平衡板等一贯的健康诉求概念。不过究竟要如何才能让测量脉搏这件事变得游戏性十足，仍是个令人好奇的问题。
◆「诞生计画」展现强烈企图心的自然使用者介面
相较于以活用现成技术达成革新玩法的任天堂来说，微软在2009年E3展所发表的「诞生计画」展现了更强烈的企图心，透过整合动作捕捉、脸部辨识、语音辨识等多种先进技术，彻底摆脱控制器束缚，打造出以往出现在科幻作品中的自然使用者介面。
【诞生计画】
诞生计画摄影机与Xbox 360
与EyeToy概念类似的诞生计画，同样是以影像辨识为核心技术，最大的差异在于诞生计画采用了更为先进的3D影像辨识技术。除了拍摄传统2D全彩影像之外，也同时还拍摄3D距离影像，侦测被摄物体（玩家）与摄影机之间的距离，建构出立体化的影像资料，借以精确掌握玩家的身形、姿势与动作，提供以往2D影像辨识所无法达成的效果。
诞生计画采用的USB视讯摄影机结合2组感光元件，1组可拍摄传统的2D全彩影像，另1组可拍摄崭新的3D距离影像。测距方式推测是采用时差测距法（Time-Of-Flight），由摄影机发出远红外线脉冲光照射被摄物体，再以感光元件侦测红外线反射回来的时间，由于反射时间与物体距离成正比，因此可以借此建构出深浅不一的灰阶距离影像。摄影机并内建专属处理器，提供3D影像辨识与动作捕捉应用所需的辅助运算。
结合2D全彩影像与3D距离影像
目前微软并未公布诞生计画所采用的摄影机详细规格，以微软日前并购的以色列3D测距摄影产品技术研发厂商3DV Systems研发的「ZCam」3D摄影机规格来看，该摄影机的测距摄影解析度为320 × 240（※）60fps，采8bit灰阶取样，测距范围为0.5～2.5公尺，精确度为1～2公分，推测诞生计画所采用的摄影机规格应该与ZCam相去不远。
※此为3D摄影解析度，2D摄影解析度为130万像素
ZCam所拍摄的灰阶距离影像，越白代表距离越近
由于3D影像可以清楚判断被摄物体的距离，因此可以藉由距离的不同来将玩家身形轮廓与背景精确分离开来，达成去背的效果，不像2D影像会因为颜色近似或混杂而难以正确判断。 3D摄影还能精确掌握玩家四肢前后的位置，只要搭配动作分析技术来追踪人体各处的关节，就能精确捕捉玩家的一举一动，并将动作反应在游戏操控上。
以身体来控制虚拟人偶玩球
这位老兄可不是在打拳，而是在体验虚拟驾驶
在微软E3展发表会中，主导诞生计画的库多兹诺达（Kudo Tsunoda）示范了这些技术特色的应用，像是在《Ricochet》中以动作操控虚拟人偶拍球与踢球，在《Paint Party》中挥动双手泼漆创作，还可以捕捉轮廓剪影当成模板。这些都是2D影像辨识难以达成的，而且不需要像传统动作捕捉那样在身上安装感应标记，就能提供近似的效果。
这两人摆出如此奇怪的姿势是要做什么呢？
答案是－创造出大象的剪影
在后续的闭门媒体体验行程中，现场也可以从开发套件的监测萤幕中见识到以颜色区分距离的视觉化3D距离影像，以及即时追踪的人体关节点。由于诞生计画追踪的是人体骨架，而不只是单纯侦测影像的变动，因此就算有与玩家距离近似的干扰出现，系统也能透过对人体骨架的分析来排除这些不属于玩家身体的干扰。由于3D测距摄影是由摄影机主动发出红外线，因此就算在昏暗的使用环境下，也不影响动作捕捉的结果。
虽然目前的展示中并未提及，不过3D测距摄影其实还具备了容易与虚拟3D绘图整合的特性。由于拍摄下来的影像是由2D与3D影像组合而成的RGB+D（红绿蓝+距离）格式，与3D绘图的RGB+Z（红绿蓝+深度）格式非常近似，因此很容易就能整合拍摄影像与3D绘图，做到像是虚拟蝴蝶环绕玩家身体飞舞这样的进阶扩增实境效果。
除了结合2D + 3D影像辨识的动作捕捉之外，诞生计画同时也导入了脸部辨识与语音辨识技术，透过2D全彩影像摄影来辨识脸部特征，麦克风阵列来进行清晰的语音输入，让Xbox 360可以辨识玩家的身分，自动选择对应的玩家帐号登入，并透过语音手势下达指令，不需要动用控制器来进行繁复的操作，就能自然便利的使用系统功能。
虽然脸部辨识与语音辨识都是现有硬体就能达成的技术，并不算是诞生计画独具的特色，不过对于打造完整自然使用者介面来说，仍是不可或缺的要素。而且这两项技术纳入诞生计画标准支援项目后，也替游戏的应用带来了许多的可能性，例如在诞生计画示范之一的《麦洛》中，就示范了透过脸部辨识及语音辨识与虚拟角色的自然互动。
不过相较于动作捕捉与脸部辨识的应用来说，语音辨识的应用挑战性反而更大。虽然指令输入之类的简单应用并没有什么困难，但如果是要达成与虚拟角色的自然互动，那么将会牵扯到复杂的人工智慧自然语言处理，这是学术界研究数十年仍未能达到满意程度的难题，离科幻作品中能使用自然语言顺畅与人类沟通的电脑仍有很大一段距离。
在E3展现场实际测试狮头工作室知名游戏创作者彼得．莫力纽（Peter Molyneux）领军研发的虚拟角色《麦洛》时，就能明显感受到麦洛对语句的理解与反应有许多限制。不过由于目前仍处于初期研发阶段，后续仍有改善空间，现阶段尚无法就此论断。
结合动作捕捉、脸部辨识、语音辨识技术，企图打造科幻风格自然使用者介面的诞生计画，无疑是目前最受注目的直觉体感游戏操控技术。由于E3展中只初步展示了一小部分，因此这个企图颠覆既有控制器操控介面的计画，多少也让人对于未来的发展抱持着许多的疑问。目前包括微软与合作厂商都还在针对相关应用点子进行脑力激荡，随着消息的陆续释出，整个计画预料将会以更为具体的方式呈现在大众面前，相当值得期待。
◆「PS动态控制器」结合双重技术展现扩增实境潜力
最早大举投入影像辨识操控技术，并率先于2003年推出EyeToy的SCE，从2000年起就开始由EyeToy之父理察马克思领军研发各种相关技术。期间曾经在SIGGRAPH与GDC等技术研讨活动中发表相关成果，也曾经申请过各式技术专利，其中包括以视讯摄影机追踪有色球体等各种特殊标记，或是将虚拟的3D绘图融入实际拍摄影像等。
在2004年GDC中，SCE展示了3D影像辨识动作捕捉技术的研究成果（※），并将之列为下一代革新人机介面的重点研发项目。不过在2006年PS3推出后，SCE并没有顺势推出具备3D测距摄影功能的视讯摄影机，而只推出强化解析度与撷取速度的2D视讯摄影机「PS Eye」，3D影像辨识的实际应用反而是由微软的诞生计画拔得头筹。
※同样采用3DV Systems研发的3D测距摄影机
面对采用革新设计控制器方案的任天堂，以及舍弃控制器采用3D影像辨识方案的微软，SCE在2009年E3展中则是发表了介于两者之间的「PS动态控制器（暂称） 」，应用从EyeToy时代所累积的2D影像辨识技术研发成果，结合与Wii遥控器近似的动态侦测功能，来达成革新操控界面的目标，以及融合真实与虚拟的「扩增实境」应用。
理察马克思发表PS动态控制器
发表会上由助手实地示范
PS动态控制器采用与Wii遥控器类似的棒状设计，前端配备会发出不同颜色光线的圆球，可透过PS Eye视讯摄影机以2D影像辨识方式追踪圆球位置，能以不同颜色来区分状态或组别。控制器内建动态侦测与蓝牙无线传输功能，可以侦测控制器的移动与转动等状态。结合光学定位与动态侦测资讯，就能判断出控制器的位置、指向与动作，达成1:1的精确操作。控制器上也配置了按钮，不过目前仍处于原型阶段，规格尚未底定。
【PS动态控制器】
目前仍处于原型阶段的PS动态控制器
PS动态控制器可说是EyeToy团队多年技术研发累积的成果，虽然没有采用原本预期的3D影像辨识技术，不过仍应用了多年研发的2D影像辨识物件追踪技术，搭配内建的动态侦测技术，同样可以达成精确的3D空间定位，算是另辟蹊径的折衷方案。不过没有采用3D影像辨识技术，也使得许多先前曾发表过的研发成果未能实际应用到游戏上。
虽然PS动态控制器在功能面上与Wii遥控器非常接近，不过仍有其独自的特色，那就是承袭EyeToy结合2D全彩影像摄影功能来提供的扩增实境玩法。由于PS Eye除了担任定位功能之外，也能捕捉玩家影像输入到游戏中，因此可以将游戏中的虚拟影像与实际拍摄下来的实境影像结合在一起，让「自己」成为在虚拟游戏世界中活跃的角色。
【结合实境影像与虚拟影像】
在2009年SCE E3展发表会上，理察马克思与助手示范了将手中的控制器化为球拍、大剑、铁扇、光鞭等道具，让画面中的自己拿这着些无中生有的虚拟道具来游玩的扩增实境玩法，之外还展示了高精确度的3D空间定位与应用，像是书写、指标、圈选等，以及双控制器组合的应用，像是双手分持盾剑、双手开弓射箭等。可以看出该控制器除了应用在休闲类型游戏之外，在第一人称射击、即时战略等传统类型游戏也有相当潜力。
【各式应用范例】
SCE目前也正在开发《EyePet》这款PS Eye虚拟宠物游戏，虽然目前看来该游戏并没有采用PS动态控制器，不过仍展现了让虚拟宠物在实境影像中活动的扩增实境应用，玩家可透过肢体触碰与虚拟宠物互动，或是使用特制卡片来控制虚拟道具。虽然技术层面上与EyeToy没有太多不同，不过由于硬体性能的提升，因此整体表现也更为自然生动。
相较于科幻味十足的诞生计画，PS动态控制器的新鲜感可说是略逊一筹，不过现阶段揭示的应用较为具体，也比较容易能融入既有游戏中，并兼具Wii遥控器与诞生计画的部分长处，算是偏保守稳健的方案。但是相对于以标准控制器方式推出的Wii遥控器来说，选购的PS动态控制器在普及率与支援度上势必有所不如。而且虽然发表会展示的都是实机示范，但仍脱离不了技术展示性质，控制器也还是原型产品。 SCE表示PS动态控制器会在2010年春季推出，不过目前还没有任何支援游戏发表，后续发展仍有待观察。