从科幻电影中学习手势操作

科幻电影中最吸引注意力的界面基本都是用手势操作的。电影《少数派报告》（Minority Report）中预防犯罪小组的警察使用的界面就是如此。约翰·安德顿侦探通过此界面看到三个“先知”的预测画面。当出现未来可能发生的犯罪场景时，安德顿就会到事发地点阻止犯罪，并逮捕潜在犯罪者。

在充满未来科技的电影中，这个界面是非常令人难忘的，也是电影史上被引用最多的界面之一。（有一个快速但不是很科学的测试方法，在谷歌中输入[科幻电影名称]+“界面”，比较搜索结果。我们发现包含“少数派报告界面”的结果有）459000个，是第二名“星际迷航界面”的6倍还要多（68800个）。

客观说，在外行看来少数派报告界面就是手势界面的代名词。但该电影制片人的顾问 John Underkoffler(约翰-昂德科夫勒，麻省理工学院科学家，译者注)甚至在为电影做顾问之前就已经通过他的公司（Oblong）开发了了手势操作界面。此界面在现实世界中版本是一个通用的多用户协作平台。他的公司几乎可以让电影中的场景在真实世界中实现商业化。

文中多次提到《少数派报告》，其中有两点是值得注意的。

第一，好的演示可以掩盖很多缺点。

好莱坞传闻，汤姆·克鲁斯（少数派报告中安德顿的扮演者）在拍摄使用该界面的镜头时需要经常休息，因为这个界面非常难用。看影片时不难发现使用该界面要伸出手，但很少有人可以长时间把手臂举的和胸部齐平并随意移动。当然，汤姆·克鲁斯休息的镜头不会在电影中出现——这些删掉的镜头会误导那些想在现实生活中使用这种界面完成工作的人（会让人误以为很好用，其实并非如此）。

尽管电影没想详尽介绍这个界面，也不是需要像急着出售此技术一样做全面演示，但我们应该明白，在现实中演示已有技术时也有同样的问题。演示界面的可用性（以及上述例子中的手势语言）算然在卖出方案时是一种很有效的工具，但我们不得不承认这种演示可能是一种误导信息。因为你不会把所有的使用细节都放在演示中。

第二，手势界面要理解操作者的意图

启示来自于这样一组镜头：Danny Witwer走进Anderton的工作室，自我介绍的时候向Anderton伸出手（和他握手）。出于礼貌，Anderton也伸出自己的手。这时，电脑感应到Anderton手部动作的变化，并误以为是Anderton的命令，差点将Anderton的工作内容移出界面（等于丢失）。Anderton不得不放弃握手，转而操作界面，继续刚才的工作。

（图）

手势操作界面中存在的最主要问题之一是用户的身体就是界面的控制机制，但用户只在某些时候才有主动操作界面的意图。在其他时候，用户可能只是想和别人握手，接电话或者挠痒痒。系统应该包含不同的模式：什么时候用户的手势有含义，什么时候没有。这可能和平常的开关一样简单，但用户仍然需要触及到开关才能完成操作（去按开关同样会有动作，此动作也可能引起误操作，译者注）。

暂停命令可能会对此有所帮助，或者用带有此命令的特殊手势也行。再或者让系统检测用户的视线，只有当用户的视线在屏幕上时才响应用户的手势。不管用什么解决办法，切换命令最好和控制机制在“不同频道”上，只有这样模式切换才能平滑并且快捷，而且不用担心发出错误指令。

手势操作还是一种不成熟的概念

其他手势操作界面呢？我们观察它们的时候可以得到什么？在此调查中还有很多手势操作界面的例子，最早可以追溯到1951年，但在1998年之后才井喷式发展出现。（如下图）

这一组图片中，我们通过科幻电影看到了一种规则还不成熟的输入技术。（input technology）图中每个界面都差不很大，只有少数核心的地方保持一致。当然，这些系统用于各种不同的场合，包括安全、远程手术、远程打击、硬件设计、军事情报工作、甚至外包体力劳动。

大部分手势操作设备只提供给用户一个可交互的界面（看不到其他硬件），但在《少数者报告》中需要用户带上一种指尖发光的手套，如上给虫蛹做远程手术的图片。我们可以想象成这是对可视方面的需求，这种方式确实方便电脑追踪手指的确切位置。

好莱坞的“洋泾浜”（pidgin，形容好莱坞有很多表现手势操作界面的方式，译者注）

在调查中尽管没有对一连串复杂手势命令中每个手势所代表的含义做出解释，但我们可以从触发操作的原因以及得到的结果上拼凑出一套基础手势词汇。我们发现只有7中通用的手势。

1、WAVE手势激活

第一种手势是摆动手臂以激活设备，就像把它叫醒或引起它的注意一样。如电影《地球停转日》（The Day the Earth Stood Still）中，Klaatu用手划过半透明的控制面板来激活飞船操作界面。还有《捍卫机密》（Johnny Mnemonic

）中主人公在浴室中挥手打开水龙头，如今这已成为现实。（下图）

2、PUSH手势表示移动

移动物体的手势基本上和现实中移动物体的方法一样：用手指操作，手掌和手臂推动。移动虚拟物品时往往具有和他们现实世界中对应的物品一样的阻力和刚性。

虚拟重力和动量会在手势进行中出现，即使按理说虚拟物品不应该有这些性质。我们可以看到《少数者报告》中Anderton是这么做的，而且《钢铁侠2》中Tony在移动他父亲的主题公园设计方案投影是也是如此。（下图）

3、TURN手势表示旋转

在虚拟界面中旋转物体和在现实世界中旋转物体有些类似。双手拿住物体的不同边，沿着轴线向顺时针或逆时针方向移动，虚拟物品就会旋转。美剧《萤火虫》中Simon Tam博士用这样的手势来控制界面检测他妹妹的大脑。（下图）

4、SWIPE手势表示关闭

关闭一个项目的手势一般是挥出手臂，力道和方向都不重要。在《捍卫机密中》Takahashi生气的反手甩出手臂来关闭桌子上的可视电话。《钢铁侠2》中Tony用正手挥动手臂来关闭不感兴趣的设计。（下图）

5、POINT或TOUCH手势表示选择

用指尖点击或触摸来指定选项或选择工作对象。电影《第九区》中外星人Christopher Johnson触摸立体显示设备中的选项来选择目标。电影《天神下凡》里Brügen博士在做远程手术的时候，通过界面触摸器官来确定手术位置。

6、探出手臂（EXTEND THE HAND）手势代表射击

要是小时候玩过牛仔与印第安人，你一定能认出这个手势。在一个手势操作界面之前，探出手臂（手指或者手掌）指向目标就能完成射击。同样的手势出现在电影《迷失太空》里面主人公Will的远程打击控制界面上。还有《超人中动员》中Syndrome的零点能量束。以及钢铁侠中也有类似的画面。

7、PINCH和SPREAD手势表示缩放

这一手势在现实世界中没有物理模型，电影中这种手势的一致性来自于物理语义：拿住物体的两边，把手向外分开就可以让一个物体变大。同样，手指向内收缩或手臂向内并拢就可以让物体变小。《钢铁侠2》中Tony在检测分子模型的时候就是用的这一手势。虽然还有其他的手势，但在此次调查中我们没有发现和如上手势一样通用的模式。但我相信随着现实中技术的成熟和科幻小说（电影）的发展，手势操作的模式也会随之变化。越来越多手势操作的例子会让整个手势体系更加完善。

机遇：完善手势体系。

在现实世界中有很多电影里从未提到的控制方式，而且他们都有相应的自然手势。声音控制就是其中一种。用手塞住或者捂住耳朵是降低音量的自然手势。但在科幻电影中很少有需要控制音量的场景，所以控制音量的手势还没有和上面提到的其他几种手势一样形成规范。换句话说，第一个定义出控制音量的手势操作界面将有机为充实手势词汇做出贡献。

注意：偏离手势操作规范时要谨慎。

上面所说的7中手势已经得到了认可，因为它们在不同的电影中都能直观的展示所表达的含义，这已经获得电影制片人的共识。当然也有可能制片人从别的地方看到这种控制方式后加入到自己的电影中。如果一个手势的含义已经很明确了，作为设计师要想在此基础上做变化会有迷惑用户的风险，因此只有在理由非常充分的时候才能谨慎做出改变。

直接操作

要注意上述7个手势都是来自于和实物交互的经验。这就引发了关于直接操作的讨论。界面的直接操作意味着用户不通过中间输入设备或其他屏幕控制方式直接和和要控制的物体交互。

举个例子，在“非直接操作”的界面上滚动一个长文本，如在Mac OS中，用户需要握住鼠标控制光标，将光标移动到滚动按钮上，然后点击鼠标才能完成滚动操作。（作者为了突出“非直接操作”需要通过中间输入设备完成而故意说的比较麻烦，译者注）这么长的描述看起来挺傻的，因为这一系列动作发生在很短的时间内，用户几乎已经把这种方式当做约定俗成的，甚至已经不记得最初接触电脑时他们要依次学习每个步骤。但不得不说这种约定俗成的操作中，每一步都要额外的工作量。

但在一个“直接操作”的界面上完成同样的任务，如ipad，用户只要把手指放在页面上，然后上下拖动就可以了。此处没有鼠标、没有光标、没有滚动按钮的参与。总之，用手势完成滚动操作可以减少物理负担和认知负担。但由于直接操作需要复杂而且昂贵的技术支持，所以直到最近几年才得到广泛的应用。

在科幻电影中手势操作界面和直接操作策略是紧密结合在一起的。也就是说很少看见手势操作界面不是直接操作的。

Tony Stark想移动他父亲所设计公园的三维投影，于是他把手放在投影下方，把它托起来移动到实验室的新位置。《萤火虫》中Tam博士想旋转她妹妹大脑的投影，于是他用手握住“面板”，就像旋转真实物体一样控制它。《少数者报告》中有一个例外，但完全能够理解，Anderton操作的对象是视频片段，而视频是一种更加抽象的媒介。

手势操作界面和直接控制策略不是既定的耦合。概念上来说，完全可以用手势操作WIN7系统，但WIN7系统并不是直接控制的界面。手势操作既可以减少物理方面的中间媒介，又可以减少虚拟方面的中间媒介，所以，手势一般都是直接操作的。但这种耦合并不能满足所有用户的需求。

如我们上面所讲到的，直接操作所用的手势需要现实世界中有对应的动作习惯。但操作虚拟物时，我们不只想移动、缩放、旋转它们，除此之外还有其他比较抽象的操作吗？

正如我们所期待的，这也是手势操作界面应该考虑的方向。通过定义手势含义来规定抽象操作的手势，在现实世界中没有简单的对应物，并不能得到人们的认可，因此，还需要更多的解决方案。如调查中所示，一种解决方案是按上面附加一层图形用户界面。例如，当Anderton不断回放视频片段来帮助他理解所看到的内容时，以及Tony把一部分设计方案拖进垃圾桶时，这些操作都是通过手势完成的，但不是直接操作的。

但在一大堆GUI工具中调用和选择工具是非常麻烦的，甚至会造成想使用DOS系统一样的记忆负担。如果处于解释抽象操作的需求，我们可以推断出在手势操作功能齐全的界面中会布满GUI图形，并不像科幻电影中喜欢展示的干净整洁，松弛有度的效果一样。在调查中我们发现还有另外一种解决方案：使用声音。

在钢铁侠中Tony对电脑说：JARVIS，你可以帮我建一个数字线框吗？我需要可以可以操作的投影。收到命令JARVIS立刻开始工作。这样一个命令如果用手势操作完成可能要复杂很多。语言在处理抽象命令时很有效，人类也更善于应用语言。所以语言是一个不错的选择。

多途径都可以考虑：GUI、手指位置和组合、表情、呼吸、凝视和眨眼，甚至是脑电波都可以考虑。所有这些途径理论上都是可行的，但都无法取代语言在处理抽象信息方面的优势。

注意：用手势控制简单、自然的的任务；用语言控制抽象的任务。

手势操作界面在完成自然的任务时很快捷，但如果需要进行一系列操作，手势很麻烦、效率比较低或者很难记住的时候手势操作就不适合了。当具体操作和抽象操作并行的时候，设计师应该提供可选的操作方式，比较理想的就是语言输入。

手势操作界面：一种新兴的语言。

近几年随着一些游戏平台的发展，如任天堂的Wii、微软的Kinect，以及触屏设备的流行，如iPhone和iPad，手势操作界面在商业上已经取得了非常大的成功。人们一度想用“自然用户界面”来形容这些。但上面那些科幻电影中的例子已经告诉我们，手势只在一小部分操作中是“自然”的。在复杂的操作中需要介入其他类型的交互方式。

手势操作界面非常有前景。而且符合远程交互的理念。随着远程技术的发展，远程交互已经和现实世界越来越密切。所以抛开局限性不说，我们期望科幻电影制片人继续在他们的电影中使用手势操作界面，这样可以促进这些技术在现实世界中的应用和发展。