捏捏手指,将会是未来交互的主要形式
【来源:虎嗅网】
你用过Apple Watch上的「互点两下」功能吗?
食指和拇指在空中互相轻点两次,就能操控腕上的Apple Watch接电话、切歌,有点科幻,也显得抽象,一开始我以为这只是苹果秀肌肉的功能。
直到我戴上一支Apple Watch S9,在做饭忙得不可开交时尝试这个动作接听电话后,我彻底成为了这个交互的忠实拥趸,互点两次也已经转变成我左手的肌肉记忆。
而在当我戴上另一款苹果产品——Vision Pro之后,我对这个交互有了一个更惊人的发现:原来苹果的野心,从来不只在手腕上那块小屏幕而已。
图源:MacRumors
Apple Watch是XR的说明书?
如果你将一台iPad递给从来没接触过任何智能产品的儿童,不出半个小时就会发现ta已经无压力上手了。
原因很简单,触控屏是一种非常直观的呈现和交互方式,基本上就是哪里亮了点哪里。
这也是为什么大语言模型生成式AI在今天备受欢迎:因为自然语言同样是一种门槛极低的交互方式,只要会说话,哪怕说得不太好,都能很好操控机器。在复杂交互上,有时候说话比传统触控还更高效。
而同样作为被给予厚望的下一代交互,XR混合现实的情况完全不同,需要针对性地学习一套全新的隔空手势操作方案,并且这些手势也比较抽象,并不总与界面操作直观对应。
话是这么说,但我戴上Vision Pro之后,却发现一种异常的熟悉感:食指和拇指互点选中内容的动作,几乎和Apple Watch一模一样。
这不是一种强行对标,事实上,在Apple Watch双点功能的设置之中,就有一个「使用Apple Vision Pro时忽略」的开关,避免同时使用两种设备时发生误触。
除了Apple Watch,苹果这几年也有越来越多产品,引入了体感交互。
比如AirPods的摇头点头,以及iPhone的眼动追踪,其实都很适合智能眼镜。
当然,反过来说,这些新功能也很可能来自Vision Pro的技术下放,因为iPhone上的眼动追踪,更多是作为一种辅助功能的形式出现。
但就结果而言,越来越多来自Vision Pro的技术和功能,下渗到了更主流的苹果设备上——这种现象,潜移默化影响用户的习惯,降低了用户未来对空间计算设备的学习成本。
并且,将手表/手环作为XR设备的导航方式,这种做法其实苹果的同行们也早有研究。
另一家XR巨头Meta,一直在研究用手环操控电脑、手机乃至AR眼镜的方式。比如,去年Meta在发布面向未来的眼镜项目Orion的时候,就曾经展示过一款可以配套使用的智能手环。
但手势操作不是Meta的终点,他们在《自然》杂志上发布了一篇论文,讲述了用手环「读心」的可能性:佩戴手环后,用户不需要做任何动作,只要去「想」做某些动作,手环就能读取这些想法,完成相应的操作。
听起来有点科幻,但其实这完全是古早的技术:「肌电图」(EMG),能够收集前臂肌肉神经元的电信号。这项技术已经存在几十年之久,之前的杀手场景之一,就是帮助截肢者控制假肢。
当前臂肌肉活动时,脊髓中的神经元会产生电信号。这些神经元直接连接着各个肌肉纤维,因此产生的电信号特别强,能够直接从皮肤外部读取。这些电信号的传输速度,比肌肉发生事实活动还要更快——这就使得Meta的手环甚至可以预判用户接下来要做什么动作。
和这个手环几乎同一时间曝光的,还有Meta内部正在酝酿的智能手表:和Meta眼镜一样带有摄像头,不过目前不清楚它是否具备EMG能力。
Apple Watch识别手势背后的技术,和EMG略有不同:它是通过加速度传感器、陀螺仪和光学心率传感器,检测手指的微小运动和血流变化的特征,准确获取用户的真实输入意图。
并且,今年一月份也披露了一份苹果EMG技术探索的专利,将传感器集成到一颗小小的Apple Watch上。并且专利也进一步展示了EMG手表和头显、耳机、眼镜以及平板、手机之间协同工作的可能性。
对比Meta,苹果还有一个极大的优势:
用户不一定愿意额外戴一个长得不好看,并且只能用来操作AR眼镜的手环,但很愿意戴一个Apple Watch。
甚至Apple Watch这个产品形态本身,也在为智能眼镜的普及铺设道路。
在爱范儿与苹果高管Kurt Knight的访谈中,他强调过Apple Watch作为一个迷你「电脑」的属性。
从这个角度去看,我们对身上长时间佩戴一个「电脑」这件事,已经习以为常,而下一步就是智能眼镜。
实用且可行的分体式AR
目前的AR眼镜范本Meta Orion,一共包含三种组件:
戴在头上的眼镜,作为显示界面;
戴在手腕上的腕带,用于体感交互;
负责计算功能的「大脑」——和电视遥控器差不多大的主机。
比起大而全的Vision Pro,用不同的组件各承担一部分功能,Meta Orion真正做出了一款上头更轻薄、更能长时间佩戴的AR眼镜。
如果要将这三种组件,在形态或功能上和苹果生态一一对应,就能发现,Apple Watch能充当用于体感交互的腕带,而iPhone本身就是一个自带操作系统和高性能的计算中心。
这样看,苹果离一套Meta Orion,其实只差一副用于显示的眼镜。
事实上,如果单论AR显示器眼镜,市场上已经不缺少这些产品,雷鸟、XREAL等公司在这条道路上深耕多年,已经有效果相当优秀的产品问世。
XREAL也已经和Google合作,今年展示了Project Aura,也是一副需要和计算单元配合使用的AR眼镜,为Android XR阵营树立了一个参考的标杆。
也就是说,其实我们离一副真·AR眼镜的距离,其实根本没有想象中那么遥远——甚至可以说,技术已经基本准备好了。
据彭博社消息,在Vision Pro遇冷之后,苹果确实正在探索打造一款必须和iPhone或Mac配合使用、专门用于显示的AR智能眼镜,有望明年上市。
还有一个乍一看无关,但结合起来看其实别有深意的爆料:
苹果正在为iPhone准备「桌面模式」,通过USB-C口连接外部显示器,就能提供类似台前调度的界面,非常适合用来演示和观看。
三星DeX模式,图源:The Verge
这种模式其实不算新鲜,现有产品在市场上的反响也平平,所以传出iPhone正在测试相关功能的消息时,确实有点让人摸不着头脑。
不过,换个思路,如果说它不是专门为了外接显示器,而是为AR眼镜而准备的界面呢?
手持三星手机的爱范儿同事,就尝试过将三星手机外接AR眼镜使用,表示体验相当不错,仿佛获得了一台随身电脑。
而在苹果这边,也许用户可以直接将iPhone作为触控板进行输入,也可以通过Apple Watch,解锁完整的XR手势操作体验;眼镜内部也可以搭载摄像头,作为眼动追踪的输入口。
爱范儿之前也已经进行过讨论,认为iPhone以及智能手机已经演变成一种复合设备,在相当长的一段时间不会被智能眼镜等下一代计算终端取代。
因此,在智能眼镜技术和形态完全成熟,能够独当一面成为个人独立的计算设备之前,将iPhone继续当作计算的核心,眼镜专门作为AR显示的入口存在,再利用Apple Watch作为手势输入的方式,是更实用,并且离更多用户更近的方案。
这个路线,也能让苹果凭借iPhone和Apple Watch庞大的用户基数,在XR站稳脚跟。
并且这样的方案不是「Only Apple Can Do」,Android XR阵营完全可以复制甚至超越。坊间有传闻,未来的Android操作系统将会内置Android XR系统,并且连接Wear OS手表进行交互。
对比举棋不定的苹果,Android XR继续发挥百花齐放的优势,分体式单屏的AR眼镜Project Aura要做,全功能的头显Project Moohan也要做,而其他厂商也能打造自己的Android XR设备。
近几年发力XR平台的高通,前不久推出了全新的AR1+Gen 1芯片,除了更强大的性能和更小的体积,还明示了芯片将支持与智能戒指协同,作为Android XR系统的一种输入方式。
这不仅是计算终端的演变,更是我们交互方式发生的重大变革:从手指为主的触控,转移到全身的体感交互。而其中,眼动是纯粹直觉的交互,能够和触控一样成为没有门槛的上手方式,但手势不是。
Apple Watch和Vision Pro使用同一套手势交互,其实是在推动一种新的系统控制协议:无论你用的是什么设备,系统都能通过统一的感知机制和反馈机制理解你的意图。
这不仅是为未来做准备,而是未来已经悄然到来。只不过,它藏在我们早已习惯的手表和手机之间。