iPad

眼动追踪

异日交互

毫无疑问，新款 iPad Pro 仍然是阅读、游戏、不雅看视频及绘图等界限的最好平板。但跟着 M4 芯片、妙控键盘及 Apple Pencil Pro 的加入，iPad 比任何妥当都更接近一台条记本电脑。

那么，是否 iPad 会在异日渐渐成为一款带有触控功能的 MacBook？

谜底可能是含糊的。

在最新的 iOS 18 中，苹果用这项「扶助功能」，为咱们预言了一种对于 iPad 交互的新异日。

眼动追踪：从 Vision Pro 到 iPad

近期，苹果公司公布了其 iPadOS 18 操作系统中新加入的「眼球追踪」功能，这项看似不起眼的功能却被放在了先容页面之首。

提及眼动追踪，可能许多东说念主第一个思到的如故此前苹果发布的 Vision Pro，这款开采最越过的特征之一即是接受了眼动追踪的容颜代替传统手柄。

用户可以通过眼球的移动，来放胆应用时势，进行菜单导航，致使是玩游戏，无需依赖触控或外部开采，大大栽种了使用的方便性，展示出了这种交互容颜的魔力。

这主要收获于 Vision Pro 分别在内的数个红外录像头及 M2、R1 双芯片的设想，使其能够应用图像处理时刻提真金不怕火与眼动联系的特征，并通过修复模子的容颜收场眼动追踪。

Vision Pro 录像头分别，图片来自苹果

而不久前发布的新款 iPad Pro 在花式上的一个进犯窜改，即是把录像头从窄边挪到了长边上。

录像头模组中的点阵投影仪、泛光感应元件、前置录像头、红外录像头搭配全新 M4 芯片，如今看来大致即是在为后续料到打算铺路。

这次的更新描摹中也夸耀，苹果的眼球追踪功能皆备由开采上的机器学习收场，这意味着它不需要任何特等的硬件，况兼可以立即在通盘运行 iPadOS 18 的开采上使用，印证了这一判断。

图片来自哔哩哔哩博主：微机分 WekiHome

当今业界公认的眼动追踪门径，有基于外不雅的眼动追踪门径与基于二维映射的眼动追踪门径两种。

前者主要以东说念主脸图像或眼部图像为输入进行特征提真金不怕火，然后通过机器学习将这些特征和视野想法关联起来。这种门径开采粗浅，只需要录像头就能完成，但它需要大批的老练数据来修复准确的模子，从而正确地解读你的视野想法。

而另一种基于二位映射的眼动追踪门径，则主要通过分析眼球和角膜反射的相对位置变化来详情眼球清爽。

由于眼球清爽时角膜反射光斑位置不会变化，因此就可以手脚瞳孔清爽的参照点，字据两者相对位置的变化，计较收场想法。

校准时你需要精通屏幕上的特定点，系统会纪录这些点和你的眼睛数据，修复一个映射模子。之后，当你看向其他场地时，系统就能通过这个模子准确地知说念你在看那处。

瞳孔-角膜反射向量法暗示图，图片来自汇集

如今看来，眼动追踪的旨趣并不十分复杂，以现存的硬件条目足以得志需求。但履行上，思要收场这一功能，苹果其实经验了很长的历程。

布局多年的临了一步

早在多年以前，苹果就运行蒲剧眼动追踪界限，汇集联系东说念主才实时刻。

2013 年，苹果收购了来自以色列的 PrimeSense，该公司曾为微软提供 Xbox 的 Kinect 的动作放胆时刻提供因循。

PrimeSense 首创东说念主合影

这家公司曾推出过一款尽头工整，可镶嵌手机、平板等开采的 3D 录像头——Capri。这是 PimeSense 在 2013 年 Google I/O 大会上展示的内容：

Capri 被装置在谷歌 Nexus 平板电脑上

Capri 对的确场景进行 3D 建模，并得回场景内物体的长、宽、高级具体数据

通过 AR 时刻模拟出椅子在的确空间中的碰撞信息

将 3D 图像传输到 3D 打印机完成 3D 打印

一同推出的还有在其时堪称「公共最小」的 3D 感知芯片，由于可以的性能和工整的体积，使其能够部署得手机、电视等诸多电子开采上。

2017 年，苹果又收购了一家来自德国的老牌眼球追踪时刻公司 SensoMotoric Instruments，它曾一度是公共最大的眼动开采的出产商。

凭借「钞能力」带来的一系列对于眼动追踪的硬件及软件，苹果在同庚头次将眼动追踪功能用于其 Face ID 中，来栽种解锁的安全性。

而后数年间苹果不停有眼动追踪联系的专利央求流出，苹果也在不停探索，这不仅促成了 Vision Pro 基于眼动追踪的交互容颜，也催生出了其他苹果开采上对于的眼动追踪的无尽可能。

早期对于眼动追踪及「防范力检测」专利内容

眼动追踪的异日畅思

比较传统交互容颜（鼠标、键盘、触控等），眼动追踪存在这么几个上风：

天然直不雅：眼动追踪应用东说念主眼的天然清爽进行交互，不需要特等的操作开采。用户只需精通经营即可完成相应的操作，裁汰了学习资本，交互更妥当直观。

栽种效果：眼部肌肉是东说念主体响应速率最快的肌肉之一，通过眼动追踪，用户可以更快地遴荐和放胆界面元素，还可以减少手部动作，提高操作速率和效果。

与其他输入容颜组合：眼动追踪可以与其他输入容颜伙同使用，如语音放胆和手势操作，提供更丰富和天确切交互容颜。

多任务处理：用户可以在彭胀其他任务（举例驾驶或行行运）或同期处理多项任务时，只是使用眼动追踪放胆而不需要过剩的动作，提高操作效果。

数据分析与个性化：眼动追踪可以提供对于用户防范力和意思的可贵数据。这些数据可以用于优化界面设想、告白投放和用户体验个性化，使系统愈加智能和用户友好。

增强现实（AR）：在 AR 环境中，眼动追踪可以提供愈加千里浸式和天然的交互体验。用户可以通过精通来遴荐和操作造谣对象，栽种使用体验。

也恰是收获于这些上风，使其在许多具体场景中展现出了雄壮后劲。

举例在许多游戏中，除了带来愈加方便的操作除外，眼动追踪也会给玩家带来更好的千里浸感，让玩家只需通过收场就能放胆游戏内脚色进行互动。

使用眼动追踪放胆游戏，图片来自汇集

此外，收场眼动追踪功能后，开发者还能字据眼动数据诊治场景光照、视角变化等诸多参数，适配用户个东说念主视觉民俗，使游戏画面愈加传神。

游戏中的酬酢，也可以通过造谣东说念主物收场随玩家面部实时变化的各式动作现象，举例收场想法、眨眼、眯眼等，丰富东说念主物的热情抒发，从各个方面栽种游戏的千里浸性。

除了游戏除外，这项时刻给平时活命带来的变化大致才是更值得期待的。

Vision Pro 在发布后，一个进犯应用场景即是教训、医疗等场景，毫无疑问这在收场眼动追踪的 iPad 上相同适用。

诸如遨游员模拟老练、手术模拟等职业老练界限，通过追踪学员的眼球清爽来评估有经营速率和准确性。

眼动追踪可为老师提供对于学生学习流程中的防范力集中点和贯穿进程的实时反馈，有助于个性化教学策略的指定和创新课程内容。

装置在遨游驾驶模拟教学开采上的眼动追踪开采

还有一些场景尽头妥当眼动追踪这种交互容颜，举例家居环境即是其中之一。通过眼动追踪，使 iPad 成为智能家居中控台，收场对家居的放胆；或者在手上有其他事情、手上有油污等情况下提供另一种操控道路等。

固然眼动追踪应用后劲尽头雄壮，但也有部分业内东说念主士对该时刻的安全性提倡了质疑。

数据标明，一个东说念主的眼部数据会暗含用户的年事、性别、种族、热情现象、本性特征等等多种信息。

加州大学洛杉矶分校时刻、法律和策略推敲所的首创东说念主和教职联席主任 John Villasenor 流露：

一朝眼动追踪时刻闇练，它将采集更多的信息：咱们在网上阅读的内容，致使咱们的阅读流程。比如，咱们是否看到了网页告白，思了一会，临了没去点击？咱们在阅读通盘网页的时候，眼球是如何移动的？咱们更心爱或者隐没哪些字，词语，或者主题？在异日，展示到咱们目下的告白，是否将不单是只是取决于咱们买过什么东西，还将取决于咱们眼球的清爽现象？

加州大学洛杉矶分校电气工程训诲 John Villasenor

显然，要是能够了解用户眼神防范力的抓续时分、焦点偏好，再伙同瞳孔大小、眼跳等多种维度的数据，思要更准确地「猜你心爱」无疑会愈加准确，隐没保护的难度也将直线升级。

对此，苹果的解答是将通盘的捕捉妥协读都放在开采上进行，不需要借助其他外部硬件，举例特意用于捕捉眼动数据的眼镜等开采，苹果也看不到录像头捕捉到的任何内容。

不外这在当下用户隐没安全愈发敬重、表露信息总会时常发生的大配景下，大致仍然很难处置用户的忧虑，也很可能会成为眼动追踪功能难以彭胀的一个进犯成分。

特意用于捕捉眼动数据的 Tobii Pro Glasses 2，图片来自Tobii

此外，还有一个更大的问题在于如何确保眼动追踪在不同环境下褂讪、准确地运行，并能顺应诸如佩带眼镜、具有格外眼部特征的东说念主群等。

而且由于东说念主的视野往往移动速率很快，清爽也常常是不功令的、或具有逾越性的，这亦然一个必须处置的难得。

针对这一问题，苹果大致将会用上 AI 来处置。

一位曾谨慎开发 Vision Pro 苹果前职工 Sterling Crispin 披露，苹果使用了大批神经科学来开发其一些要津功能，举例通过 AI 来预测用户的操作行径：

AI 模子会试图预测您是否感到意思、跑神、发怵、集中防范力、回忆以前的经验或其他融会现象。这些可以通过眼动追踪……测量来推断。

他还流露，这主要由于：

你的瞳孔在你点击之前会作念出响应，部分原因是你展望点击后会发生某事。因此，可以通过检测用户的眼部行径，并实时互动的 UI 来创建与用户大脑的生物反馈，以创建更多这种预期的瞳孔响应。

他还繁盛地流露，这种加入 AI 算法及实时反馈的眼动追踪反馈，正在使其成为了一种「粗陋的脑机接口」，尽头酷。

对 iPad 功能的扩展和地位的重塑

天然，对于眼动追踪成为「脑机接口」的描摹大致略有夸张，但无法掩饰的是其对交互容颜的扩展后劲。

iPad 在出身之初曾被奉求厚望，但于今仍然被不少东说念主视为「买后爱奇艺」的存在，其根底原因就在于交互的短缺。

在这方面，苹果其实曾经进行了许多竭力，举例 Apple Pencil、妙控键盘的加入，某种进程上都可以看作念是苹果在丰富平板交互容颜方面进行的尝试。

不外这些竭力似乎并莫得从根底上窜改 iPad 的莫名处境，毕竟要是思要使用键盘，何不径直遴荐 MacBook？而 Apple Pencil 固然挖掘出 iPad 花式在专科界限的后劲，但又受限于专科界限狭小而无法成为挽回 iPad 的要津。

此外，从「扶助功能」中找到新的交互，也一直是苹果挖掘产物后劲、提供新的打破的一个进犯门径。

举例 Apple Watch Series 9 双击功能可以感应手指动作，作念到无需触摸即可放胆腕表，在推出后受到不少用户好评，但它曾经弥远藏隐在「扶助触控」的边缘。

与眼动追踪很相似的交互，其实也藏在苹果的「扶助功能」的列表，举例当今许多 Mac 电脑的「扶助功能」中，就曾经出现了「头控指针」，用户能够通偏激部的移动来放胆指针的移动。

跟着 iOS 18 的更新，眼动追踪也相同很有可能也将从「扶助触控」的边缘走向舞台的中央，在一段时分后成为你每天都在使用的一项进犯功能，绽开 iPad 新的交互期间。

大致，不单是使用手指放胆，才是 iPad 的异日。