kaiyun官方注册
您所在的位置: 首页> 电子元件> 业界动态> 苹果|Apple Vision Pro的空间计算与主要芯片

苹果|Apple Vision Pro的空间计算与主要芯片

2023-06-07
作者:陈巍
来源: 开云棋牌官网在线客服产业纵横

本文作者: 千芯科技 陈巍

文章来源: 开云棋牌官网在线客服产业纵横

原文链接:https://mp.weixin.qq.com/s/pZTm9aFk9bYEUQQCI5So6A


  在WWDC 2023 开发者大会上,苹果宣布了其操作系统和产品的一系列升级。但最大亮点是Apple Vision Pro,苹果的首款混合现实(Mixed Reality,MR,即VR+AR)设备,一经发布就成为世界热议的焦点。

  “今天标志着计算技术新时代的开端。”苹果CEO库克说,“如同 Mac将我们带入个人计算时代,iPhone将我们带入移动计算时代,Apple Vision Pro将带我们进入空间计算时代。

微信截图_20230607152517.png

01 空间计算

  空间计算是麻省理工学院Simon Greenwold 在其2003 年的论文中引入的一个术语。空间计算的实用化建立在人工智能 (AI) 、计算机视觉、芯片与传感器的技术进步之上。典型的空间计算包括自动化仓储、自动驾驶、工业制造、教育培训、游戏娱乐等应用场景。

  例如在自动驾驶领域,通过多传感器融合和多模态计算,来识别周边环境、移动物体和人就是典型的空间计算。通过更强的算法和芯片,车辆就可以挑战更复杂的地形和驾驶场景。

微信截图_20230607155559.png

  空间计算可以用人工智能、物联网、增强现实等技术取代旧场景的计算。据国外市场研究机构评估,新技术进步的引入、智慧城市项目的发展以及物联网/车联网渗透率的不断提高,空间计算解决方案的需求会产生18.3%的年复合增长率。

微信截图_20230607155616.png

  MR 感知和重建现实使用SLAM技术来完成,该技术经常使用在自动驾驶和机器人领域。基于SLAM技术扫视周围环境信息, 使用二维图像构建三维空间。

  据称Apple Vision Pro 具备6自由度(6 DoF- Degree of Freedom)级别,用户视角在虚拟场景中不仅可以在俯仰、偏摆及翻滚三个维度旋转,用户的身体还可以在前后、上下、左右三个互相垂直的坐标轴上进行运动。

微信截图_20230607155633.png

 02 传感器处理芯片R1

  Apple Vision Pro的核心芯片包括传感器处理芯片R1和计算芯片M2。除了这两颗核心芯片外,Apple Vision Pro还具有17个传感器、6个麦克风和两块4K级别的Micro LED作为显示。

  据苹果称,新的R1芯片可减少 VR 中的晕动症,其多模态处理时间仅为 12 毫秒。R1芯片是首次在苹果产品家族中正式亮相,目前披露的消息还很少。

微信截图_20230607155711.png

  在iOS 13 中的代码,早就揭示了这一新的协处理器的存在。R是其研发代号“Rose”的简写,当然我们也可以猜测R也代表了Reality。Rose 协处理器的第一个迭代版本 R1 (t2006) 有点类似于 Apple 的 M 系列运动协处理器,可以计算设备在空间中的位置,其核心功能是从主系统处理器中卸载大量的传感器数据处理工作。

微信截图_20230607155725.png

  早先的Apple M系列运动协处理器可以在系统主芯片休眠时,持续收集、处理和存储传感器数据的功能,方便应用程序在设备启动时检索数据。这减少了设备的功耗并延长了电池寿命。我们猜测R1处理器也有类似的功能。

  R1 的特别之处在于比之前的运动协处理器接入了更多的传感器,具备更强的处理能力,以生成更准确的设备位置图。R1处理器目前可集中处理来自陀螺仪、加速度计、气压计和麦克风的多模态数据,并增加了惯性测量单元 (IMU)、蓝牙 5.1、超宽带 (UWB) 和摄像头(包括运动捕捉和光学跟踪)传感器数据的多模态计算支持。其中蓝牙 5.1 的到达角 (AoA) 和出发角 (AoD) 功能可实现蓝牙测向。

  考虑到R1芯片对接的传感器需要实时计算,可以预估R1是一颗低功耗低延迟的多模态传感器融合计算芯片,其上定制了传感器常用的算子电路,并且具备NPU来支持基于AI的传感器算法。

微信截图_20230607155745.png

03 应用处理器M2芯片

  Apple M2 是 Apple 的片上系统 (SoC),之前已经用于MacBook Air 和 MacBook Pro 13。

微信截图_20230607155958.png

  M2具有8 个CPU内核,分为4个性能内核和4个能效内核。性能内核提供 192 KB 指令缓存、128 KB 数据缓存和 16 MB 共享二级缓存。效率内核要小一些,仅提供 128 KB 指令缓存、64 KB 数据缓存和 4 MB 共享缓存。效率内核时钟频率为2.4 GHz,性能内核的时钟频率则到达 3.5 GHz。另外M2 中的集成显卡提供8-10 个内核以及 3.6 TFLOPs 的峰值算力。此外,SoC 集成了一个具有 16 TOPS 峰值性能的高速16 核神经网络加速器(属于DSA,用于 AI 计算加速)。

  M2算是Vision Pro里的电老虎了,占据了主要的功耗。

微信截图_20230607160010.png

  M2特色是其采用统一的 CPU 和 GPU 内核内存架构,支持高达 24 GB LPDDR5-6400,带宽高达 100GB/s。内置于 M2 芯片中的统一内存架构意味着 CPU、GPU 和其他处理器组件无需在彼此之间重复复制数据,并且能够访问统一的数据池。


本站内容除特别声明的原创文章之外,转载内容只为传递更多信息,并不代表本网站赞同其观点。转载的所有的文章、图片、音/视频文件等资料的版权归版权所有权人所有。本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如涉及作品内容、版权和其它问题,请及时通过电子邮件或电话通知我们,以便迅速采取适当措施,避免给双方造成不必要的经济损失。联系电话:010-82306116;邮箱:aet@chinaaet.com。
Baidu
map