微软首度揭露其AR头戴式装置HoloLens内部的客製化视觉处理器晶片细节。

微软(Microsoft)近日首度透露了其扩增实境(AR)头戴式装置HoloLens内部的客製化视觉处理器晶片细节；该款晶片的处理能力达到每秒1兆(trillin)次画素运作(pixel-operations)，功耗比採用代号Cherry Trail的英特尔(Intel) Atom系列核心之主机处理器的4W还低。
该HoloLens处理单元(HPU)融合来自5个摄影机镜头、一个深度感测器以及运动感测器的输入资讯，将之压缩并传送到Intel的主处理器SoC；此外HPU还能辨识手势以及涵盖多个房间的地图环境。微软在今年稍早介绍了HoloLens的主要功能内容，但并未公开其HPU细节。
微软评估了包括来自Movidius等供应商的市售电脑视觉晶片，却发现并没有任何一款产品能以其要求的性能、延迟以及功耗目标处理所有演算法；而后来的客製化HPU是採用28奈米台积电(TSMC)製程，内含24颗Tensilica数位讯号处理器(DSP)核心以及8Mbyte的快取记忆体， 在尺寸仅12x12mm的晶片封装中纳入了6,500个逻辑闸以及1Gbyte容量的LPDDR 3。

HPU的运算引擎整合了Tensilica DPS核心以及多个加速器
（来源：Microsoft）

在近日于美国硅谷举行的Hot Chips大会上介绍HPU的微软杰出技术人员Nick Baker表示，选择Tensilica核心有部份原因是考量其弹性，微软在核心中添加了300个客製化指令集：「如果你无法添加客製化指令集，最后可达到的数学运算密度不会是你需要的。」
HPU晶片混合採用独立的加速器(accelerator)，以及与DSP核心紧密耦合的加速器，在一个纯软体版本达到整体200倍的加速；Baker表示：「我们尽可能按照需要採用可编程元素以及固定的功能硬体，以达到我们需要的性能目标；」晶片的软体程式码包含多样化的演算法:「具备不同的成熟度、数学运算以及记忆体存取模式。」
Baker透露，HoloLens的开发分成硬体、软体、使用者体验与性能等不同团队同时进行：「我们在这个专案上将共同设计发挥到极致；」他并强调，微软内部就有能力可将软体模拟(simulation)测试结果，转化为也能在最终硬体成果上执行的硬体模拟(emulation)程序：「所有工作都在Windows 10开发期间同时进行。」
在3月份上市、定价3,000美元的HoloLens开发套件就内含了HPU；不过对于HPU是否将有更新计画，或是微软何时会推出消费者版本的HoloLens，Baker婉拒发表意见。展望未来，Baker认为设计工程师们会将头戴式装置进一步推向8K解析度，以及支援更宽广的视野。
「注视点渲染(Foveated rendering，也就是将使用者目标聚焦范围以外的任何景物维持模糊化的一种方法)可望变得越来越普及…以及各种不同解析度的显示器也可能出现；」Baker表示：「我们需要思考这样的趋势对GPU、互连技术以及面板产业等整个供应链会带来什麽影响。」