AR行业报告模板.docx

序言继智能手机、平板电脑以后，虚拟现实（VR）和增强现实（AR）有潜力成为下 一个重大通用计算平台。从目前来看，更多企业选择从 VR 领域进行切入，各大研究企业、投行针对 VR 领域研究汇报也层出不穷，相比之下，AR 领域却稍显平淡。腾讯科技旗下 VR 次元公布全球首份 AR 行业汇报，在这份汇报中，我们将对 AR 发展趋势、未来挑战、潜在应用领域、可能发明和颠覆市场进行分析和预 测。最终，感谢亮风台研发总监吴仑博士对本汇报支持，吴仑博士撰写了 AR 工作 原理、关键技术相关章节。尤其提醒：微信上搜索“qqtechvr”，关注“VR 次元”微信公众号，回复“AR”， 即可取得 AR 汇报 PDF 版。第一章AR 和 VRVR 和 AR 有着不一样应用领域、技术和市场机会，所以区分二者之间不一样至 关关键。从技术角度来看，AR 是将计算机生成虚拟世界套在现实世界上，即把数字想 象世界加在真实世界之上。最经典 AR 设备就是谷歌眼镜。这种智能眼镜将触 控板、摄像头和 LED 显示器结合起来，经过显示器，用户能够联网，并在视 野内使用地图、电子邮件等服务。其它著名 AR 产品还有微软 HoloLens， 创业企业则以 Magic Leap 为经典代表。AR 含有三个关键特征：1、融合虚拟和现实：和 VR 技术不一样是，增强现实技术不会把使用者和真实 世界隔开，而是将计算机生成虚拟物体和信息叠加到真实世界场景中来，以 实现对现实场景更直观深入了解和解读，在有限时间和有限场景中实现和 现实相关知识领域了解。增强信息能够是和真实物体相关非几何信息，如 视频、文字，也能够是几何信息，如虚拟三维物体和场景。2、实时交互：经过增强现实系统中交互接口设备，大家以自然方法和增强现 实环境进行交互操作，这种交互要满足实时性。3、三维注册：“注册”（这里也能够解释为跟踪和定位）指是将计算机产生虚拟物体和真实环境进行一一对应，且用户在真实环境中运动时，也将继续维持 正确对准关系。VR 是让用户置身于一个想象出来或重新复制世界，或是模拟真实世界。 VR 领域关键产品包含 Oculus、索尼 PlayStation VR、HTC Vive 和三星 Gear VR。（相关 VR 更多情况，可关注 VR 次元微信公众号，回复“高盛”和“德 银”，分别取得高盛 VR 汉字版汇报和德银 VR 汉字版汇报）区分 VR 和 AR 一个简单方法是：VR 需要用一个不透明头戴设备完成虚 拟世界里沉醉体验，而 AR 需要清楚头戴设备看清真实世界和重合在上面 信息和图像。从现在来看，AR 比较适合服务企业级用户，而 VR 同时适适用于消费者和企业用 户。有些情况下，二者还会出现重合市场。比如，现在大多数游戏基于 VR 研发， 但微软也用 HoloLens 重新创作了我世界这么游戏。AR 发展简史AR 技术起源可追溯到“VR 之父”Morton Heilig 在上个世纪五、六十年代所 发明 Sensorama Stimulator。Heilig 是一名哲学家、电影制作人和发明家。她利用她在电影拍摄上经验设计出了 Sensorama Stimulator，并在 1962 年取得了专利。Sensorama Stimulator 使用图像、声音、风扇、香味和震动，让用户感受在纽 约布鲁克林街道上骑着摩托车风驰电掣场景。尽管这台机器大且粗笨，但在当 时却很超前。令人遗憾是，Heilig 没有能够取得所需资金支持让这个发明 商业化。AR 历史上下一个重大里程碑是第一台头戴式 AR 设备发明。1968 年，哈佛 副教授 Ivan Sutherland 跟她学生 Bob Sproull 合作发明了 Sutherland 称之为“终极显示器” AR 设备。使用这个设备用户能够经过一个双目镜看到一个简单三维房间模型，用户还能够使用视觉和头部运动跟踪改变视角。尽管用户 交互界面是头戴，然而系统主体部分却又大又重，不能戴在用户头上，只能悬 挂在用户头顶天花板上。这套系统也所以被命名为“达摩克利斯之剑”。尽管这些早期发明属于 AR 范围，但实际上，直到 1990 年，波音企业研究 员 Tom Caudell 才发明了“AR”这个术语。Caudell 和她同事设计了一个辅 助飞机布线系统，用于替换粗笨示例图版。这个头戴设备将布线图或装配指 南投射到特殊可再用方板上。这些 AR 投影能够经过计算机快速轻松地更改， 机械师再也不需要手工重新改造或制作示例图版。大约在 1998 年，AR 第一次出现在大众平台上。当初有电视台在橄榄球赛电视 转播上使用 AR 技术将得分线叠加到屏幕中球场上。以后，AR 技术开始被用 于天气预报天气预报制作者将计算机图像叠加到现实图像和地图上面。从那时起，AR 真正地开始了其爆炸式发展。 年，Bruce H. Thomas 在澳大利亚南澳大学可穿戴计算机试验室开发了 第一款手机室外 AR 游戏ARQuake。 年左右，AR 开始被用于地图等 手机应用上。 年，谷歌公布了谷歌眼镜， 年，微软公布 HoloLens， 这是一款能将计算机生成图像（全息图）叠加到用户周围世界中头戴式 AR 设 备，也正是伴随这两款产品出现，更多人开始了解 AR。AR 硬件概览AR 硬件发展驱动力源于计算机处理器、显示技术、传感器、移动网络速率、 电池续航等多个领域技术进步。现在能够确定 AR 硬件类型有以下多个： 手持设备（Handheld Devices） 固定式 AR 系统（Stationary AR Systems） 空间增强现实（SAR）系统（Spatial Augmented Reality Systems） 头戴式显示器（Head-mounted Displays ，即 HMD） 智能眼镜（Smart Glasses） 智能透镜（Smart Lenses）手持设备智能手机正是手持设备代表。我们正经历着智能手机、平板电脑等手持设备 大爆炸时代，这将会促进 AR 普及。这些设备正在变得越来越好显示器分 辨率越来越高，处理器越来越强，相机成像质量越来越好，传感器越来越多，提 供着加速计、GPS、罗盘等等功效这些成为了天然 AR 平台。尽管手持设 备是消费者接触 AR 应用最为方便形式，但因为大部分手持设备不含有可穿戴 功效，所以用户无法取得双手解放 AR 体验。固定式 AR 系统俄罗斯一家 Topshop 内固定式 AR 衣橱固定式 AR 系统适适用于固定场所中需要更大显示器或更高分辨率场景。和移动 AR 设备不一样是，这些极少移动系统能够搭载愈加优异相机系统，所以能 够愈加正确地识她人物和场景。另外，显示单元往往能展现出愈加真实画面， 而且受阳光或照明等环境原因影响较小。空间增强现实（SAR）系统大众企业 SAR 系统和其它全部系统不一样是，空间增强现实（SAR）系统虚拟内容直接投影在现实世界中。SAR 系统往往固定在自然中。任何物理表面，如墙、桌、泡沫、木块 甚至是人体全部能够成为可交互显示器。伴随投影设备尺寸、成本、功耗降低 和 3D 投影不停进步，多种全新交互及显示形式正在不停涌现。SAR 系统 最大优点在于，现实世界反射在这里愈加正确，即虚拟信息能够以实际比 例和大小展现在眼前。另外在观看人数较多时，内容也能看清，这个案例能够用 来实现同时办公。头戴式显示器（HMD）佳能混合现实头戴设备HMD 代表着另一个快速发展 AR 硬件类型。HMD 由一个头戴装置（如头盔）， 和和之搭配一块或多块（微型）显示器组成。HMD 将现实世界和虚拟物体 画面重合显示在用户视野中。换而言之，用户不会直接看到现实，看到是现 实增强视频画面。假如显示器只覆盖用户一只眼睛，这么 HMD 称为单眼HMD，另一个是两只眼睛全部看显示器双眼 HMD。优异 HMD 通常能够搭载含有很高自由度传感器，用户能够在前后、上下、左右、俯仰、偏转和滚动 六个方向自由移动头部。该系统所以能够实现虚拟信息和现实世界贴合，并根 据用户头部移动作做对应画面调整。智能眼镜Vuzix M100 智能眼镜消费电子行业很多企业认为，智能眼镜将会成为智能手机后下一大全球热卖消 费产品。这些 AR 设备实际上是带有屏幕、相机和话筒眼镜。依据这一概念， 用户现实世界视角被 AR 设备截取，增强后画面重新显示在用户视野中。AR 画面透过眼镜镜片，或经过眼镜镜片反射，从而进入眼球。智能眼镜技术最为 突出例子是谷歌眼镜和 Vuzix M100。不过，现在开发中最令人激动智能 眼镜要数 Atheer One该智能眼镜配有 3D 景深传感器，用户能够实际控制 眼前显示虚拟内容。智能透镜华盛顿大学开发透镜中含有金属电路结构智能眼镜绝不是小说结局。越来越多研究投入到能显示 AR 画面智能透镜 上；微软、谷歌等企业也正忙于宣告自己智能透镜项目。智能透镜理念是在传统透镜中集成控制电路、通信电路、微型天线、LED 及其 它光电组件，从而形成一套功效系统。未来或许能够用成千上万颗 LED 直接在 眼前形成画面，从而让透镜变成显示器。然而，还必需克服一系列难题，比如说 怎样给透镜供电，怎样确保人眼不受伤害等等。在这一章最终，我们简单看下 AR 技术会应用到哪些领域：考古：在古代遗址上显示遗址原本样子。艺术：跟踪眼球移动并将这些移动显示在屏幕上，帮助残疾人进行艺术创作。商业：显示产品多个定制选项或补充信息。教育：将文本、图像、视频和音频叠加到学生周围实时环境中。时尚：显示不一样妆容和发型用在一个人身上效果。游戏：利用真实世界环境让用户在游戏中进行互动，取得不一样体验。医药：经过虚拟 X 光将病人内脏器官投射到她们皮肤上。军事：使用 AR 眼镜向士兵展示战场中出现人和物体，并附上相关信息，以帮 助士兵避开潜在危险。导航：将道路和街道名字跟其它相关信息一起标识到现实地图中，或在挡风 玻璃上显示目标地方向、天气、地形、路况、交通信息，提醒潜在危险。体育：显示橄榄球场得分线、高尔夫球飞行路线和冰球移动轨迹。电视：在天气预报中显示天气视觉效果和图像。第二章AR 工作原理AR 介于 VR 和真实世界之间，VR 发明逼真虚拟世界，AR 则将图形、声音、 触感和气味添加到真实世界中。在介绍 AR 工作原理之前，我们先经过一个例子，让大家有一个简单认识。在 年 2 月 TED 大会上，帕蒂梅斯（Pattie Maes）和普拉纳夫米斯特 莱（Pranav Mistry）展示了她们研发 AR 系统。该系统属于麻省理工学院媒 体试验室流体界面小组研究结果之，她们称之为 SixthSense（第六感）。它依靠众多 AR 系统中常见部分基础元件来工作：摄像头、小型投影仪、智能手机和镜子。这些元件经过一根类似绳索仪器串连起来，然后戴在佩戴者脖子上。用户还 会在手指上戴上四个不一样颜色特殊指套，这些指套能够用来操纵投影仪投射 图像。SixthSense 设备利用简单、现成元件来组成 AR 系统，它投影仪能够将 任何平面变成一个互动显示器。SixthSense 设备利用摄像头和镜子来捕捉周 围环境，然后将这种图片传给手机（手机处理这种图片，取得 GPS 坐标和 从互联网上搜索相关信息），然后将这些信息从投影仪投射到用户面前任何平 面上，不管这种平面是一个手腕，一面墙，还是一个人。因为用户将摄像头佩戴 在胸前，所以 SixthSense 设备能够增强她所看到一切。比如，假如她在一个 杂货店里挑选了一罐汤，SixthSense 设备将能够搜索这罐汤相关信息，比如 成份、价格和营养价值甚或用户评论，然后将它们投射到平面上。利用手指上指套，用户能够在投射信息上实施多种操作，这些操作将会被摄 像头捕捉到，然后经过手机来处理。假如她期望了解这罐汤更多信息，比如和 之竞争同类产品，那么她能够用手指和投射画面进行互动，从而获取更多信 息。SixthSense 设备还能够识别部分复杂手势，比如你在手腕上画一个圆圈， SixthSense 设备就能够投射一款手表来显示目前时间。AR 系统结构一个经典 AR 系统结构一个经典 AR 系统结构由虚拟场景生成单元、透射式头盔显示器、头部跟踪设 备和交互设备组成。其中虚拟场景生成单元负责虚拟场景建模、管理、绘制和 其它外设管理；透射式头盔显示器负责显示虚拟和现实融合后信号；头部跟 踪设备跟踪用户视线改变；交互设备用于实现感官信号及环境控制操作信号输 入输出。首先透射式头盔显示器采集真实场景视频或图像，传入后台处理单元对其 进行分析和重构，并结合头部跟踪设备数据来分析虚拟场景和真实场景相对 位置，实现坐标系对齐并进行虚拟场景融累计算；交互设备采集外部控制信号，实现对虚实结合场景交互操作。系统融合后信息会实时地显示在头盔显示器中，展现在人视野中。AR 关键技术现在 AR 技术技术难点在于：正确场景了解、重构和高清楚度、大视场显 示技术。1、 对现实场景了解和重构在增强现实系统中，首先要处理“是什么”问题，也就是要了解、知道场景中 存在什么样对象和目标。第二要处理“在哪里”问题，也就是要对场景结构 进行分析，实现跟踪定位和场景重构。物体检测和识别技术物体检测和识别物体检测和识别目标是发觉并找到场景中目标，这是场景了解中关键一环。 广义物体检测和识别技术是基于图像基础信息（各类型特征）和先验知识模 型（物体信息表示），经过相关算法实现对场景内容分析过程。在增强现实 领域，常见检测和识别任务有，人脸检测、行人检测、车辆检测、手势识别、 生物识别、情感识别、自然场景识别等。现在，通用物体检测和识别技术，依据不一样思绪能够分为两种：一个是从分 类和检测角度出发，经过机器学习算法训练得到某一类对象通常性特征，从 而生成数据模型。这种方法检测或识别出目标不是某一个具体个体，而是 一类对象，如汽车、人脸、植物等。这种识别因为是语义上检测和识别，所以 并不存在正确几何关系，也更适适用于强调增强辅助信息，不强调位置应用场 景中。如检测人脸后显示年纪、性别等。另外一个识别是从图像匹配角度出发， 数据库中保留了图像特征和对应标注信息，在实际使用过程中，经过图像匹配方法找到最相关图像，从而定位环境中目标，深入得到识别图像和目标图像正确位置，这种识别适适用于需要对环境进行正确跟踪应用场景。就现阶段而言，识别检测技术难点之一是技术碎片化。这首先是因为每一 类对象全部会有其独有特征，而不一样特征提取和处理全部需要实现一一对应，这 对识别检测是一个巨大挑战。其次，图像本身还受到噪声、尺度、旋转、 光照、姿态等原因影响。近几年来，伴随深度学习技术不停成熟，检测和识 别方法也越来越统一，而性能也在不停提升中。跟踪定位技术跟踪技术方法能够分为基于硬件和基于视觉两大类。基于硬件设备三维跟踪 定位方法在实现跟踪定位过程中使用了部分特殊测量仪器或设备。常见设 备包含机械式跟踪器、电磁式跟踪器、超声波跟踪器、惯性跟踪器和光学跟踪 等。光学跟踪和惯性跟踪是比较常见两种硬件跟踪方法，HTC Vive 就是采取 了光学跟踪和惯性跟踪两种硬件来定位头部位置。使用硬件设备组成跟踪系 统大多是开环系统，跟踪正确取决于硬件设备本身性能，其算法扩展性要差 部分，且成本相对较高。HTC Vive 采取光学和惯性跟踪设备视觉跟踪方法含有更强扩展性，其系统多为闭环系统，更依靠于优化算法来解 决跟踪精度问题。相比于上述基于硬件设备跟踪方法，计算机视觉跟踪方法提 供了一个非接触式、正确、低成本处理方法，不过基于视觉方法受限于 图像本身，噪声、尺度、旋转、光照、姿态改变等原因全部会对跟踪精度造成较大 影响，所以愈加好地处理这些影响原因，研发鲁棒性强算法就成为下一步 AR 技术研究关键。依据数据生成方法，视觉跟踪技术算法能够分为两种，一个是基于模板匹配 方法，预先对需要跟踪 target 进行训练，在跟踪阶段经过不停跟预存训 练数据进行比对解算目前位姿。这类方法好处是速度较快、数据量小、系统 简单，适适用于部分特定场景，但不适适用于大范围场景。另外一个是 SLAM 方法，也就是即时定位和地图构建技术。这类技术不需要预 存场景信息，而是在运行阶段完成对于场景构建和跟踪。其优点是不需要预存场景，能够跟踪较大范围，适用面广，在跟踪同时也能够完成对于场景结构重建。但现在这类技术计算速度慢、数据量大、算法复杂度高，对于系统要 求也较高。Hololens 和 Magic Leap 宣传视频中全部展现了这方面技术，而亮 风台对对应技术也在研发当中。SLAM 跟踪技术为了填补不一样跟踪技术缺点，很多研究者采取硬件和视觉混合跟踪方法来取 长补短，以满足增强现实系统高精度跟踪定位要求。2、增强现实显示技术透射式头盔显示器透射式头盔显示器 Hololens现在大多数 AR 系统采取透视式头盔显示器实现虚拟环境和真实环境融合。 依据真实环境表现形式划分，关键有视频透视式头盔显示器和光学透视式头盔 显示器两种形式。视频透视式头盔显示器经过安装在头盔上微型摄像头获取外部真实环境图 像，也就是经过摄像头来采集真实场景图像进行传输。计算机经过场景了解和 分析将所要添加信息和图像信号叠加在摄像机视频信号上，将计算机生成 虚拟场景和真实场景进行融合，最终经过类似于浸没式头盔显示器显示系统呈 现给用户。即使视频透射式头盔在显示上不受强光干扰，含有比较大视场，但因为真实 环境数据来自于摄像头，所以会造成显示分辨率较低不利原因。其次， 一旦摄像机和用户视点不能保持完全重合，用户看到视频景象和真实景象将会 存在偏差，所以会造成在一些领域（尤其是工业、军事等领域）出现部分安全隐患。光学原理透视式头盔显示器基础原理则是经过安装在眼前一对半反半透 镜融合展现出真实场景和虚拟场景。和视频透射式不一样是，光学透视式“实” 来自于真实光源，经过透视光学系统直接进入眼睛，计算机生成“虚”则经 过光学系统放大后反射进入眼睛，最终两部分信息汇聚到视网膜上从而形成虚实 融合成像效果。光学透视式头盔相对来说结构简单，分辨率更高，因其能够直接看到外部，真实 感和安全性也更强。其缺点是，在室外强光条件下显示效果会受影响。现在 Hololens 和亮风台 HiAR Glasses 全部采取了光学透射式成像方案。不难看出，两种方案各有优缺点，怎样选择最优方案，现在来看，还应基于实际 应用场景来进行判定。因为光学透射式头盔跟实际场景结合更紧密，真实感更强，大多数厂家会选择这 种方案。对于透射式头盔显示器来说，单纯强调厚薄或视场大小并没有任何 实际意义。这是因为厚度和视场是矛盾，要做得较薄，方便用户使用佩戴，视 场就肯定变小；想要拥有大视场，则其厚度就肯定增大，设备就现在来说也会显 得比较粗笨，不易佩戴。所以在现在技术依旧存在障碍情况下，大家全部会采取 部分折中方案。数字光场显示Magic leap 光场显示伴随 Magic Leap 宣传视频，数字光场这个概念也变得广为人知。这种不采取 屏幕来做载体显示方法，经过统计并复现光场来完成虚拟物体显示。经过呈 现不一样深度图像，使用户在观察近景或远景时，能够实现主动对焦，这也是 光场显示一大优点。一样，光场显示也有不一样显示方案，一个方案是采取多层显示器，如光场立 体镜。如 Magic Leap 采取是光导纤维投影仪。这套方案优势是能够做到很 大视场角，显示愈加符合人真实感受。但这一方案同时也含有比较大挑战 性，光场显示需要比较大计算量，而且需要有对应手段统计或生成想要 叠加虚拟对象对应位置光源信息，同时还要精细地控制投影内容和位置，现在这些技术还全部处于研究阶段。尽管存在比较多挑战，光场显示技术依旧是很值得期待一个成像方法。第三章布局从现在来看，绝大多数巨头和创业企业更愿意选择在 VR 领域开疆拓土，但这并 不意味着 AR 无人问津。苹果种种迹象显示，苹果可能和微软一样瞄准了 AR 领域，并非时下最热 VR。苹果已经在 AR 领域进行过部分并购交易。 年 5 月，苹果收购了一家名为 Metaio 德国 AR 企业。该企业关键开发基于智能手机 AR 应用软件，比如 其曾经开发一款让家俱视觉化展现工具。该企业被收购以后，实体被注销，人 员融入了苹果开发团体。 年年底，苹果收购了一家从事脸部视觉识别企业FaceShift，该企业技术能够利用摄像头对用户脸部图像进行实时捕捉，甚至能够生成虚拟头像。 据悉，电影星球大战：原力觉醒特效团体曾经使用了上述企业技术，让 外星人脸部形象愈加栩栩如生。另外，苹果还曾经收购了以色列硬件企业 PrimeSense，该企业关键为微软Xbox 游戏机制造 Kinect 动感捕捉摄像头。该企业含有了优异手势动作识别技术。在 AR 领域，用户通常不会使用手持控 制器，所以识别手部动作十分关键，这一技术也能够用于 AR 头盔中。除了多种并购之外，苹果也贮备了部分和 AR 相关技术专利。这些专利并不意 味着苹果一定会开发某种技术或硬件，不过可能披露了苹果未来产品开发某 些思绪。 年 2 月，苹果取得一个技术专利，关键用于让智能手机连接 AR 和 VR 头 盔。专利描述文字和谷歌、微软、三星电子和 Facebook 近些年推出过产品十 分相同。不过迄今为止，苹果从未对外宣告过开发 AR 硬件、软件等产品计划。苹果向 来并不喜爱做新技术第一批尝鲜者，而是善于在市面已经有产品门类中拿出用 户体验十分优异产品，依靠苹果品牌力大规模占领市场。所以在 AR 领域， 苹果也会选择一个相对成熟时机再进入市场。微软微软应该算是布局 AR 比较超前巨头企业，其在 年就推出了 AR 头盔HoloLens，开发者版已经开启预订，售价为 3000 美元。我们之所以能够看到物体，是因为光线被这些物体反弹，最终射入我们眼中。 而我们大脑需要对这些光进行复杂运算，最终重现你眼睛所看到物体图像。 HoloLens 实际上就是欺骗大脑，将光线以全息图方法发射到你眼睛中，就好 像物体真存在于现实世界中一样。就像下面这幅图，HoloLens 能够将屏幕投射到墙上。当用户四处走动时，屏幕 仍然会留在原地，就仿佛那是一面真实存在镜子。HoloLens 可在正确角度向 你眼中发射光线，让你认为屏幕真出现在墙上。HoloLens 本身就是一台独立电脑，拥有自己 CPU 和 GPU，和微软所谓 全息处理单元，负责支持发明全息图必需全部必需计算。在消费者方面，HoloLens 拥有巨大潜力，你可能再无需购置 60 英寸电视，HoloLens 许可用户将电视屏幕发射到墙上，屏幕大小可随意调整。假如未来版 HoloLens 足够紧凑，你能够想象到有些人边开车边接收导航，但司机实现不 再局限于屏幕上，而是可看到前方道路全息图。当然，游戏可能是 HoloLens 关键卖点。在企业方面，HoloLens 最显著应用就是实现 3D 模型或设计可视化。 HoloLens 也可被用于视频会议等场所。另外，它另一个用途可能是支持在线 零售店，许可 HoloLens 用户看到其产品全息图。在你购置家俱前，你就能够看 到家俱被摆放在室内虚拟图。因为 HoloLens 运行 Windows 10 操作系统，通用应用将可在其上顺利运行。 这些应用将被投射到用户面前，可被便捷操作。对于微软来说，吸引开发者很 关键，因为这款设备最吸引人应用可能还未出现。尽管 HoloLens 硬件设施 令人印象深刻，但其仍然需要好应用为消费者和企业提供最好服务。微软手中可能正握着一款革命性产品。在错失了移动大潮以后，微软将复兴希 望押在 HoloLens 身上，尽管在 HoloLens 成为大众设备前，它可能需要数次迭 代，但对于微软来说，这将是改变游戏规则良机。谷歌谷歌目前在 VR 领域比较活跃，如推出硬件产品 Cardboard 头盔，YouTube 上线 360 度全景视频功效，还提供 Tilt Brush、Jump 和 Assembler 等 VR 小应用，方便帮助开发者创新新 VR 体验，但这并不意味着谷歌放弃了 AR 市场。谷歌和联想合作，推出 Project Tango 项目。该项目意在给予智能手机 3D 绘图 和发明 AR 体验能力。Tango 智能手机将于今年年底发货，相当于是一个完整 功效 AR 设备。除了本身开发 AR 项目，谷歌还投资了 AR 创业企业 Magic Leap。Magic Leap 专注于 AR 技术研发，其最终产品很可能是一款头盔，可将电脑生成图像投 射到人眼上，最终在现实图像上叠加一个虚拟图像。相关 Magic Leap 情况， 将在下文进行具体说明。Magic LeapMagic Leap 算是著名度很高 AR 创业企业。今年 2 月，Magic Leap 在新一 轮融资中取得 7.935 亿美元投资，阿里、谷歌全部参与了本轮融资。据估测， Magic Leap 估值最少达成 45 亿美元，这比两年前 Facebook 收购 Oculus 价格高出了两倍。Magic Leap 研发技术仍然处于半透明状态，没有任何产品出现，我们现在只 知道它关键研发方向就是将三维图像投射到人视野中。Magic Leap CEO 鲁尼 阿伯维兹曾公开表示过自己企业定位：“你能够将我们看作是科技生物学（Techno-biology），我们认为它是计算机未来。”具体来说，Magic Leap 制作图像方法和人眼工作方法相同。Magic Leap 利用弯曲光场制作图像，而不像其它平台那样利用立体图像欺骗眼球。利用其 她 3D 图像投影方法，假如用户闭上一只眼睛，3D 图像就会消失。在现实生活 中，用户即使闭上一只眼睛，仍然能够看到 3D 图像。Magic Leap 便采取这种 更为实用图像制作方法。第四章：AR 市场潜力尽管过去十二个月里媒体开始大肆报道 AR 技术，我们现在了解到大部分 AR 处理 方案仍处于开发之中。只有少数硬件处理方案得到了大规模生产并能够买到。 年，全球 AR 营收仅为 1.81 亿美元，而且当初 AR 往往被大家视作一个营 销噱头：一个还在探索实用应用技术。极少有些人认识到 AR 潜力，开发相关 应用大多也是用来快速打响名声，或这些应用价值仅限于添加视频效果这么 博眼球之举而已。然而最新估计指出，到 年，AR 市场将增加至 52 亿美元，年增加率竟迫近 100%。伴随大量资金注入 AR 项目及 AR 创业企业，尤其是伴随谷歌、佳能、高通、微软等大企业入场，我们已经看到第一批消费级 AR 产品涌现。伴随实际商业利益出现， AR 将成为消费、医疗、移动、汽车和制造市场中“下 一件大事”。AR 比 VR 更具增加潜力市场调研企业 Digi-Capital 给出一组数据很值得研究：到 年，AR 市 场规模将达成 1200 亿美元，远高于 VR 300 亿美元。VR 对于游戏和 3D 电影来说是一项很棒技术，甚至能够说这项技术可谓是 专门为此而设计。但这项技术体验关键是在客厅、办公室或座位上展开， 因为假如你戴着一个完全封闭头戴式显示器走在路上，随时全部可能撞到路边 东西。即使 AR 技术应用在游戏也很有趣，但在需要真正沉醉式体验时候，其所带来乐趣或许不如 VR 技术那么多，这就像是移动游戏和主机游戏之间差距。 不过，AR 技术在游戏玩家眼中这个缺点，恰恰是让它能够同智能手机一样， 在数以亿计用户现实生活中发挥关键作用优势。大家能够戴着它四处活动， 做任何事情。AR 软件和服务拥有可和现在移动市场相媲美经济效应，它们全部能够利用 现有其它产品市场，并不停扩张它们。AR 庞大用户基础将会成为电视电 影、广告和 Facebook 用户应用程序甚至部落冲突等游戏关键收入来 源。换句话说，AR 技术有可能触及到更多人，因为它是对大家日常生活无缝补 充，而不是像 VR 那样在现实世界之外营造出一个完全虚拟世界。增强现实：指向增强现实一个新技术一书作者格里格基佩尔（Greg Kipper）在书中写到：“增强现实将含有更多实际应用价值，因为在现实中， 和真实世界中事物互感人更多部分。”在增强现实技术帮助下，大家经过专用头盔看见三维全息图像能够为真实世 界提供一个有益补充。当你走过一个杂货店走道，你可能会在眼前虚拟屏 幕上看到制作意大利饭所需食材和配料清单。又或，当你在阅读一本相关天 文学书籍时，你周围可能会出现一幅太阳系图像。不过戴上虚拟现实头盔以后，你和周遭世界联络就被人为隔断了。你被投影到一个不一样世界中，就像恐龙冲过一片丛林，或像站在一幢 100 层摩天大 楼楼顶上俯瞰着脚下大街一样。这跟专题乐园游历过程有些相同，就连虚 拟现实头盔戴久了会让你感到恶心或头晕也跟你在专题乐园中呆久了感觉 很相同。Meta 是硅谷一家小企业，职员人数大约为 100 人。按计划它将在今年夏天交 付第二代 AR 头盔，它头盔是作为开发者工具套装一部分出售，整个套装 售价 949 美元，关键用来帮助开发商为新头盔设计出更多三维、互动应用。Meta CEO 梅隆格里贝茨估计，有朝一日，大家再也不用一边在拙笨键盘上 敲敲打打，一边紧盯着显示器屏幕，大家能够在漂浮在眼前全息图像之间随 意切换和浏览，只需用手碰一碰就能够完成多种操作。当然还有虚拟键盘，大家 能够利用它输入数据。大家能够进入她们全息影像屏幕，提取出人解剖图，然后剔除骨骼进行研究。 大家也能够经过透视去检验自己计划购置鞋子内部做工。到那个时候，打电 话将会变成一个很奇怪行为，因为全部些人全部能够在全息影像中进行对话。格里贝茨说：“VR 很酷，但它只是通向增强现实一块垫脚石。我们将开发出比 Mac 电脑好用一百倍且强大一百倍产品。”第五章：AR 面临挑战对于 AR 而言，处理注册任务是最关键问题。注册对精度要求极为严格：由 于 AR 应以实时、六个自由度形式将虚拟信息和现实信息相融合，即便是轻微 注册失准全部会造成组合视图难以容忍失真。所以，移动 AR 存在两大难点： 注册必需极为正确，注册对计算能力和内存利用必需极为高效。这个问题是 AR 面向大众布署所面临终极挑战。我们断言，现在大部分已知 注册任务处理方案其实并不适适用于智能手机尽管看上去能用。所以，全部 AR 研究人员全部应该为智能手机 AR 大空间应用问题开发专门处理方案。智能手机是 AR 大众市场最具前景平台。智能手机生态系统为面向大众布署 AR 纯软件处理方案提供了一切要素。然而不应忽略是，尽管技术和逻辑取 得了种种进步，不过 AR 应用在智能手机上大规模布署仍然存在着下列重大障 碍：1、相机质量和成像处理。智能手机通常配置相机传感器在弱光条件下表现糟 糕：图像模糊，开始出现显著色差。相机传感器硬件通常严禁低层级访问。API 只提供了相机传感器高层级访问，无法控制曝光、光圈及焦距。小型 CCD 传 感器造成相机采样噪点增加，进而严重影响后续 CV 算法发挥。图像获取过程 中质量损失极难经过后期处理步骤赔偿。2、电量消耗。电池电量多年来并没有显著提升。相机传感器在以高帧率连续运行时耗电量很大，其关键原因是现在手机设计用途仍然是拍照，而不是摄影。 另外，传感器和网络接口也是耗电大户。运行功效强大 AR 应用会让电池快速 耗干。所以，AR 应用必需只能设计成供短时间使用，而不是一个“常开”功效。3、网络依靠性。远程访问大量数据受到多个原因影响。首先，网络延迟会导 致令人不爽延迟，拖累 AR 应用瞬时表现。其次，访问远程数据仅在开了流 量套餐时才有可能做到，而流量套餐可能过于昂贵或无法开通。最终，一些地 区网络覆盖可能不满足条件。于是完全独立 AR 应用成为了唯一可行选择， 这就意味着需要在设备上占用大量存放空间。4、可视化和交互可能性。智能手机外形原因在购置决议中发挥着关键作用。 实际上，可接收最大设备尺寸严格制约了显示器大小。交互技术一样存在着 类似限制。多点触控界面或许是最为优异交互机制，但它在一些特定任务如像素级选择上表现糟糕。理论上讲，针对 AR 改善未来智能手机需从哪些方面入手已是众所周知。在实践 中，AR 应用开发者却要看硬件厂商和服务供给商脸色，后者做出硬件发展 决议依据是市场估计，而其中可能不含对 AR 需求。不过，硬件总体是朝着 正确方向发展，尤其在移动游戏或移动导航系统驱动下而这二者和 AR 在技术需求方面存在很多共通之处。另外，研究人员意识到现在相机控制方 面存在限制，愈加好相机 API 也会所以诞生，比如 Frankencamera 项目。尽管平板电脑作为一个流行移动平台也在不停壮大，但它属于放大版智能手机平台。因为尺寸放大，可视化和交互限制有了些许放松，但这些设备尺寸和 重量同时也制约着它们在 AR 领域应用，原因是拿起来愈加累人（比如说，把 设备举起来较长时间可能需要两只手，反过来制约了交互可能性）。除此之外， 现在平板电脑存在着和智能手机相同问题。对于不一样 AR 应用而言，智能 手机和平板电脑可能前者更适合，也可能后者更适合。计算机视觉面临挑战智能手机一大优势在于，定位无须单单依靠于相机传感器，也能够利用其它任 意可用传感器，如 GPS，指南针，加速度计和陀螺仪。尽管其它传感器使用 在关键 CV 小区中往往被视为“作弊”，但这些传感器能够对开发试验室外快速、 健壮定位功效做出重大贡献。即便在结合了多个传感器帮助下，基于 CV 定位仍然很困难，一系列原因