下一代空间计算：AR与VR创新理论与实践
| 作者 |
| （美）Erin Pangilinan（艾琳·潘希利南）, Steve Lukas（斯蒂夫·卢卡斯）, Vasanth Mohan（瓦桑斯·莫汉） |
| 丛书名 |
| 出版社 |
| 电子工业出版社 |
| ISBN |
| 9787121386725 |
| 简要 |
| 简介 |
| 内容简介书籍计算机书籍 本书以基本概念、理论原理为主，以行业应用案例为辅，介绍空间计算中的交互设计、艺术设计、计算机视觉技术、AR/VR 开发框架、跨平台应用开发技术、机器学习与数据可视化、人工智能等领域的知识图谱，并展示了空间计算在医疗保健、体育娱乐、教育培训等行业的实际应用案例。本书提供了对空间计算的庞大知识体系的广阔概览。本书适合那些在技术开发、艺术设计、产品策划方面具有一定经验的读者，可作为他们入门空间计算领域的指引之书 ；也适合那些在空间计算领域已有一定实践经验的从业者，作为梳理知识体系与开拓创新思路之用。 |
| 目录 |
| 序言...........................................................................................xv 前言..........................................................................................xvii 第 1 部分 跨越数字和现实的设计与艺术 第 1 章 人类与计算机的交互............................................................3 常用术语 .......................................................................................................................3 概述 ..............................................................................................................................4 历代的人机交互模态 ：20 世纪之前 .............................................................................4 历代的人机交互模态 ：第二次世界大战期间 ...............................................................6 历代的人机交互模态 ：第二次世界大战之后 ...............................................................7 历代的人机交互模态 ：个人计算机崛起的时代 ......................................................... 10 历代的人机交互模态 ：计算机微型化的时代 ............................................................. 11 为何要回顾这些历史 .................................................................................................. 13 常见的 HCI 模式 ................................................................................................. 13 新的人机交互模态 ...................................................................................................... 18 空间计算设备的人机交互模态现状 ............................................................................ 19 沉浸式计算系统当前所用的控制器 ............................................................................ 19 身体追踪技术 ...................................................................................................... 21 关于手追踪和手势识别的注记 ................................................................................... 22 下一代语音输入、手势输入和硬件输入 ............................................................. 22 第 2 章 为感官而设计，不要为设备而设计. .......................................26 展望未来 ..................................................................................................................... 26 感知技术概览 ............................................................................................................. 27 我们为谁打造这样的未来 ........................................................................................... 29 女性在 AI 中扮演的角色 ..................................................................................... 32 感官设计 ..................................................................................................................... 33 感官设计概述 ...................................................................................................... 33 五项感官设计原则 ...................................................................................................... 35 1. 直觉体验是多感官的 ....................................................................................... 35 2. 3D 将会触手可及 ............................................................................................ 36 3. 设计要自然而符合物理原理............................................................................ 37 4. 设计无法完全可控 .......................................................................................... 37 5. 释放空间协作的力量 ....................................................................................... 38 Adobe 的 AR 故事....................................................................................................... 38 结语 ............................................................................................................................ 39 第 2 部分 扩展现实如何改变数字艺术 第 3 章 VR 艺术. .........................................................................43 一种更自然的 3D 艺术创作方式 ................................................................................. 43 VR 动画 ...................................................................................................................... 49 第 4 章 3D 艺术优化....................................................................52 概述 ............................................................................................................................ 52 建议 ..................................................................................................................... 53 理想的解决方案 .................................................................................................. 54 拓扑结构 ............................................................................................................. 55 烘焙 ..................................................................................................................... 58 绘制调用 ..................................................................................................................... 63 使用 VR 工具进行 3D 艺术创作 ................................................................................. 63 使用现成的 3D 模型与重新制作 ................................................................................. 64 结语 ............................................................................................................................ 64 第 3 部分 硬件、SLAM、追踪 第 5 章 计算机视觉如何让 AR 成为可能..........................................67 我们是谁 ..................................................................................................................... 67 AR 简史 ...................................................................................................................... 68 为何以及如何选择 AR 平台 ....................................................................................... 70 作为开发者，我应该选择哪个平台，为何要如此选择 ...................................... 70 AR 效果具有不确定性 ........................................................................................ 70 软硬件集成.......................................................................................................... 72 光学校准 ............................................................................................................. 73 惯性校准 ............................................................................................................. 74 追踪技术的未来展望 ........................................................................................... 76 AR 计算机视觉技术的未来展望 ......................................................................... 78 地图 ............................................................................................................................ 80 多人 AR 的工作原理 ........................................................................................... 84 最具挑战性的部分 .............................................................................................. 85 重定位的工作原理 .............................................................................................. 86 AR 中重定位的研究现状 .................................................................................... 87 重定位问题会有消费级的解决方案吗................................................................. 88 难道谷歌公司或苹果公司无法给出消费级的解决方案吗 ................................... 89 重定位不等于多人 AR ........................................................................................ 90 当前 App 的重定位实际是怎么做的 ................................................................... 91 AR 平台 ...................................................................................................................... 94 苹果的 ARKit ...................................................................................................... 94 解密一些谜团 ...................................................................................................... 95 ARCore 是不是轻量级的 Tango .......................................................................... 96 应该开始基于 ARCore 构建 AR 应用吗 .............................................................. 98 Tango、HoloLens、Vuforia 以及其他 AR 平台 .................................................. 98 其他开发建议 ............................................................................................................. 99 光照 ..................................................................................................................... 99 多人 AR — 到底难在何处 ............................................................................... 100 用户通过 AR 进行社交活动 .............................................................................. 101 AR 应用如何连接现实世界并确定自身位置 ..................................................... 101 AR 应用如何理解现实世界的事物并与之连接 ................................................. 102 AR 云 ........................................................................................................................ 103 我所想象的 AR 云 ............................................................................................. 104 AR 云有多重要 ................................................................................................. 104 AR 云到底是什么 .............................................................................................. 104 为什么媒体对 ARKit 和 ARCore“不感冒” ...................................................... 105 构建出色的 AR 应用还缺少什么 ...................................................................... 105 今天的移动云能否胜任这项工作 ...................................................................... 106 离开 AR 云，ARKit/ARCore 是否毫无用处 ..................................................... 106 AR 云的黎明 ..................................................................................................... 106 更大的图景 — 隐私数据和 AR 云数据 ........................................................... 108 术语表 ........................................................................................................................111 第 4 部分 创建跨平台的 VR/AR 应用 第 6 章 VR/AR 跨平台方法论......................................................115 为什么需要跨平台 .................................................................................................... 115 游戏引擎的作用 ........................................................................................................ 117 理解 3D 图形 ............................................................................................................ 118 虚拟相机 ........................................................................................................... 118 自由度 ............................................................................................................... 119 游戏设计的可移植性教程 ......................................................................................... 121 简化控制器的输入 .................................................................................................... 123 开发步骤 1 ：设计基本界面 .............................................................................. 123 开发步骤 2 ：平台集成 ...................................................................................... 125 总结 .......................................................................................................................... 128 第 7 章 VRTK ：社区开源框架.....................................................130 什么是 VRTK，为什么大家会使用 VRTK ............................................................... 130 VRTK 的历史 ............................................................................................................ 131 SteamVR Unity Toolkit 的诞生 ................................................................................. 131 VRTK v4 ................................................................................................................... 133 VRTK 的未来 ............................................................................................................ 133 VRTK 的成功 ............................................................................................................ 134 开始使用 VRTK v4 ........................................................................................... 135 第 8 章 三项 VR/AR 最佳开发实践...............................................140 VR/AR 开发的难度大 ............................................................................................... 140 处理移动 ................................................................................................................... 141 VR 中的移动机制 .............................................................................................. 142 AR 中的移动机制 .............................................................................................. 147 有效地利用音效 ........................................................................................................ 149 VR 中的音效 ..................................................................................................... 150 AR 中的音效 ..................................................................................................... 152 常见的交互范式 ........................................................................................................ 153 VR 背包系统 ..................................................................................................... 153 AR 射线检测 ..................................................................................................... 156 结语 .......................................................................................................................... 158 第 5 部分 增强数据表示 ：空间计算中的数据可视化与人工智能 第 9 章 数据与机器学习可视化在空间计算中的开发与设计................161 概述 .......................................................................................................................... 161 理解数据的可视化 .................................................................................................... 162 空间计算中数据与机器学习的可视化法则 ............................................................... 163 为什么数据与机器学习的可视化能在空间计算中发挥作用 ..................................... 164 数据可视化设计随着 XR 的出现而发展 ........................................................... 164 在 XR 中呈现 2D 数据与 3D 数据 ..................................................................... 166 空间计算中的 2D 数据可视化 VS 3D 数据可视化 ................................................... 166 空间计算中的数据可视化交互 ................................................................................. 167 动画 .......................................................................................................................... 168 失败的数据可视化设计............................................................................................. 169 良好的数据可视化设计能够优化 3D 空间 ................................................................ 169 “节省时间感觉就像一切变得简单了” ...................................................................... 170 数据表示、信息图表与交互 ..................................................................................... 170 什么是数据可视化 ............................................................................................ 171 数据可视化与大数据或机器学习可视化之间的区别 ................................................ 171 如何创建数据可视化 ：数据可视化的构建流程 ....................................................... 172 WebXR ：在 Web 端构建数据可视化 ........................................................................ 172 数据可视化在 XR 中遭遇的挑战 .............................................................................. 173 数据可视化的行业案例............................................................................................. 174 3D 重建与直接操作真实数据 ：XR 中的解剖结构 ................................................... 176 近距离了解 Glass Brain..................................................................................... 176 TVA Surg 医学成像 VR 模块 ............................................................................. 177 人人都能做数据可视化 ：XR 中的开源数据可视化 ................................................. 177 生物大分子数据的可视化 ................................................................................. 179 实践教程 ：如何在空间计算中创建数据可视化 ....................................................... 179 如何创建数据可视化 ：资源 ..................................................................................... 181 结语 .......................................................................................................................... 182 参考资料 ................................................................................................................... 182 资源 .......................................................................................................................... 183 数据可视化工具 ................................................................................................ 184 机器学习可视化工具 ......................................................................................... 184 数据新闻的可视化 ............................................................................................ 184 术语表 ....................................................................................................................... 184 第 10 章 AI 角色与行为..............................................................186 概述 .......................................................................................................................... 186 行为 .......................................................................................................................... 189 现状 ：响应式 AI....................................................................................................... 191 适应性 ............................................................................................................... 192 复杂性与普遍性 ................................................................................................ 193 可行性 ............................................................................................................... 193 赋予系统更高的智能 ：慎思式 AI ............................................................................ 194 机器学习 ................................................................................................................... 200 强化学习 ........................................................................................................... 201 深度强化学习 .................................................................................................... 202 模仿学习 ........................................................................................................... 203 自动规划与机器学习相结合 ............................................................................. 204 应用 ................................................................................................................... 204 结语 .......................................................................................................................... 205 参考资料 ................................................................................................................... 206 第 6 部分 体验现实的应用案例 第 11 章 VR 与 AR 医疗保健生态系统..........................................213 VR/AR 医疗保健技术应用设计 ................................................................................ 214 标准用户体验并不直观............................................................................................. 215 布置安定的环境 ................................................................................................ 216 便利性 ............................................................................................................... 216 指导案例 ：帕金森综合征项目 Insight ...................................................................... 216 Insight 的做法 ................................................................................................... 217 Insight 的构建 ................................................................................................... 217 企业 .......................................................................................................................... 221 医疗规划与指导 ................................................................................................ 222 与医疗教育相关的体验 ..................................................................................... 222 与患者相关的体验 ............................................................................................ 224 主动式医疗保健 ................................................................................................ 226 前沿学术机构的研究案例 ......................................................................................... 226 第 12 章 体育爱好者的 XR 体验...................................................231 概述 .......................................................................................................................... 231 第 1 部分 ：体育 AR 与 VR 的五大关键法则 ............................................................ 234 没有绝对的实时 ................................................................................................ 235 第 2 部分 ：体育领域产品体验的进一步发展 ........................................................... 238 第 3 部分 ：打造未来 ................................................................................................ 240 所有权 ............................................................................................................... 243 忠告 ................................................................................................................... 245 结语 .......................................................................................................................... 246 第 13 章 VR 企业培训案例. .........................................................247 概述 ：企业培训的重要性 ......................................................................................... 247 VR 培训有用吗 ......................................................................................................... 248 案例 ：洪水屋培训 .................................................................................................... 250 VR 培训适合什么场景？“RIDE”准则 .................................................................. 253 什么是良好的 VR 培训 ............................................................................................. 254 3D 全景视频 ............................................................................................................. 255 3D 全景视频的优势........................................................................................... 256 3D 全景视频面临的挑战 ................................................................................... 256 3D 全景视频的交互........................................................................................... 256 案例 ：工厂车间培训 ................................................................................................ 260 叙事的重要性 ........................................................................................................... 261 案例 ：商店反抢劫应急培训 ..................................................................................... 261 XR 培训的未来 ：超越 3D 全景视频 ........................................................................ 263 计算机图形........................................................................................................ 263 案例 ：职场软技能培训............................................................................................. 263 展望 ：摄影测量技术 ................................................................................................ 265 展望 ：光场 ............................................................................................................... 266 展望 ：AR 培训 ......................................................................................................... 266 展望 ：语音识别 ........................................................................................................ 267 展望 ：最理想的培训体验 ......................................................................................... 267 参考资料 ................................................................................................................... 268 后记.........................................................................................269 关于作者...................................................................................271 关于封面...................................................................................274 |
有问题微信扫码联系