前有Magic Leap 烧光26亿美金,将自己的专利全部抵押给摩根大通;Apple推迟发布AR相关产品,后有卡马克卸任Oculus CTO,似乎整个AR/VR 行业又是雪上加霜。但是作为MR行业的从业者始终相信“未来已来,只是分布不均匀”。
作为行业的“KOL”,微软可与前面提到的几位“格格不入”,在前几天高调宣布HoloLens 第二代正式发货,算是给整个行业重新带来了一些活力。其实AR从2016年大爆发,到现在处于“寒冬”之际,关键因素就是缺少引爆整个行业的内容,不管是To B还是To C上,所以此篇报告希望盘点整理HoloLens在各行各业的应用场景为大家打开一些新思路。本报告分为上下两部分,上篇主要介绍HoloLens2与一代的区别,以及在艺术、工业、汽车、娱乐方面的应用。
Microsoft HoloLens 2是由Microsoft开发和制造的一对混合现实智能眼镜。在微软HoloLens 1代宣布四年之后,微软在巴塞罗那MWC2019大会上正式发布了HoloLens 2混合现实设备,相比于第一代HoloLens,HoloLens 2具有更沉浸的感受,更舒适的佩戴体验。
它具有以下特点:
利用大幅拓宽的视野一次浏览更多全息图。凭借业界领先的分辨率,更轻松、更舒适地阅读文本并查看 3D 图像上的复杂细节。
专为拓宽用途而设计的拨入贴合系统,让 HoloLens 2 佩戴起来更长久、更舒适。不影响佩戴眼镜 - 头戴显示设备可调整到眼镜正前方。需要切换任务时,向上翻转遮阳板即可退出混合现实。
以真实自然的方式实现全息图的触摸、抓握和移动。使用 Windows Hello,只需使用虹膜信息即可立即安全登录 HoloLens 2。通过智能麦克风和自然语言语音处理,它甚至可以在嘈杂的工业环境中执行语音命令。
支持自由移动,没有线缆或外部配件等障碍物。HoloLens 2 头戴显示设备本质是一台独立的电脑,具有 Wi-Fi 连接,这意味着你可以随时携带工作时需要的一切。
-
跟踪进度:HoloLens 2具有许多跟踪功能的增加和改进。眼动追踪功能的加入很不错,这与行业趋势相吻合。此外,由于引入了大大改进的ToF传感器并增强了软件,因此手势和手势跟踪得到了改善。其他跟踪和映射改进也可以预期。
-
改进和调整HMI:HoloLens 2的HMI改进很可能使该设备对工人非常有益。使眼睛跟踪,手部跟踪,手势识别和语义全部协同工作,为工作人员与虚拟对象进行交互提供了一种更自然的上下文方式。这可能意味着工作任务将更有效地完成,并达到更高的标准。
-
安全:随着眼动追踪技术的推出,可穿戴式AR设备对称为智能虹膜扫描的智能手机上的指纹和面部解锁提供了答案。这是我长期以来对可穿戴式AR上的用户ID的预测,但是Microsoft早于预期发布了它。
更新后的设备包括新的眼动追踪传感器,旨在使与全息图的交互更加自然。例如,当某人的眼睛落在机器的特定部分上时,它可以调用有关该机器的有用数字信息。与全息图的交互也变得更加容易。借助自然的手部跟踪功能,用户现在可以像现实世界中的物体一样抓握并旋转它们,而不必学习模仿鼠标移动的手势。“第一次你将感觉到触摸全息图,与全息图互动并使用它的感觉,几乎你会忘记这是你正在看的数字内容反对它只存在于现实世界中。”微软云与AI小组技术研究员Alex Kipman说。
HoloLens 2还包括具有Windows Hello身份验证的虹膜识别功能,使多个用户可以更轻松地登录和共享设备。新的上翻式遮阳板使用户可以在物理世界和全息世界之间轻松切换。
舒适度也得到了解决。微软表示,新的拨入式合身系统使HoloLens 2在“连续数小时”内佩戴舒适。用户还可以使用混合现实耳机佩戴眼镜,因为现在可以通过在其上方滑动来适应眼镜。
与第一代HoloLens销售模式相比,新一代HoloLens 2发售时中国大陆地区将在原有微软中国官方商城的线上模式基础上,新增线下销售模式。HoloLens 2线下销售将分为二级销售模式:
-
中国地区总经销商:联强国际贸易(中国)有限公司和英迈电子商贸(上海)有限公司
-
中国地区转售商:翰林汇信息产业股份有限公司和黑龙江拓盟科技有限公司
-
HoloLens 2全球业务合作伙伴DMP:Unity优美缔软件(上海)有限公司
(1). Windows 10:安装最新版本的 Windows 10,以便电脑的操作系统与正在为其生成混合现实应用程序的平台匹配。
https://www.microsoft.com/software-download/windows10
ps:通过“设置”>“更新和安全”>“对于开发人员”在电脑上启用开发人员模式 。Windows “N”版本 :Windows “N”版本不支持 Windows Mixed Reality 沉浸式 (VR) 头戴显示设备。
(2). Visual Studio 2019(16.1 或更高版本):适用于 Windows 等的功能齐全的集成开发环境 (IDE)。 将使用 Visual Studio 来编写代码、调试、测试和部署。
https://visualstudio.microsoft.com/downloads/
ps:在 Visual Studio 2019 版本16.0 中调试混合现实应用时存在一些已知问题。 请确保将 Visual Studio 2019 更新到 16.1 或更高版本。
(3). Windows 10 SDK:提供用于在 HoloLens 2 上生成 Windows 10 应用的最新标头、库、元数据和工具。
https://developer.microsoft.com/en-US/windows/downloads/windows-10-sdk
ps:
(1)若要生成 HoloLens 2 应用,必须安装 Windows SDK、内部版本 18362 或更高版本。如果仅针对桌面 Windows Mixed Reality 头戴显示设备或 HoloLens(第 1 代)开发应用程序,则可以使用 Visual Studio 2017 安装的 Windows SDK。
(2)Windows 10 SDK 在 Windows 10 操作系统上效果最佳。Windows 8.1、Windows 8、Windows 7、Windows Server 2012、Windows Server 2008 R2 也支持此 SDK。 但是并非所有工具都在较早的操作系统上受支持。
(4). HoloLens 2 仿真器:使用仿真器可在没有 HoloLens 的情况下在 HoloLens 虚拟机映像上运行应用程序。系统必须支持 Hyper-V 才能成功安装仿真器 。
https://go.microsoft.com/fwlink/?linkid=2101019
(5). Unity 2018.4:使用 Unity 游戏引擎是创建混合现实体验的最简单方法,它本身即支持 Windows Mixed Reality 功能。
https://unity3d.com/unity/qa/lts-releases?version=2018.4
ps:通常建议使用 Unity LTS(长期支持)流,它是启动新项目的最佳版本,更新到其最新版本可获取最新的稳定修补程序。目前的建议是使用“Unity 2018.4.x”,这是下文的 MRTK v2 所需的 LTS 版本 。
(6). 适用于 Unity 的混合现实工具包 (MRTK v2):适用于 Unity 的 MRTK v2 是一款面向混合现实应用程序的开源跨平台开发套件。
https://github.com/Microsoft/MixedRealityToolkit-Unity/releases
混合现实工具包提供的组件和功能旨在加快面向 Microsoft HoloLens、Windows Mixed Reality 头戴显示设备和 OpenVR 平台的应用程序的开发。有以下三类:
尽管消费者对增强现实(AR)可穿戴设备的需求正在增长,但距离消费者可接受价格的商业上可行的AR设备还有很长的路要走。与此同时,AR的采用可穿戴设备和设备内的工业市场成熟的更快。在2019年的世界移动大会上,微软宣布推出混合现实头盔HoloLens 2,专门针对IAR(工业增强现实)应用而不是消费者。最初的Microsoft Hololens于2016年发布,是一台基于Intel的头戴式计算机,运行Windows 10和 Windows Mixed Reality平台。
通过查看设备令人印象深刻的新功能和更新,HoloLens 2朝着更光明的AR未来迈出了重要的一步,其显示器FoV(视野),亮度,用户舒适度,环境理解度以及最重要的是更自然的HMI(人类)机器接口)通过NLP(自然语言处理),手眼跟踪。所有这些改进都位于开发人员友好的Windows on Arm计算平台之上。对Windows on Arm设备(例如Microsoft HoloLens 2)进行开发的极大兴趣正在推动与早期类似的软件和服务方面的新创新。智能手机生态系统。
HoloLens 2的进步表明,工业XR可穿戴设备的开发和创新步伐迅速,尤其是在制造和培训方面。可靠的投资回报以及重大的技术和用户利益使AR可穿戴设备(例如HoloLens 2)成为企业有吸引力的投资。
确实HoloLens目前最大的应用场景是与工业的结合,比如远程协助、工业维修等。有许多公司与HoloLens合作挖掘AR赋能工业的潜力,接下来选举几个代表性的公司或应用为大家介绍,希望可以激发大家的脑洞。
Bentley 使用HoloLens 2 实现了以沉浸式方式展示四维施工数字孪生模型。Bentley软件公司是Microsoft 在建筑、工程和施工 (AEC) 行业的混合现实合作伙伴,它展示了其面向 HoloLens 2 开发的 SYNCHRO XR 如何帮助用户用直观的手势与数字施工模型交互操作,以规划、查看和了解施工工序。
在由 Microsoft Azure 提供支持的 Bentley 互连数据环境下,可通过 HoloLens 2 实现工程数字孪生模型数据可视化。借助混合现实解决方案,施工经理、项目调度员、业主运营商以及其他项目利益相关方可通过沉浸式可视化技术全面了解规划中的任务、施工进度、工地潜在风险以及安全要求。此外,与以往通过二维屏幕描绘三维对象不同,用户可以与模型交互操作,体验四维对象在不同时空的状态。
Bentley强调了云计算在大型基础设施项目中跟踪所有移动部件的重要性。通过将站点上的每个HoloLens设备连接到Azure中不断更新主模型,它有助于确保每个人都从相同的共享现实中工作,使用最新的信息来排序作业、计划起重机的移动、跟踪进度并确保工人的安全。Bentley 软件公司负责项目交付的高级副总裁 Noah Eckhouse 表示:“我们面向 HoloLens 2 开发的 SYNCHRO XR 应用提供了一种与基础设施项目数字孪生模型交互操作的全新方式。用户不仅可以从一种全新的视角了解设计,还可以即时深入地了解任务和工程进度。
用户不再需要用鼠标和键盘来操作二维屏幕,而是可以亲自绕着模型走动,抓取现实世界的数字对象。利用这一强大功能,用户可以审查施工现场已完成的任务,并为将来的任务做好准备。”
King County因使用微软的HoloLens混合现实设备在污水处理厂培训操作员而获得认可。今年早些时候,西雅图地区的这个县与微软和当地的科技初创公司Taqtile合作,启动了一个项目,为西雅图西点污水处理厂的员工提供培训。
2017年初,污水处理厂向普吉特湾排放污水后,该县重新评估了培训新操作员的方式。于是便有了使用混合现实技术的想法,而不是传统的手册。King County的CIO Tanya Hannah在一份声明中说:“我们与King County自然资源和公园管理局以及微软和Taqtile软件公司建立了良好的合作关系,这让我们得以与众多专家就这个解决方案进行合作。通过使用混合现实眼镜来培训工厂操作员,可以带来更快、更好、更经济的效益,也可以更好地保护我们的环境。”
远程协助一直是HoloLens最具有优势的应用。从今年的5月22日开始,HoloLens客户可以在有限的时间内免费预览这些应用程序Microsoft Remote Assist和Microsoft Layout。远程协助使HoloLens用户(尤其是前线工作人员)能够与远程专家共享他们的观点,远程专家可以注释其观点,共享文件和图像并指导他们完成工作流程。在安全方面,该应用程序还提供Azure Active Directory和移动设备管理支持。
雪佛龙受益于使用远程协助应用程序,它使HoloLens用户能够调用远程专家,并共享他们的视频提要,通过这些专家可以注释视图,并通过复杂的过程指导调用者。“通过在全球部署HoloLens,雪佛龙已经取得了真实的、可衡量的成果,”微软负责商业应用和工业的副总裁阿丽莎·泰勒(Alysa Taylor)在一篇博客文章中写道。
通过部署远程协助应用程序,雪佛龙的分布式员工可以远程协作和互相协助,从而降低旅行成本、降低风险并提高效率。例如,雪佛龙的检查人员每月都可以从他们在德克萨斯州休斯顿的办公室对新加坡的一家工厂进行检查,而不必乘坐国际航班。此外,检查人员可以使用AR应用程序远程识别潜在的问题并批准更改。
Dynamics 365是一个全新的、基于云计算的企业软件平台,将ERP、CRM和HCM产品与Power BI报表功能捆绑在一起,形成一个精简、统一的软件包。Dynamics 365的ERP和CRM功能被分解为几个应用程序,用户可以从自己需要的应用程序开始,按照自己的速度增长,在需要的时候添加新的应用程序和功能。解决方案将基于Azure,这是微软在全球数据中心托管的云计算技术服务。
它将作为软件或服务平台提供,这意味着它将通过web浏览器访问,而不是安装在个人计算机上。这不仅意味着任何更新或修复都将由微软管理并自动应用,而且Dynamics 365将可以通过互联网连接从任何地方访问。Dynamics 365与Office 365和Outlook等微软现有产品紧密集成,能够连接到第三方程序。它还可能以尚未宣布的方式将微软最近收购的领英(LinkedIn)合并。
由于Dynamics 365具有广泛的功能和可扩展性,业内人士已经将其定位为CRM和ERP领域主要参与者(如Salesforce和Oracle)的直接竞争对手。虽然Dynamics 365的许多应用程序都是基于之前的Dynamics产品,但这些新应用程序并不能取代Dynamics AX、NAV、GP、SL或CRM,在可预见的未来,这些应用程序都将继续可用。Dynamics 365只是许可和利用业务应用程序的另一种方式,尽管它具有重要的附加功能。
Dynamics 365由多个应用组成,涵盖了多种业务流程:客户关系管理、财务规划和报告、物流和人力资源管理功能包含在一个统一的程序中。Dynamics的与众不同之处在于它的通用数据模型,允许这些应用程序共享数据。以前,数据被单独存储在应用程序套件中,而Dynamics 365应用程序使用并集成了这些数据,帮助用户从业务数据中获得更多信息,从而获得新的见解和新的机会。Dynamics 365的第一版将有六个应用程序:
-
销售,使用户能够建立和跟踪与客户的关系,获得深入的洞察力,产生线索,并更快地完成销售。
-
客户服务旨在推动与客户的接触,并帮助用户提供快速、个性化的服务,以满足客户的期望。
-
运营包括财务和运营计划、报告、制造和供应链管理的所有方面。
-
Marketing与Adobe Marketing Cloud合作,将销售和营销服务连接起来,帮助提高收入。
-
现场服务通过智能调度、远程协助监控、合同和库存管理,帮助用户优化其移动劳动力。
-
项目服务自动化使用户能够从头到尾地管理项目,包括资源管理、处理合同和预算编制等功能。
-
所有这些应用程序都内置了智能,Dynamics 365将在一个用户友好、可扩展的平台上为用户提供可预测、可操作的见解。
Dynamics 365的灵活性将让用户能够自由地只授权他们需要的应用程序,根据他们特定的组织工作方式定制应用程序,并在业务增长的基础上构建应用程序。
丰田汽车公司也是Dynamics 365的用户。“我当时在调查AR技术。然后我从微软了解了HoloLens。我很惊讶,因为它让我们做了以前从未做过的事情,”丰田3D数据利用项目经理兼汽车数字工程AR/VR/MR项目负责人Kayano Koichi说。例如,检查涂层厚度。过去,这项工作花了两个人一整天的时间。他们不得不把纸剪下来贴在车上。但是有了HoloLens,一个人可以在两个小时内完成。它彻底改变了我们的工作方式。”
据Koichi透露,丰田还在测试HoloLens的布局和远程辅助应用。通过布局,工程师可以确定设备,如大型激光焊接机,是否适合建议的位置。此外,通过远程协助,工厂工人可以打电话给同事寻求帮助,并分享他们的实时视图。Koichi说: “HoloLens不仅仅是一种显示数据的技术,它还是一种使混合现实成为可能的设备。我们相信,HoloLens将极大地改变我们的工作方式。”
微软宣布了HoloLens另一个令人兴奋的合作伙伴——thyssenkrupp,一家以电梯闻名的工业工程公司。安装电梯很有挑战性,因为每个家庭的楼梯都是独一无二的,没有一种适合所有人的电梯。每个楼梯升降梯都必须针对每个单独的楼梯进行定制,因此测量、制造和安装需要相当多的时间。使用HoloLens可以使这些步骤更有效。
HoloLens执行数字数据捕获测量楼梯的步骤,并保持记录这些数据。下面是一个用全息透镜测量楼梯的例子:
这些数据被实时上传到微软云上,这样生产现场就可以访问,楼梯升降机上的生产可以立即开始。thyssenkrupp产品生命周期管理主管Simon Feismann评论称,将HoloLens整合到生产中,可以使生产过程比以前快4倍。还可以选择通过HoloLens提供的动画向客户展示楼梯电梯的预览。
HoloLens与工业结合的场景还很多,比如这些:
AR与雷诺卡车的结合:混合现实也被部署在雷诺卡车上,这样质量控制操作员将能够看到指导他们通过复杂的控制操作,而不是传统的书面指示。
Beenen用HoloLens经营自动化工厂:Beenen BV是一家荷兰系统集成商,专门为制造业提供综合自动化解决方案,现在可以使用HoloLens远程操作和运行其工业设施。
施耐德电气的混合现实维护:施耐德电气在培训和技能转移方面尝试了增强现实技术,现在正在使用混合现实技术进行维护。由于有了微软HoloLens和相关的应用程序,施耐德的操作员可以遵循维护程序,收集所有的相关数据,以前的维护操作,接收警报等。
设计制造一体化:设计过程不可避免地与制造联系在一起,HoloLens的良好使用使设计师和制造商能够合作生产更好的产品,并简化复杂项目的制造过程。在这种情况下,一个最佳实践是创建产品的3D模型,这些模型可以修改和更改,这样在开始构建之前就可以发现错误和制造问题。例如,上面提到的thyssenkrupp借助HoloLens安装电梯。波音公司正在使用Hololens制造国际空间站的星际飞船运输模块。该设备可以让他们看到是否有空间和空间让人类进入可能需要修复的区域——在必要的小环境中,这是一项困难的任务。Stryker设计和建造手术室,HoloLens允许所有利益相关者在生产前进行协作和可视化,以确保手术室符合必要的规范,并最终提供更好的病人护理。
除了模拟火星表面外,美国宇航局的喷气推进实验室还计划利用全息透镜来制作新的火星漫游者的全息图。这意味着潜在的制造问题可以得到解决,构建过程可以逐步展开,工程师将有一个简单的方法来查看和操作漫游者的模型。HoloLens超越了草图和CAD模型,提供了可共享的、实物大小的、交互式的和动态的复杂表示。
培训生产工人:Hololens的第二个最有效的用例是在复杂设备的制造和维修过程中对员工进行培训。VR在这里也是一个实用的工具。不需要使用视频或2D图像进行冗长的课堂演示,学员能够从各个角度可视化组件,操作它们并实时添加或删除组件。在处理复杂的制造项目时,拥有训练有素的员工最终会改进产品和提高生产效率。
波音公司一直在使用HoloLens来实现这一目的,它集成了针对个别学习任务的文本指导,以及引导工程师完成过程的画外音。波音预测,以这种方式使用HoloLens,每个学员的培训时间将减少75%。
日本航空公司(Japan Airlines)也在使用Hololens来培训员工,并展示了一款可伸缩的3D喷气发动机模型,该模型可以被拆解来访问和研究发动机的不同部件。HoloLens软件还能让他们把模型放大到真人大小,并从不同的角度接近模型,全面了解它是如何运作的。日本航空公司希望这能帮助他们降低工程师的培训成本。
复杂的装配:装配可能是一个漫长而复杂的过程,多个部件必须按照特定的顺序组合在一起,才能使成品发挥应有的作用。在传统的装配中,必须参考手册,这导致了效率低下。使用HoloLens,制造商可以将每个步骤覆盖在手头的任务上,使装配工人能够准确地知道应该执行哪个步骤,以及如何执行。
在一项使用简单平视显示器的研究中,GE的实验显示,通过使用平视手册为用户演示接下来的步骤,在首次使用时效率提高了34%。
除了利用HoloLens技术向客户展示车辆的关键特性外,沃尔沃还在利用上述流程在装配线上试验HoloLens技术。虽然增强现实的元素在过去的制造业中已经出现(例如波音公司已经使用了基于平板电脑的增强现实工具),HoloLens可以更快、更准确地表示所涉及的步骤,其优点是轻便的可穿戴设备。洛克希德·马丁公司也一直在探索HoloLens的潜力,以提高生产过程的速度和质量。他们认为,有能力拥有所有可能的信息有关大会,以及指导的指示,是极为有利的。
设备的维修和保养:维修和保养通常是由制造商自己进行的,尤其是那些复杂的产品或拥有维修所需的专用工具和设备的产品,HoloLens允许工程师以更准确和更省时的方式来完成这项工作。使用HoloLens进行维护的最佳实践包括在访问之前对请求进行分类,以及在现场启用免提远程指导。
由于HoloLens也集成了Skype,因此可以快速方便地联系主题专家以获得额外的支持,并且可以直接看到手头的任务。这可以从根本上减少维修的时间和成本,因为它允许远程协助既可以通过视频呈现,也可以通过平板电脑在当地维修操作员的视野中“绘制”现实世界。
复杂的销售:复杂的解决方案往往很难以最终形式呈现出来。不管它是一个房间的布局充满了实验室诊断设备,需要依次相连,一个工业暖通空调系统的设计,将整合成一个建筑,或下一代赌场老虎机的形式以及他们如何会在一个房间里,全息透镜提供即时交互原型大规模提供了一个工具。在制造商必须经常在会议和贸易展上提出复杂的解决方案的情况下,HoloLens是允许的,因为直接就可以在房间里进行演示操作。无论你是制造钢门,摩托车气罐,烤面包机,还是轮船的螺旋桨,带一个HoloLens都比带产品样品到希尔顿酒店要容易得多。
在一个被提议的定制设计解决方案中,HoloLens可以在不需要原型的情况下将解决方案带到生活中,为客户提供在任何东西被构建之前看到最终状态的能力,在周期中提供即时的反馈和接受。已经有50%的工厂在使用增强和虚拟现实技术。在过去的两年中,微软一直在努力促进混合现实的采用:开发3d创建工具,为应用程序开发人员提供资源,在工厂中安装符合安全标准的防护眼镜,并启动了混合现实合作伙伴计划。
执行监督和数据可视化:迄今为止,针对运营管理的数据可视化的公开案例研究还相当有限,但作为一个思维实验,想象一下你自己在会议室里,你的业务表现在桌子上,显示着实时数据,你的KPI在屏幕上锁定在你周围的墙壁上。这种实时数据体验可以与房间里的其他人共享,它提供了一种新的方式来探索驱动你的决策的信息,无论是单独的决策,还是整个执行团队的决策。
据统计已经有50%的工厂在使用增强和虚拟现实技术。在过去的两年中,微软一直在努力促进混合现实的采用:开发3D创建工具、为应用程序开发人员提供资源、在工厂中安装符合安全标准的防护眼镜,并启动了混合现实合作伙伴计划。
HoloLens在艺术上面也有相当多的应用场景,其实不只是HoloLens,整个AR技术与艺术有着天然的融合优势,在前面的文章我也多次表述过:其实相比于AR+教育、AR+工业、AR+金融、AR+营销等一系列落地场景,个人觉得AR与话剧、AR与博物馆、AR与展馆等艺术形式的结合在目前大市场阶段(综合考虑AR技术、商业化落地等因素)有着更好的应用。
因为艺术是个人的主观表达,是想象力,是创造力,是画面感,是情绪的升华,她并不像其他产业(金融、工业、教育等)需要很强的实操性和注重效率的提升,所以之前移动互联网、云计算、人工智能的崛起与大范围的应用,其实本质是大大大大大的提高了这些行业的效率,反思AR为什么还是无法大范围的落地使用,关键在于“心有余而力不足”,AR目前的技术发展还无法真正意义上的明显提高这些产业的效率。
但是艺术行业不同,艺术需要的是通过一件作品来满足人们的幻想,从而抒发出此刻的感受,而AR通俗来讲就是数字内容与现实物理环境完美的融合,其实就是想象力的延伸、画面感的延伸、情绪的延伸......目前国外有许多公司已经使用HoloLens与艺术、展览等相结合并且在市场上获得了不错的反响,国内还很少有类似应用,所以下面介绍列举一些AR与艺术结合的案例,希望大家可以参考大开脑洞。
上图是艺术家梅尔·秦(Mel Chin)的雕塑《守灵》(Wake)的电脑渲染图,它将出现在纽约时代广场上,也将作为混合现实的组成部分“Unmoored”的一部分。在日常生活中,纽约时代广场已经是一个熙熙攘攘、混乱不堪的地方。在增强现实中,曼哈顿的中心将变成另一个世界,这要归功于一项部分依赖于微软HoloLens的努力。微软与纽约时代广场艺术(Times Square arts)、不再空虚(No Longer Empty)和皇后区博物馆(Queens Museum)合作,开发了一件名为“Unmoored”的混合现实作品,作为艺术家梅尔·陈(Mel Chin)的大型雕塑《Wake》的配套作品。
60英尺长的“Wake”旨在唤起沉船的船体,并与海洋哺乳动物的骨骼遗骸相交。它与HoloLens中的“Unmoored”数字世界融为一体,看起来就像摩天大楼和闪烁的霓虹灯一样从上升的水面下面可以看到时代广场的全景。“Wake”还展示了一个21英尺高的动画女性雕塑,该雕塑源自歌剧演员Jenny Lind《瑞典夜莺》。
在HoloLens版本的“ Unorored”中,用户将观看“ Wake”从沉船转变为夜莺的完整模型,并在百老汇上空漂浮。其他动画船也出现了,它们从相邻的街道到达时代广场,并最终聚在一起,形成了一个上锁的舰队。海上生物也开始出现。通过该应用程序,用户可以获得类似的体验,但必须依靠地图在广场上与“Wake”相邻的六个节点之一定位,以对齐其移动设备的相机视图。“Wake”发生变化,更多的船只到达并相撞,海洋生物似乎吸引了用户的注意力。
上图是巴黎计划救济博物馆的访客使用Microsoft HoloLens在地标性圣米歇尔山的3D立体图周围获得了混合现实体验。 计划博物馆博物馆(Muséedes Plans-Reliefs)正在与Microsoft合作,通过使用混合现实技术,使参观者通过AR参观圣米歇尔山的外观和故事。
该系列最初是为拿破仑和路易十四创建的,他们将它们用于军事目的,以了解如何围困或捍卫一座城市。他们是一个受到严密保护的国家机密,因为当时还从未听说过能够从空中看到城市的消息。微软表示,史密斯曾经在1990年代住在博物馆附近,并会定期与家人一起参观。他与博物馆馆长伊曼纽尔·斯塔基(Emmanuel Starcky)合作,帮助提出了将混合现实技术应用于圣米歇尔山地图的想法。愿景在11个月内成为现实。
“我们使用了新技术与法国的历史文化相结合,我认为我们正在以全新的方式帮助人们学习它,”史密斯在巴黎一次活动中的录像带中说道。“以有趣的方式,这对于孩子们来说将很有趣,并使人们能够以前所未有的方式看到自己的世界。”希望通过技术吸引新一代的博物馆观众。
3. Art Exhibit使用Hololens启动虚拟博物馆
由于在线艺术平台Artsy和佩斯画廊阿姆斯特丹设计公司Studio Drift的合作,长期运行的“军械库展览”将成为一个完全的数字博物馆,只能通过增强现实的方式进行观展。此展览使用微软HoloLens通过一种沉浸式的混合现实体验,数字化地投射出一个虚拟艺术目录。游客首先进入一个简单的房间,房间里排列着相互交织的绿色图案。
在整个装置中散布着一些破碎的小柱子,它们看似随意地摆放着,一旦你穿上了HoloLens,展览的真正魔力就会以一种壮观的方式展现出来。利用HoloLens的混合现实功能,虚拟柱子从真实的混凝土结构延伸到整个装置。这些数字投影被分解成碎片,就像被一辆坦克炸毁了一样,在空中盘旋,就像时间在它的轨迹上停止了一样。凭借全息计算能力先进的HoloLens,观众可以自由走动,从任何角度观察周围的每一个虚拟投影和体验艺术。
美术馆馆长和展览开发商希望,随着增强现实技术越来越普及,用户可以在家中方便地观看这些展品。Artsy特别项目的策展人Elena Soboleva表示:“现在还处于初期阶段,但在商业环境中,这是艺术界和艺术市场令人兴奋的新途径。“你可以很容易地想象一个收藏家在他们的客厅里测试艺术品,或者一个人在千里之外的博物馆里通过混合现实体验来探索展览。”
4. Typography Insight:全息文字雕塑应用
Typography Insight 最初于2011年在iOS上发布,是一个学习和教授排版的工具包。这款应用受到了设计界和教育界的喜爱,它引入了一种全新的比较、观察和学习字体的方式。现在,Typography Insight可以在微软的HoloLens上使用,这是一个提供独特AR体验的工具,具有出色的构建质量和对细节的关注。
HoloLens版本引入了“Type Playground”,用户可以在真实环境中放置不同风格和大小的文本。此功能可用于设计和预览架构标识或标识类型。在“类型解剖学”的场景中,用户可以学习排版的基本术语。在“历史类型”场景中,用户可以了解3D空间中历史上重要的字体。
微软首席UX设计师Dong Yoon Park最近使用了为HoloLens开发的 Typography Insight应用程序,为贝尔维尤艺术博物馆创建了“全息艺术雕塑” ,体验更加身临其境。设计师的“全息型雕塑”目前放置在贝尔维尤艺术博物馆的中庭和屋顶雕塑花园中。
“由于每种类型都是互动的,我可以想象参观者移动或旋转它们,共同演化雕塑。我对HoloLens作为一种新的艺术装置媒介的潜力感到非常兴奋。”
HoloLens的Typography Insight鼓励人们在3D混合现实空间中体验、学习和玩印刷术字体。Typography Insight使用户可以在3D混合现实空间中布局字体。通过各种印刷属性,用户通过AR能够体验和理解该类型的特征。
该应用程序由三部分功能组成:
变形面具是一种体验式雕塑作品,将艺术和技术融合在一起,从鸟形面具演变为人为机器融合。这是加拿大艺术家肖恩·亨特(Shawn Hunt)与微软温哥华内部生产商空间The Garage合作的结果。在开始使用HoloLens为观看者提供沉浸式全息体验之前,它可以利用电子和机械工程进行物理转换。
不过,虽然该项目是从技术的角度肯定是足够有趣(它融合方式的3D打印,并通过蓝牙、HoloLens混合现实、全息图机器人)。是什么使得它真正的突破?是它使用这些技术以新方式探索美学,身份和艺术表达的方式。
肖恩·亨特(Shawn Hunt)是一位成功的温哥华艺术家,对于他来说,将尖端技术整合到他的作品中是非常有意义的。这使他接受了微软的邀请。然后,亨特和他的艺术家团队与众多设计师和工程师合作,探索机器人技术,3D打印和混合现实如何以新颖而有力的方式帮助讲述传统故事。
Heiltsuk神话中的乌鸦被视为“终极骗子”,并且使用这些工具探索流畅的身份似乎是一个完美的主意。他们想到的交互式装置带有传统本地设计的防鸟面具,通过物理机器人机制和虚拟混合现实元素的混合,逐渐变身为机器人。随着经验的发展,口罩通过从鸟类口罩到人形的转变,适应了变形的传统方面,但是在这种适应中,人形面罩已被更改,升级并与机器融合。融合了技术,声音和空间的各个方面,作品的每个部分都反映了亨特对我们如何理解和认同土著一词的兴趣。
修饰的LED灯带在面罩内部排列,在整个体验的各个阶段触发硬件和软件提示。HoloLens令人印象深刻的计算能力可以协调所有这些元素,并通过蓝牙连接同步软件和硬件。全息图体验是将动画体积图与粒子模拟和空间声音协同显示的全息体验,并使用Unity3D进行实时排序和渲染。为了进行设计,Shawn首先熟悉了一系列技术。最初使用“倾斜画笔”中的体积数字雕塑绘制的图形后来使用2D数字墨水进行了精炼,以完善Hunt想要表达的传统线条和形式。通过专用骨骼系统进一步增强了3D绘图,以创建有机动画。声音也是体验的关键部分,首先实施自定义声音设计,这会激发视觉效果的时机和强度,而不是在最后添加声音。结果是强大的同步视听机械体验。
“艺术有多种形式,可以轻易超越文化并利用技术成为新事物。生活就是这些无限的可能性和组合。” HoloLens混合现实设计师Andy Klein说道。正是这让Transformation Mask成为HoloLens和混合现实技术如此有趣用例的原因:在项目的概念,设计和执行阶段,这些功能不是将艺术和技术功能分开,而是紧密地融合在一起。正如传统的土著面具模糊了人与动物,现实与神话之间的界线一样,技术将人与机器,物理与虚拟结合在一起。显然,如果我们要创建引人入胜,引人入胜和鼓舞人心的内容,并在文化上引起观众共鸣,那么这就是内容制作者最好的学习和采用的方法。
汽车也是HoloLens应用广泛的一大行业,自HoloLens发布以来,已有多家汽车公司使用HoloLens应用到他们的工作流程中,并且相比原来工作效率大大提高。
福特正在全球扩大对HoloLens混合现实技术的测试,以加快为客户设计更时尚汽车的速度。新技术让戴着HoloLens的设计师可以看到几个数字设计和部件,就好像它们已经被整合到一辆实体车上,这有助于福特探索更多的设计方案,同时缩短设计和工程过程的时间。例如,评估汽车的侧视镜,以及它如何影响驾驶员的视野,通常需要几天或几周的时间,但现在可以在几分钟甚至几秒钟内完成。
福特的设计师们已经把一些粘土造型的钢材和耙子换成了AR模型,这些软件可以在几秒钟内改变汽车的设计元素——侧镜、格栅、汽车内饰等等。一年以来,设计师们一直在福特的迪尔伯恩工作室(Dearborn studios)试用微软HoloLens技术,他们能够看到虚拟设计元素,就好像这些东西是实体车的一部分。他们已经能够在几分钟或几小时内探索未来车辆的不同形状、大小和纹理,而不是用几周或几个月的时间来制作粘土模型。
现在,福特公司正在全球范围内扩展这项开拓性的测试。福特汽车零部件和系统工程副总裁吉姆•霍兰德(Jim Holland)表示:“我们能够将新旧技术——黏土模型和全息图结合起来,既节省了时间,又让设计师能够快速试验和迭代,从而设计出更时尚、更智能的汽车,这太神奇了。HoloLens对设计师来说是一个强大的工具,因为我们在快速变化的时代继续重塑汽车和移动体验。”HoloLens技术采用了混合现实技术,使设计师能够通过眼镜看到照片质量的背景中的全息图。
当戴着HoloLens的设计师在一辆真正的汽车上移动时,微软的HoloLens扫描和绘制环境图的精确度远远超过GPS,从而从汽车被观看的角度绘制全息图和图像。设计师看到3D全息图像的主题和功能,就好像这些元素已经是车辆的一部分,使他们能够快速评估设计,作出改变,并确定在开发早期的造型选项。福特设计经理迈克尔•史密斯(Michael Smith)表示:“有了HoloLens,我们可以迅速浏览虚拟表现,以决定它们应该朝哪个方向发展。作为一名设计师,你想要展示,而不仅仅是讲述。这更令人信服。”
丰田汽车正在使用微软的HoloLens简化运营,提高质量并解决问题。混合现实技术正在简化工厂设备的安装,并确保员工安全。过去,要花两天的时间来检查每辆车上涂膜的厚度。但是使用新的Microsoft HoloLens,一个人可以在两个小时内完成任务。
Kayano 设计了一个应用程序,使他们可以跳过剪切和粘贴过程。使用HoloLens,数字点阵直接投影到真实的汽车上。戴HoloLens的工作人员可以快速,轻松地扫描并检查汽车的涂漆表面。这样可以提高他们的生产力,并腾出时间来执行更有意义的任务。
丰田汽车还使用HoloLens来可视化如何在工厂车间以3D方式安装和布置机械,以确定如何在建筑物内放置机械的位置。例如,当丰田东日本公司需要更换大型激光焊接机时,丰田工人首先使用HoloLens进行了模拟检查或“虚拟审查”。
该设备与MR业务应用程序“ Dynamics 365 Layout”一起使用户能够在实际空间中布置完整尺寸的模型,而无需实际移动设备。这有助于避免与其他机器和结构发生碰撞。Kayano说:“你可以检查是否可以搬入或搬出机器,并查看该位置是否靠近支柱或与其他机器距离太近,这使这些检查和其他检查成为可能。”此外,Microsoft HoloLens正在改善员工的安全。与Dynamics 365 Remote Assist结合使用时,Kayano可以从现场人员的角度远程评估潜在的安全隐患。Kayano说:“我们相信Microsoft HoloLens将大大改变我们的工作方式。”
大众汽车的虚拟工程实验室使用微软的HoloLens设计未来的汽车。在房间的中央,有一个1:4比例的高尔夫球模型。弗兰克·奥斯特曼(Frank Ostermann)检查了模型,然后更换了车轮,更换了尾灯,并修改了后视镜。Ostermann使用语音命令和手势来更改设计。只需几秒钟即可完成。Ostermann戴着“ HoloLens”混合现实眼镜。微软开发的移动计算机通过手势控制和语音命令将虚拟内容投射到物理对象上,奥斯特曼只需要用手指指着,而HoloLens则将不同的油漆颜色投射到高尔夫球上,安装不同的轮子或修改挡泥板。
增强和虚拟现实有助于节省时间和开发成本。例如,使用虚拟工程实验室的HoloLens软件,可以使过程中的每个步骤更快,更高效。HoloLens不仅将每个设计或设备更改直接投影到物理模型上,它还允许多个项目团队在不同时间同时工作,例如来自沃尔夫斯堡,查塔努加和上海的团队。所有相关人员始终拥有当前的设计模型,并且耗时的返工(例如在粘土模型上)可能已成为过去。
“团队可以直接关注并比较模型的最小变化,然后做出决定。这意味着他们可以更快地达到目标。” Ostermann解释说。目前,HoloLens软件仍处于试用阶段。将来它将允许用户调用整个大众汽车品牌的模型产品组合,并以所有可能的变体形式展示模型的不同车身版本:开发人员随后将能够将轿车实际转化为SUV,地产汽车,敞篷车或轿跑车。
汽车越来越多地在虚拟世界中设计,而模拟在此过程中发挥着越来越重要的作用。因此,工程师在设计过程的早期阶段探索虚拟和增强现实作为与这些数字模型和数据进行更有效交互的方式才有意义。沃尔沃(Volvo)作为首家将Microsoft的HoloLens增强现实技术应用到其工程工具包中的汽车制造商,处于这一探索的前沿 。
沃尔沃关于以人为本的设计愿景与以HoloLens技术采取的以人为本的方法很好地吻合,使人们成为体验的中心。HoloLens使人们可以留在现实世界中,与周围的物理世界互动,同时也将不受物理定律约束的数字元素带入生活。微软和沃尔沃联手,幸运的是,并不是为了制造一款以汽车为主题的华丽设备啥的,而是为了让汽车制造商的陈列室配备HoloLens。
从明年开始,沃尔沃将能够通过全息图展示以前无法即时演示并在室内进行演示的事物,例如,其汽车的安全功能,例如避免碰撞以及各种可能的自定义选项。两家公司最近以即将面世的S90豪华轿车为主题,在微软位于雷蒙德的总部展示了该系统的原型版本。借助增强现实技术,他们不仅可以显示未发布汽车的全息模型,还可以显示其零件的横截面。
参与者还能够自定义轿车的颜色和保险杠,并且能够在全息图周围走动,以便从各个角度查看它。根据彭博社的报道,两家公司甚至都可以坐在实际的车辆中,然后将其用于AR试驾,以获得更身临其境的体验。这仅仅是微软为推广其HoloLens头戴设备而开展的项目之一。
梅赛德斯-奔驰(Mercedes-Benz)也加入了越来越多采用增强现实技术的汽车制造商的行列,通过微软HoloLens为其制造业务提供帮助。该公司在其梅赛德斯-奔驰全球培训计划中使用了100多台HoloLens设备,其中约有450名管理、产品、品牌和销售员工可以使用这些设备。
在 梅赛德斯奔驰全球培训中心,他们向服务员工教授最新的车辆维修技术,同时通过最新型号的功能引领销售专业人员。Microsoft HoloLens提供更快,更吸引人的培训课程,同时降低成本。参与者佩戴了HoloLens,从而能够查看车辆及其内部零件的3D数字模型,从而全面了解变速箱,制动器总成和其他组件的复杂修理。
通过HoloLens,参与者能够检查车辆的3D模型,查看汽车内部部件,并更详细地了解其复杂的系统。该设备还为他们提供了一个学习如何将AR技术应用到各种工作岗位的机会。
一项技术想要真正的融入并改善人们的生活,首要也是必须要给人们的娱乐生活带来一些改变:新鲜感、趣味、创意、好玩等。HoloLens其实目前主要的定位是to B的,主要为产业赋能,提高效率等,但是作为一款高科技的眼镜,HoloLens 在to c上面也有着很广泛的应用,比如与展览、音乐、艺术等等结合,给人们等娱乐生活带来一种新的体验!
HoloLens将Brian Eno和Peter Chilvers的应用程序Bloom引入到混合现实中,在生成音乐和艺术作品期间模糊了物理和虚拟之间的界线。
音乐家,制片人,视觉艺术家和思想家Brian Eno与长期合作者Peter Chilvers一起推出了他们的第一个混合现实项目,该项目与Bloom、Open Space结合在一起,这是 一种可生成的视听装置,已与Microsoft HoloLens结合起来。Bloom:开放空间可让参与者在全新的环境中体验原始的生成音乐应用。
访客进入由屏幕环绕的中央区域,在那里他们可以亲身体验Bloom的魅力,轻拍周围的空气,以最简单的手势创建精美的图案和独特的旋律。Open Space 在阿姆斯特丹仅待了五天(2018年2月21日至25日),是布莱恩·埃诺(Brian Eno)和他的长期合作者彼得·奇尔弗斯(Peter Chilvers)创造的令人难以置信的全新混合现实生成音乐体验。
增强现实音乐体验最终可能成为第一代以消费者为中心的头戴式显示器的杀手级应用。我们知道,Magic Leap通过与SigurRós的合作已经在这方面有了自己的计划。这种体验使用户可以与作曲音乐进行交互。
借助Eno的应用程序,未经培训的音乐迷可以创建自己的音乐,这为开发人员提供了一个全新的类别。让我们面对现实吧,并不是每个人都可以先拾起吉他来弹一些名曲,而无需先上几节课。但是像HoloLens这样的设备可以通过数字媒体而不是物理仪器通过熟悉的动作来促进表达。
应用程序SketchAR是一种简单,创新的方法,可以在你选择的画布上追踪要绘制的内容。它最初在iOS和Android Tango手机上发布,但现在,终于在Microsoft的HoloLens上发布了。SketchAR使用计算机视觉来扫描环境并将虚拟图像放置在真实表面上。放置图像后,它会粘住,这样当你四处移动时,图像不会随你移动。该应用程序非常适合那些不知道如何绘画的人。
尽管到目前为止在智能手机上已经非常成功,但该应用程序并不是手机的理想选择。要使用SketchAR在现实生活中成功创建图形,你必须始终将智能手机保持在要绘制的表面上方。这使得真正专注于稳定地创作作品变得更加困难,并且一段时间后你的手臂肯定会疲劳。
但是与HoloLens结合之后一切都不一样了。发布的宣传视频显示了它在HoloLens和智能手机上的工作方式有何不同。手动移动可将草图引导到将其栩栩如生的位置,然后将其锁定在此处。在这里,就像智能手机版本一样,你可以调整图像的大小,颜色,方向和位置。放置图像后,借助HoloLens,你可以腾出手来开始绘制和绘画草图,可以通过HoloLens的屏幕进行查看。这样一来,你就可以轻松创建所需的艺术品,而不必专注于使智能手机保持平稳。
CWRU使用Microsoft HoloLens首次进行了混合现实舞蹈表演。当凯斯西储大学的学生凯伦·奥珀(Karen Opper)在《想像的奥德赛》的首演中跳舞时,她不会看到该节目周围精美的视觉效果,但观众会看到。该节目梦幻般的全息图将由Microsoft HoloLens赋予生命,每位80位观众将在佩戴时佩戴。
Windows Mixed Reality Experiences总经理Lorraine Bardeen说:“自从Microsoft HoloLens推出和向混合现实计算以来,Case Western Reserve一直在许多教育经验中处于创新的领先地位。”体验将物理世界和数字世界与混合现实相结合的艺术表演,一直是我的梦想之一,我很高兴这个梦想现在随着这个作品而得以实现。”
加尔布雷思与IC的3D艺术家和计算机程序员合作,将全息龙卷风和从地面生长的神秘树木融合在一起。他还展示了表达运动和情感的新方法,例如由舞者的动作产生的类似彗星般的火热粒子痕迹。
索尼的蓝精灵电影为孩子提供关于HoloLens混合现实体验。当戴上HoloLens头戴式耳机时,用户可以看到儿童电影中在现实世界中围绕其表面扩大的位置。玩家的任务是探索蓝精灵电影中的位置,最终目的是找到同名的“失落村庄”。为此,玩家必须使用桌面和桌面周围的其他表面与微小的蓝色角色互动,并进入到各个level。
在谈到混合现实体验时,索尼影像娱乐公司数字营销执行副总裁Elias Plishner 说:“蓝精灵:失落的村庄将影迷带入了蓝精灵的世界,而《 HoloLens》则使我们变得更好:将我们的世界和蓝精灵的世界融合在一个混合现实的环境中。对于影迷来说,这是极大的乐趣,它可以极大地激发电影的胃口。”
日本最受欢迎的Gozilla背后的公司,即日本的Toho Studios,多年来一直试图让粉丝们感受到入侵东京的巨型核动力蜥蜴的感受,到目前为止这些尝试还仅限于电影院,但是现在,在Microsoft HoloLens的帮助下,人们终于可以户外感受到哥斯拉入侵实际的城市。一种名为“哥斯拉之夜”的全新身临其境的体验,使粉丝可以带上HoloLens并观看如建筑物般大小的哥斯拉穿越现实世界。
为了增强体验,制作人甚至还包括几个穿着军装的演员(并配备了自己的HoloLens设备),当增强现实哥斯拉首次从其中一幢建筑物后面露面时,他们随时会大喊大叫。体验中还有一个单独的组成部分,允许HoloLens用户查看桌面大小的哥斯拉版本,以及该生物在东京旅行的地点的地图。这种新体验是Toho 创造 “哥斯拉电影宇宙” 的最初努力之一。
第一时间了解XR资讯
关注VR陀螺官网(vrtuoluo.cn)