文/VR陀螺
AI PC 时代,NVIDIA RTX 按下加速键。
近日,NVIDIA 举办 RTX AI 媒体品鉴会。作为长期关注前沿科技发展的产业媒体,VR陀螺受邀参加本次活动。
在 RTX AI 媒体品鉴会上,NVIDIA 围绕其在 AI PC 时代基于 RTX 系列显卡,在一系列 AI 上的技术探索、应用落地、生态合作、AI 工具、游戏赋能等方面带来了主题分享,现场还展示了 NVIDIA ACE、ChatRTX、Stable Diffusion、DLSS 3.5、NVIDIA APP 等 Demo 体验,以及来自 Simon 阿文、海辛、言萧等 AI 艺术家基于 RTX 40 系列 AI PC 创作的 AIGC 作品。
在 NVIDIA 看来,RTX AI 已在 AI 绘画、AI 平面设计、AI 视频编辑、AI 3D 创作、AI 视频体验、AI 会议、AI 文档助手、AI 应用开发、AI 游戏等具体应用场景上发挥着自己独特的价值。
NVIDIA 于 2018 年推出 RTX 技术和首款专为 AI 打造的消费级 GPU (GeForce RTX) 。AI PC 是搭载专用 AI 加速硬件的计算机,在 RTX GPU 上,这些专用的 AI 加速器被称为 Tensor Core。运行要求极为严苛的工作和娱乐应用时,Tensor Core 能够显著加速 AI 性能,并为 PC 用户引入了以前在云端才能运行的新功能。
结合诸如 Stable Diffusion 这样可本地部署的图像大模型,在 RTX 的助力下,可快速实现炼丹。活动现场,NVIDIA 展示的即致 AI 基于扩散模型和蒸馏技术,通过 RTX GPU 的加速,实现了秒级的 AI 实时绘画。
图源:VR陀螺
结合即致 AI 自研的全网下载量超 50W 国内建筑行业大模型,帮助建筑设计师享受 AI 实时渲染划时代的快捷、便利的同时,依然可以保证极高的出图效果。
图生图要求对于图像的理解,而文生图对于 RTX 来说,似乎更简单一些。据介绍,作为市面上最快的 Stable Diffusion 计算出图方案,用户开箱即用就能在 RTX 4090 D GPU 享受到高达每秒 8 张图的生成速度。
使用当前最快的 Stable Diffusion 加速方法 TensorRT,再配合开发者进一步的性能优化,目前 RTX 4090 D GPU 最高能实现每秒超过 100 张图的生成速度,因此 Stable Diffusion 用户也能像游戏玩家一样通过高帧率享受丝滑的创作体验。
RTX 不仅仅是赋能加速图片的生成,还包括 AI 声音克隆。现场,NVIDIA 展示了 RTX GPU 加速的声音克隆案例,基于开源项目 GPT-SoVITS,仅需 5 秒声音样本,AI 根据其发音特征由文本生成个性化语音片段,实现高质量的声音克隆,而无需训练。
据介绍,在 RTX 驱动的 AI 加速技术支持下,整个声音克隆流程可以在短短五分钟内完成,极大地压缩了创作周期。而对于追求极致相似度的用户,通过增加录音样本至 1 分钟进行微调训练,可以进一步逼近 1:1 的声音还原度,实现几乎难以辨别的声音复刻,为音频制作与交互式内容创作开辟了全新的可能性。
不管是生成文字、图片,声音,视频,它们都离不开底层强大算力的支持。底层芯片的技术深度,决定了计算的最终速度。
在基于 RTX 的 AI PC 上,NVIDIA 正在带来全新的应用生态,以拥抱时代的变化。
(一)ChatRTX—NVIDIA端侧AI交互升级
本次活动上,NVIDIA 展示了 Chat with RTX 演示 demo,据介绍,ChatRTX 使用检索增强生成、NVIDIA TensorRT-LLM 软件和 NVIDIA RTX 加速,可将本地生成式 AI 功能引入到支持 RTX 的 Windows 系统中。
相比于传统大语言模型面临,RAG 检索增强生成主要基于上下文和事实进行数据输出,可以有效减少生成式人工智能“幻觉”的产生。此外,由于 ChatRTX 本地化部署,且无需联网即可使用,在安全性、可靠性以及隐私性方面带来突出的本地部署优势。
用户可快速、轻松地将本地文件作为数据集连接到开放式大语言模型,快速查询与上下文相关的答案。事实上,NVIDIA 并不提供大语言模型,而是通过特定接口形式,可以让合作伙伴厂商或用户自己去选择接入自己需要的大语言模型。从某种程度上,具有相对的灵活性选择。
据 NVIDIA 相关负责人介绍,新版的现场演示的 ChatRTX Demo,已支持中文对话交互(文字),语音交互(英文),图片检索交互。现场测试中,ChatRTX 的图片检索性能,不仅可以搜索到图片中的相关元素,还能深度检索到图片上的文字。
(二)NVIDIA APP,解决“槽点”
NVIDIA 这次听劝了!
对于使用 NVIDIA 系列显卡的用户来说,每次驱动更新升级,都是一个复杂且煎熬的过程。不仅 GeForce Experience 打开速度较慢,网速慢、关键还要登录账户才能下载驱动......
而现在,NVIDIA 终于不再强制用户登陆账户了。今年 2 月,NVIDIA 正式发布了 全新 NVIDIA app 的公开测试版。这款应用不仅集成了 NVIDIA 传统的控制面板、GeForce Experience 驱动更新和 NVIDIA 的软件应用商店,并且不再强制用户登陆才能更新进行驱动升级。
NVIDIA app 还提供了一个统一的 GPU 控制中心,以便用户在此进行游戏调优设置和驱动程序设置,一键设置。其还引入了经过重新设计的游戏内浮窗,方便用户调出强大的游戏录制工具、性能监控浮窗和游戏增强滤镜,包括面向 GeForce RTX 用户、由 AI 赋能的新滤镜。
此外,据 NVIDIA 现场工作人员介绍,以及实际体验,NVIDIA app 相比于此前的 GeForce Experience 打开速度,提升了一倍左右。
NVIDIA RTX 系列可谓是多少游戏玩家的梦中情“卡”。
作为 NVIDIA RTX 系列最擅长,且最能将功效发挥到极致的应用场景,游戏一直是 NVIDIA 技术优化方向之一。在本次媒体品鉴会上,NVIDIA 带来了最新的 NVIDIA ACE 以及 DLSS 3.5 两项游戏技术的展示。
(一)AIGC+Game,NVIDIA ACE革新游戏NPC
在游戏产业的创新市场争夺中,AIGC 正逐渐成为解锁新体验、升级用户沉浸感的关键钥匙。而 NVIDIA 推出的 NVIDIA ACE,正是这样一个前沿的探索。
据悉,ACE 全称 Avatar Cloud Engine (ACE) ,它可以帮助开发人员通过生成式 AI 将数字化身变为现实,ACE AI 模型设计为在云端或本地 PC 上运行。
现场 NVIDIA 展示了与 Inworld AI 公司合作开发的名为“Covert Protocol”的全新技术 Demo,它不仅打破了传统游戏互动的壁垒,还重新定义了玩家与游戏世界中角色交流的深度与广度。
Inworld AI 引擎与 NVIDIA 的两大技术强强联合——NVIDIA Riva 实现精准的语音转文字功能,确保对话的自然流畅;而 NVIDIA Audio2Face 则通过先进算法赋予角色以细微表情,让每一次互动都充满情感的真实性。
当然,开发商可调控远程 AI 大模型的数据库,对特定 NPC 进行了角色设定,让对话内容始终控制在“游戏进程中”,而不会产生其他幻觉对话内容,跳脱核心。
AIGC NPC 的加入,为游戏带来了更高的自由度和差异性玩法。当然,这也对游戏厂商提出了更高的技术要求,以及更长的开发周期。
(二)AI提高帧率,DLSS3.5光线重建
在 RTX 系列上,NVIDIA 还带来了一个游戏画质飞跃的技术——DLSS 3.5 光线重建。
DLSS 是 NVIDIA 继光线追踪后的又一项突破性图形技术,可在 GeForce RTX GPU 上利用 AI 提高帧率并改善图像质量。据介绍,“光线重建”是增强型 AI 驱动的神经渲染器的一部分,该渲染器通过用 NVIDIA 超级计算机训练的 AI 网络取代手动调节的降噪器,提高所有 GeForce RTX GPU 的光线追踪图像质量,该网络可在采样光线之间。
在现场的演示中,NVIDIA 在《心灵杀手2》的一幕展现了 DLSS 3.5 技术对于修正斑点效应的显著效果。在游戏中,伴随人物的移动,部分物体的反射面会有不明的白色噪点,这是由于传统降噪器不知如何渲染所造成的画面效果。在开启 DLSS 3.5 光线重建后,可以有效修正光影下的反射面物体渲染。(下图参照物:墙上的画)
上:DLSS3.5开启前,下:DLSS3.5开启后(手机拍摄画面)
DLSS 3.5 经过大幅升级,训练数据量是 DLSS 3 的五倍,这让它能更精准地辨识复杂的光线追踪效果,做出高效的空间和时间数据处理决策,保持画面高频细节,质量显著提升。
利用 AI 极大增强了光线追踪效能,提升用户体验也是开发商一直在追寻的目标。包括《黑神话:悟空》和《永劫无间》等作品也即将集成 DLSS 3.5 的光线重建和全景光线追踪。
现场,NVIDIA 还分别宣布了与火星时代教育、吐司/Tensor.Art 的联合白皮书发布,以及场景展示。
NVIDIA 宣布与火星时代教育联合发布《NVIDIA TensorRT Stable Diffusion创作加速指南》和使用案例。据介绍,《NVIDIA TensorRT Stable Diffusion创作加速指南》是火星时代教育为 AI 设计爱好者和创作者基于 RTX 40 系 GPU 提升 Stable Diffusion 创作效率的实操性教程。
指南包括:安装与设置,加速引擎构建,加速效果对比以及 NVIDIA TensorRT 在实际商业创作场景的应用(海报设计、电商设计、室内效果图设计、插画设计),帮助使用者在创作过程中借助详细教程和加速工具实现商业创意落地,提升创作效率。指南由火星时代教育 AI 设计教研团队主要研发,NVIDIA 技术团队提供技术支持,未来将根据应用软件版本优化并迭代升级。
《NVIDIA TensorRT Stable Diffusion创作加速指南》
此外,NVIDIA 还与吐司/Tensor.Art 联合发布《个人用户玩转Stable Diffusion 的GPU配置推荐》,聚焦 SD 1.5 和 SDXL 1.0,全面测试 RTX 40 系显卡和笔记本电脑 GPU 在 Stable Diffusion 推理和 LoRA 模型训练的表现;其中在 UL Benchmark SD1.5 TRT vs. OpenVINO 的对比测试中 RTX 4090 笔记本电脑 GPU 相对于 iGPU(Arc Graphics)有超过 27 倍的性能提升。
使用吐司基准测试完 整LoRA 模型在 Stable Diffusion 的训练性能,还对不同型号 RTX 40 系显卡和笔记本电脑 GPU在 Stable Diffusion 任务中的性能进行全面评估,旨在为 AIGC 爱好者在后期 LoRA 模型训练和设备选择时给予参考。
AI 模型平台吐司/Tensor.Art 创始人沈振宇表示:“目前吐司和 Tensor.Art 上已经有超过 16w+ 的模型数量。此次与 NVIDIA 联合发布《个人用户玩转Stable Diffusion 的GPU配置推荐》旨在让关注 AIGC 领域的入门用户以及不同垂类场景的用户在选择 RTX AI PC 设备进行模型训练和应用时提供客观、公正的配置参考,提升用户使用 AIGC 的生产效率。”
GPU 是 NVIDIA 品牌发展,企业崛起的核心,是其最深刻的烙印。
但时至今日,NVIDIA 已远非局限于 GPU 制造商的角色,它是加速技术的先驱。从芯片生产延展至一个围绕 GPU 核心能力的多元化服务平台,To B 与 To C 两手抓。
Canalys 发布的最新统计数据显示,2023 年第四季度全球个人电脑(PC)市场出货量同比增长 3%,结束了连续七个季度的同比下滑。
RTX AI PC 目前已成为拥有超过 1 亿用户和 500 款 AI 应用的生态。受益于新一轮的市场增长,NVIDIA 正在以其独特的定位,凭借软+硬的生态组合和硬实力,吸引着更多的消费者一同参与这一场新的技术革新浪潮。
投稿/爆料:tougao@youxituoluo.com
稿件/商务合作: 六六(微信 13138755620)
加入行业交流群:六六(微信 13138755620)
版权申明:本文为VR陀螺原创,任何第三方未经授权不得转载。如需转载请联系微信:vrtuoluo233 申请授权,并在转载时保留转载来源、作者以及原文链接信息,不得擅自更改内容,违规转载法律必究。文中有图片、视频素材来自互联网或无法核实出处,如涉及版权问题,请联系本网站协商处理。
元宇宙数字产业服务平台
下载「陀螺科技」APP,获取前沿深度元宇宙讯息