借助GeForce RTX AI PC，NVIDIA使AI助手栩栩如生 - TGBUS - 电玩巴士

G-Assist项目、用于数字人的NVIDIA ACE NIMs及生成式AI Tools 为RTX笔记本电脑提供更先进的AI体验;适用于小语言模型的RTX加速 API即将加入Windows Copilot Runtime

**COMPUTEX—2024年6月2日—**NVIDIA宣布推出全新NVIDIA RTX™技术,用于支持在全新GeForce RTX™AI笔记本电脑上运行的AI助手及数字人。

NVIDIA推出G-Assist项目, 一款由RTX支持的AI助手技术演示Demo,可为PC游戏和应用提供上下文感知帮助。G-Assist项目的技术Demo将首度亮相于Studio Wildcard推出的《方舟:生存飞升》(ARK:Survival Ascended)中。NVIDIA还发布专为NVIDIA ACE数字人平台打造的首个基于PC的NVIDIA NIM™推理微服务。

这些技术由NVIDIA RTX AI Toolkit支持——这是一套全新工具和SDK,可帮助开发者在Windows PC上优化及部署大型生成式AI模型。它们加入了NVIDIA的全栈RTX AI创新,加速了超过500款应用和游戏,以及200款OEM合作伙伴的笔记本电脑设计。

NVIDIA消费级AI业务副总裁Jason Paul表示:“NVIDIA在2018年发布搭载Tensor Core的RTX GPU和DLSS技术,开启AI PC时代。如今,借助G-Assist项目和NVIDIA ACE,NVIDIA将赋能超过1亿RTX AI PC用户开启新一代AI体验。”

GeForce AI助手G-Assist****项目

AI助手将改变游戏和应用内的体验 — 从提供游戏策略到分析多人游戏回放,再到助力复杂的创意工作流。G-Assist项目让用户洞见未来的景象。

PC游戏提供庞大的游戏世界可供探索,还提供复杂的机制供玩家掌控,即便对于最资深的玩家来说,这也是极具挑战性又非常耗时的。G-Assist项目旨在利用生成式AI,将游戏知识触手可及地提供给玩家。

G-Assist项目可接收玩家的语音或文字输入内容,游戏窗口的上下文信息,并通过AI视觉模型处理数据。这些模型增强了与游戏知识数据库相连的大语言模型(LLM)的上下文感知和对特定游戏及应用的理解,然后生成定制的回复,以文本或语音形式的传递给用户。

NVIDIA和Studio Wildcard合作,在《方舟:生存飞升》(ARK:Survival Ascended)的演示Demo中展示该技术。G-Assist项目可帮助回答有关生物、物品、背景知识、任务、关卡BOSS等方面的问题。由于G-Assist项目具有游戏环境感知和上下文理解功能,能根据玩家的游戏进程提供个性化回复。

G-Assist项目还能配置玩家的游戏系统,以获得最佳游戏性能和能效。它可以提供性能指标的深入理解,根据玩家的硬件优化图形设置,进行安全超频,甚至在保持性能目标的同时智能降低功耗。

首款ACE PC NIM亮相

用于为数字人提供助力的NVIDIA ACE技术现在将通过NVIDIA NIM应用于RTX AI PC和工作站,NVIDIA NIM推理微服务使开发者将部署时间从数周缩短到数分钟。ACE NIMs可在设备上本地运行高质量推理,用于自然语言理解、语音合成、面部动画等。

COMPUTEX期间,NVIDIA ACE NIM在PC上的游戏首秀将在和Inworld AI合作开发的Covert Protocol技术Demo中亮相,演示在PC本地运行的NVIDIA Audio2Face™和NVIDIA Riva自动语音识别技术。

为本地PC SLM增加GPU加速功能

微软(Microsoft)和NVIDIA合作帮助开发者将全新生成式AI功能应用到Windows原生和网络应用中。双方的合作将为应用开发者提供便捷的API以访问GPU加速的小语言模型(SLM),并支持在设备上运行的基于Windows Copilot Runtime驱动的检索增强生成(RAG)功能。

小语言模型为Windows开发者提供巨大的可能性,包括内容摘要、内容生成和任务自动化。RAG功能使AI模型访问基础模型中未能充分表示的特定领域信息,来增强小语言模型。开发者可以通过检索增强生成(RAG)API利用应用特有的数据源,并根据应用需求调整小语言模型的行为和功能。

NVIDIA RTX GPU及其他硬件厂商的AI加速器将加速这些AI功能,从而在整个Windows生态系统中为终端用户提供快速、响应迅速的AI体验。

该API将于今年晚些时候发布开发者预览版。

借助RTX AI Toolkit,模型速度提升4倍,体积缩小3倍

AI生态系统已构建数十万个开源模型供应用开发者使用,但大多数模型都是为通用目的而预训练,并且构建在数据中心运行。

为帮助开发者构建在PC上运行的特定应用的AI模型,NVIDIA推出RTX AI Toolkit,一套用于在RTX AI PC上自定义、优化及部署模型的工具和SDK。 RTX AI Toolkit将于6月发布,供更多开发者使用。

开发者可使用开源的QLoRa工具自定义预训练模型,并使用NVIDIA TensorRT™ Model Optimizer 来量化模型,以减少多达3倍的RAM消耗。NVIDIA TensorRT Cloud将会对模型进行优化,以实现在RTX GPU产品中的峰值性能。与预训练模型相比,性能提升至高可达4倍。

NVIDIA AI Inference Manager (AIM)应用开发工具包(SDK)现已推出抢先体验版,在PC和云端之间完美调度AI推理,为PC应用开发者简化AI集成的复杂度。它还以统一的NIM格式为PC预配置必要的AI模型、引擎和依赖包,并支持所有主流的推理后端,包括跨不同处理器(GPU、NPU和CPU)的TensorRT、DirectML、Llama.cpp和PyTorch-CUDA。

Adobe、Blackmagic Design和Topaz等软件合作伙伴将 RTX AI Toolkit的组件集成到其热门创意应用中,以提升RTX PC上的AI性能。

Adobe创意云端产品市场部副总裁Deepa Subramaniam表示:“Adobe和NVIDIA将持续合作,为视频、图像、设计、3D等所有创意工作流提供突破性的客户体验。RTX PC上的 TensorRT 10.0为创作者、设计师和开发者提供前所未有的性能表现及由AI驱动的功能,为Photoshop等行业领先的创意工具中的内容创作开启全新创意可能性。”

TensorRT-LLM等 RTX AI Toolkit组件,已集成到生成式AI的热门开发者框架和应用中,包括Automatic1111、ComfyUI、Jan.AI、Langchain、LlamaIndex、Oobabooga和Sanctum.AI。

用于内容创作的****AI

NVIDIA还将RTX AI加速功能集成到面向创作者、Modder和视频爱好者的应用中。

去年,NVIDIA为最热门的Stable Diffusion用户界面之一的Automatic1111引入使用TensorRT的RTX加速。从本周开始,RTX还将加速广受欢迎的ComfyUI,与目前已推出的版本相比,性能最高可提升60%,与MacBook Pro M3 Max相比,性能提升至原来的7倍。

NVIDIA RTX Remix是一个Mod平台,可利用全景光线追踪技术、NVIDIA DLSS 3.5和物理精确材质,重制经典的DirectX 8和DirectX 9游戏。RTX Remix包括一个Runtime渲染器和RTX Remix工具包应用,可简化游戏资产和材质的修改过程。

去年,NVIDIA将 RTX Remix Runtime开源,允许Modder扩展游戏兼容性和提升渲染能力。

自今年早些时候推出以来,已有2万名Modder使用该工具包重制经典游戏,在RTX Remix Showcase Discord上开发了超过130款RTX重制版游戏。

本月,NVIDIA将开放RTX Remix工具包的源代码,让Modder能够简化资产替换和场景重新布光的方式,增加RTX Remix资产摄取器支持的文件格式,并使用全新模型增强RTX Remix的AI纹理工具。

此外,NVIDIA还通过REST API使RTX Remix工具包的功能可访问,让Modder实时链接RTX Remix和Blender等数字内容创作工具、Hammer等Mod制作工具,以及ComfyUI等生成式AI应用。NVIDIA还为RTX Remix Runtime提供SDK,允许Modder将RTX Remix的渲染器部署到DirectX 8和DirectX 9经典版之外的其他应用和游戏中。

随着更多RTX Remix平台的开源,全球的Modder可创造更多令人惊叹的RTX重制版游戏。

NVIDIA RTX Video这项热门AI超分辨率功能,现在已作为 SDK 对所有开发者开放,可在Google Chrome、Microsoft Edge和Mozilla Firefox浏览器中使用。它帮助开发者原生集成AI,进行采样、锐化、降低压缩失真和高动态范围(HDR)转换。

视频编辑软件Blackmagic Design的DaVinci Resolve和Wondershare Filmora即将支持RTX Video,它将使视频编辑用户能够将低质量视频文件升级至4K分辨率,并将SDR源文件转换为HDR视频。此外,免费媒体播放器VLC media即将在其现有的超分辨率功能基础之上添加 RTX Video HDR 的支持。

关于****NVIDIANVIDIA (NASDAQ: NVDA) 是加速计算领域的全球领导者。