自从2012年AlexNet在一台双路GTX 580的PC上完成训练、发布论文并震惊世界以来，基于以CUDA为代表的GPGPU工具栈的深度学习神经网络技术不断发展，如今已经成为包括ChatGPT在内的一众LLM等AI应用的基石。而作为AI算力的先驱者，NVIDIA的GeForce游戏GPU自从GeForce RTX 20系加入用于加速神经网络的Tensor Core以来更是在AI加速应用的道路上猛踩油门。从最早仅仅是降低实际渲染分辨率的DLSS深度学习超级采样技术，到如今全套的AI PC技术栈，NVIDIA RTX AI技术正在将AI推进到个人电脑的方方面面。
2024年7月11日，NVIDIA在上海召开了GeForce RTX 40系列媒体品鉴会，分享了NVIDIA RTX AI技术如何赋能更先进的RTX AI PC的诸多细节。根据官方提供的数据，目前RTX AI PC装机量已突破1亿台，各大OEM还提供了超过两百款RTX AI笔记本电脑可供玩家选购。同时，已经有超过500款游戏和应用已经支持了RTX AI加速，同时还能够为用户提供从200-1300 AI TOPS的强大RTX AI大算力，实现相当可观的AI性能释放。
在会场上，我们看到了来自多家不同厂商的笔记本电脑与RTX AI PC，囊括了各种品类，十分丰富。
DLSS：次世代图形技术就在指尖
自从DLSS技术首次在GeForce RTX 20系 GPU上与玩家见面以来，这项基于深度学习超级采样的技术就广受玩家好评，而到了GeForce RTX 40系GPU又推出基于AI加速的DLSS 3帧生成技术更是进一步提高了PC游戏的性能表现。目前，支持NVIDIA DLSS技术的游戏已经突破400款，且数量还在不断增加；支持DLSS 3帧生成技术的游戏也突破了90款。
在本次GeForce RTX 40系媒体品鉴会，NVIDIA也分享了几款支持这些最新图形技术的游戏，例如来自腾讯的《三角洲行动》是一款设定在2035年的第一人称特战干员战术射击游戏。支持跨端免费游玩。拥有25年历史的经典射击鼻祖再次回归，这一次行动难度升级。这款游戏支持光线追踪反射、NVIDIA DLSS 3帧生成技术与NVIDIA Reflex低延迟技术，能够获得最佳的电竞游玩体验。
从NVIDIA官方提供的截图中，我们可以看到开启光线追踪后游戏的画面相当精美，无论是步枪上瞄准镜目镜对身后世界的反射还是面前油罐倒地残油散落在地面上的反光都栩栩如生。可以说，对于这样一款复杂的竞技游戏来说，光线追踪技术显著增强了游戏的沉浸感。
除了《三角洲行动》之外，本次一并展出的还有《鸣潮》、《解限机》、《漫威争锋》等多款支持DLSS 3技术的游戏作品。
NVIDIA App：AI滤镜与统一控制中心
自从GeForce Experience推出以来，这套工具与NVIDIA驱动控制面板之间在定位和功能上的冲突让玩家们左右为难。好在，随着NVIDIA App的推出，许多困扰玩家的问题自然就迎刃而解了。在NVIDIA App里玩家无需登入即可更新驱动、优化游戏与应用性能、通过录像工具捕捉精彩时刻之外，本次GeForce RTX 40系媒体品鉴会还展示了两个基于AI的内置游戏滤镜，RTX 动态亮丽与RTX HDR。前者可以通过AI算法提升画面的视觉清晰度，让玩家在每款游戏中都能更好地区分游戏内元素；后者则可以将SDR游戏升格成HDR游戏，只需要使用兼容HDR的显示器就能够实现艳丽的HDR视觉效果，对于老游戏爱好者来说能够带来相当出色的体验。
ChatRTX：用户自己的本地LLM工具
现在各种大语言模型工具已经不是新鲜事了，但ChatRTX的特色在于它能够将有效利用你电脑上的个人资料当作数据集，从你的资料中进行搜索并回答问题。它基于NVIDIA TensorRT-LLM技术，将生成式 AI 功能引入 RTX AI PC。用户可快速轻松地将个人电脑上的资料当成数据集，连接到ChatGLM这一类开源大语言模型，以便快速查询、生成个性化的内容。此外，ChatRTX的所有大语言模型都在本地运行，完全不上网，这意味着像我们这样经常会处理需要签署保密协议的资料的用户也可以放心地查询自己的资料，让ChatRTX快速提供安全的回复，能够带来极大的效率提升。
NVIDIA ACE：NPC真的在跟你交互
无论是像《辐射》、《杀出重围》、《赛博朋克2077》这样的开放世界游戏还是像《使命召唤》、《荣誉勋章》这样的线性游戏，也无论是像普莱斯队长、杰克这样的重要剧情人物还是你在路上看到的NPC或小兵，传统游戏开发范式都要求开发者针对每个角色编写对应的台本、录音并进行动画优化，这极大地拖慢了开发者的开发效率，但又是为了创造一个高度真实可信、具有沉浸感的世界所必不可少的。尽管如此，这样手动编写所有对话的方式也必然不可能创建出真正具有灵魂的NPC，无论是玩家角色的发问还是NPC的回答都完全可预期，如果在UI设计或配音/动画方面再固步自封一点，自然就会指向如《辐射4》这样的社区笑柄。因此，随着AI技术的发展，NVIDIA ACE这样利用生成式 AI 让数字人、NPC 和交互式虚拟形象栩栩如生的技术自然就应运而生。
本次GeForce RTX 40系媒体品鉴会中展示的Covert Protocol 是由 Inworld AI 与 NVIDIA 合作创建的一项技术演示，它突破了 NPC 交互的界限。该技术演示使用 Inworld 的 AI 引擎，该引擎集成了 Riva 自动语音识别功能，可实现准确的语音转文本，并集成了 NVIDIA Audio2Face 以提供逼真的面部动画。玩家需要扮演一个私家侦探，与三个具有不同个性、动机与背景的NPC互动，并从他们手中获取目标的房间号以推进剧情。NVIDIA ACE和Inworld AI引擎能够使玩家与NPC进行完全动态的交互，整个故事的叙事完全由玩家选择驱动，并能够被可交互的环境对象影响。开发者只需要针对NPC的人设进行定制，剩下的工作就能全部交给AI，并且完全在玩家的PC上本地运行。目前，NVIDIA ACE技术已经有来自米哈游、网易游戏、完美世界游戏、腾讯和育碧等国内外游戏开发商采用，令人无比期待未来的开放世界/沉浸式模拟游戏能够带来怎样的沉浸感。
G-Assist项目：真的能帮你干活的实时AI助手
在2017年的愚人节，NVIDIA官宣了一项叫做GTX G-Assist的AI助手，这个U盘形态的小东西能够通过AI算法在《彩虹六号：围攻》等电竞游戏里模拟玩家操作让玩家能去应快递、在《黑暗之魂3》中通过参考玩家操作精准拿下BOSS，或帮助玩家在关键时刻点外卖以确保游戏打完刚好外卖送到。当然，这只是一个愚人节段子，但随着G-Assist项目的正式发布，似乎我们离这个段子越来越近了。这项技术Demo能够通过AI助手实时增强游戏与应用的使用体验，基于对游戏环境的感知，根据玩家的游戏进程提供针对性的回复。同时，玩家也可以使用G-Assist项目去了解机器现在的运行状态，帮助玩家去优化设置。尽管目前这项技术还仅仅处于Demo阶段，但NVIDIA已经在着手为开发者提供在游戏与应用中部署这些AI助手的工具包和框架，相信在不远的将来我们就能够看到它在实际应用中的表现了。
目前，NVIDIA官方视频给出的演示基于《方舟：生存飞升》游戏。这款基于虚幻5引擎打造的游戏是《方舟：生存进化》的续作，玩家需要在满是恐龙的世界里设法生存下去。开放世界+低指引的特性让玩家在刚进入游戏时难免一头雾水，此时G-Assist项目就能帮上大忙。例如，玩家可以向G-Assist项目询问是否应躲避屏幕上出现的恐龙，或采用不同的方法来控制特定的猛兽、根据玩家现在的状态建议下一步的操作，或指向更多的相关资料。
另外一个基于《赛博朋克2077》游戏的Demo展示了G-Assist项目如何帮助玩家实现性能调优。在这款图形技术高度先进且性能要求较高的游戏中，G-Assist项目可以帮助玩家跟踪帧率、用电量、PC 延迟和其他硬件统计数据，并绘制相应图表。当玩家输入相关提示时，它还能就如何改善这些指标提出建议。
除了简单的建议之外，G-Assist项目还能够帮用户智能地寻找提高能效比的方式，例如在保持目标帧率的同时动态降低 GPU 的电压。例如，在这个演示中，G-Assist项目将GPU的电压从1075mV降低到875mV，整体功耗从272W降低到173W，提升幅度就很显著。当然，在具体使用中的幅度仍然需要视GPU本身芯片体质、游戏负载等因素考量。
除此之外，G-Assist项目还能够帮助玩家进一步优化系统配置，例如扫描用户系统，查看是否有任何异常情况，比如没有充分利用显示器的分辨率、刷新率或其他功能，包括 HDR 和 G-SYNC。当然，作为一个AI助手，G-Assist项目也能够回答玩家的各种问题，说明各项设置的用途及其对性能的预期影响。例如，它可以解释 DLAA 与 DLSS 的区别，或者解释 NVIDIA 控制面板中的“超低延迟模式”与 NVIDIA Reflex 游戏内选项之间的差异。
RTX Video：实时AI视频增强，观影体验更上一层楼
除了G-Assist项目之外，RTX Video技术也在本次的GeForce RTX 40系媒体品鉴会中占据相当大的篇幅。除了我们之前已经介绍过的RTX视频超分辨率（RTX VSR）技术之外，RTX Video这套完整的AI视频增强技术栈还包含了RTX Video HDR这项自动HDR技术，能够将SDR规格的视频内容通过AI计算转换成HDR10标准的高动态范围视频，能够显著增强视觉效果，让画面更加鲜艳生动。目前，除了在Google Chrome、Microsoft Edge、Mozilia Firefox三款主流浏览器与VideoLAN VLC视频播放器中体验由RTX Video带来的4K HDR视觉体验，还能够在万兴喵影与DaVinci Resolve两款热门视频创作工具中使用RTX Video将SDR视频项目直接转换成HDR视频进行剪辑，方便用户创作更精美的视频项目。
NVIDIA Studio：全AI创意工作流
本次GeForce RTX 40系媒体品鉴会中，NVIDIA还请来了著名的特效UP主特效小哥008带来一部由生成式AI 辅助制作的特效短片《特效小哥大战系列之大战河野华》。从使用ComfyUI这个全球第二大、同时也是增长最快的，基于Stable Diffusion的AI应用制作的高质量贴图到TripoSR实现的3D模型，生成式AI显著提升了整个特效短片的前期资产制作效率。而在渲染中，使用RTX GPU利用NVIDIA OptiX加速的Blender Cycles渲染器能够在在AI计算下少量采样的前提下，为建模和动画提供实时的交互式、照片级写实的降噪画面效果，可以说是目前Blender平台最佳的渲染后端了。除了上述的这些应用之外，NVIDIA Studio加速生态还超过120款创意软件，让创作者如虎添翼，像特效小哥一样轻松应对AI创意挑战。
除了特效视频之外，本次品鉴会还有另一个应用了AI加速的展示：超人（SuperHero）Demo。它同样使用ComfyUI进行。通过NVIDIA RTX GPU上的CUDA生态与TensorRT加速，配合InstantID、IPAdapter和ControlNet等一系列细节控制技术，这套工作流能够从摄像头捕捉用户形象，并根据参考图像和提示词实时生成高清超级英雄形象。对于创意工作者，尤其是角色设计、服装设计等领域的工作者来说来说，只需修改几个参数就能够生成多样化的参考设计，带来无限可能。
总结
从这次GeForce RTX 40系媒体品鉴会展示的诸多AI加速项目演示来看，基于NVIDIA RTX GPU的AI PC应用生态体系已经相当完备。无论是游戏玩家使用DLSS增强游戏画面表现与性能表现，还是影视观众与创作者使用RTV Video实现观影与创作体验的实时进化；无论是用于在浩如烟海的个人资料库中快速找到对应的信息的ChatRTX还是即将上线的G-Assist项目；无论是能方便用户更新驱动、性能调优的NVIDIA App还是全套基于AI实现的NVIDIA Studio创意工作流，NVIDIA在加速计算上十年如一日的投入带来的这套堪称全场景覆盖的AI PC应用生态体系，搭配完善的文档与开发者支持体系可以说在行业内无人能敌。同时，一亿台的RTX AI PC装机量搭配超过两百款市售RTX AI笔记本电脑与更多合作伙伴推出的RTX AI PC产品让RTX AI PC体系也在不断吸引更多的用户与开发者进入。尽管AGI目前仍然是科幻作家与研究者心目中的圣杯，但对于想在今天就把AI技术引入工作生活的人们来说，NVIDIA RTX AI PC平台仍然是最好的选择，甚至会颠覆你对传统PC的老旧认知。
终端过亿的NVIDIA RTX AI PC如何赋能新一代AI应用
