资讯分类
全部资讯
最新活动
商城公告
行业信息
新品推荐
元器件知识
资讯标签
艾迈斯欧司朗(96) 英伟达NVIDIA(70) 艾为awinic(45) 飞腾派V3(37) 萤火工场(30) 罗彻斯特电子(28) Jetson Orin Nano SUPER 开发套件(21) 资料下载专区(18) 进迭时空(15) 兆易创新(14) 艾为 awinic(14) 赛昉科技(StarFive)(12) 灵动微电子(11) 小华半导体(9) 日清纺微电子(9) NVIDIA(8) Seeed矽递科技(8) 上海雷卯Leiditech(8) 赛昉科技(8) 微源半导体 LPSemi(8) 龙芯中科(7) GD32VW553-IOT(7) 物奇WuQi(7) 日清纺微电子Nisshinbo(5) 庆科(5) 开源口碑分享(5) 飞腾派(4) 创捷电子(4) TROQ创捷电子(4) 航顺芯片(4) CEM5826-M11(4) Geehy极海半导体(4) FTHR-G0001(3) 罗彻斯特(3) 飞腾派eMMC(3) iCEasy商城(3) MM32SPIN060G(3) 一件包邮专区(3) 英伟达初创加速计划(2) 极海(2) 中国星坤(2) 极海半导体(2) 小华EVB-HC32F4A0开发板(2) 国产开源硬件(2) 杭晶(HCI)(2) 野火(2) Mini-SPIN0230(2) NVIDIA品牌专区(2) 华润微电子(2) 口碑评测(2) EVB-L0130(2) 教育优惠申请链接(2) 启明云端(2) 飞腾官网飞腾派(2) 弈安云(2) 飞腾派下载专区(2) 村田(2) NVIDIA NIM(1) 世野(Khadas)(1) 618大促(1) 竞买活动(1) 雷卯(1) 飞腾派试用申请链接(1) BeagleBone Black快速入门指南(1) 样片申请(1) 飞腾派调研问卷链接(1) 微雪电子(1) 一件免邮专区(1) SFH 7018B(1) 极海半导体(Geehy)(1) Arduino品牌页(1) 小脚丫(1) 618大促专区(1) 艾为(AWINIC)(1) 英伟达 NVIDIA品牌专区(1) 8月7日竞拍竞买(1) 飞腾派V3版本上新(1) 飞虹半导体(1) MUSE Paper(1) 乐动机器人(1) 海凌科电子(Hi-Link)(1) VF202040-A0(1) 教育优惠(1) 萤火工场GD32VW553-IOT(1) 野火RK3566开发板(1) 润石(1) 格力新元(1) CEM5825F(1) COMBO模组 EMC3020-PZI5(1) 松科智能(1) Jetson AGX Thor 开发套件/模组(1) Mini-F5333(1) 微源半导体(1) 周年抽奖活动(1) 庆科信息(MXCHIP)品牌专区(1) 附件(1) 华大北斗(1) GD32无线生态专区(1) JETSON_AGX_ORIN_64GB_DEVELOPER_KIT(1) QCS6490 SOM EVB开发板(1) 附件下载地址(1) 迈巨微(1) 雷克沙(1) GD32VW553-IOT V2版本(1) QCS8550 SOM EVB开发板(1) 申请样片:高光效红光OSCONIQ® P 3030, GR QSSPA1.23(1) 台容积电(1) GD32VW553-IOT V2(1) CEM5881-M11(1) NVIDIA Jetson Orin Nano 开发套件(1) 萤火工场品牌专区(1) 商城下载专区(1) 飞腾人才赋能(1) Jetson AGX Orin 64GB开发套件(1) 荣湃半导体(2Pai Semi)品牌专区(1) 进迭时空品牌页(1) B站风扇视频(1) Jetson AGX Xavier(32GB)(1) BeagleBoard.org®(1) 社区评奖活动(1) Arduino UNO Rev 4 Minima开发板(1) 下载专区(1) 国产自主可控(1) 英伟达 NVIDIA(1) CEM5861G-M11(1) 赛昉科技9折活动券(1) NVIDIA Jetson Orin Nano 开发套件(1) Arduino品牌专区(1) NVIDIA DGX™ Spark:桌面级AI超级计算机(1) 品牌清仓(1) QCS8550 SOM EVB(1) Jetson AGX Orin 64GB开发套件(1) 24GHz毫米波雷达模块(1) 技术问答专区(1) 英特尔(1) NVIDIA Jetson Nano 模组(1) QCS6490 SOM EVB(1) 天微电子商家页(1) 国产毫米波雷达模块(1) 飞腾派专链(1) 瑞隆源产品(1) 龙芯教育派(1) CEK8902-S905D3(1) EV Board (MM32L0136C7P)(1) 迈巨微电子品牌专区(1)

GTC25 | 在 NVIDIA GTC 2025 大会上探索 RTX AI PC 和工作站如何强效助力 AI 开发

发布时间:2025-03-11

在本次大会上,来自整个生态系统的专家们将分享有关在本地部署 AI 的见解。



生成式 AI 正在重新定义计算,为在 PC 和工作站上构建、训练和优化 AI 模型解锁了新途径。从内容创作、大和小语言模型到软件开发,AI 赋能的 PC 和工作站正在革新工作流并提升工作效率。

在 3 月 17 日至 21 日于圣何塞会议中心举行的 GTC 2025 大会上,泛 AI 生态的专家将分享有关在本地部署 AI、优化模型以及利用先进的硬件和软件来增强 AI 工作流的见解,并重点介绍 RTX AI PC 和工作站的主要进展。

在 RTX 上进行开发和部署

RTX GPU 基于专用 AI 硬件 —— Tensor Core 构建而成,能够为运行算力要求极为苛刻的最新 AI 模型提供所需的计算性能。这些高性能 GPU 可以帮助构建数字人、聊天机器人、AI 生成的播客等。

随着 GeForce RTX 和 NVIDIA RTX™ GPU 用户超过 1 亿,开发者在部署新的 AI 应用和功能时,将能够面向庞大的受众群体。在“为 RTX PC 和工作站打造数字人、聊天机器人和 AI 生成的播客”会议中,NVIDIA 高级产品经理 Annamalai Chockalingam 将展示一套端到端工具,供开发者用于简化开发并快速部署 AI 应用。

模型行为

大语言模型(LLM)的使用场景多种多样,并可延伸到各种复杂任务,如编写代码或将日语翻译为希腊语。但是,由于它们通常在广泛的应用范围内利用丰富的知识进行训练,因此可能不适合执行特定任务,例如在电子游戏中生成非玩家角色对话。相比之下,小语言模型会通过减小模型大小来满足更多本地运行需求,并保持准确性。

在“关注您的语言:构建可在设备上运行的小语言模型”会议中,NVIDIA 高级工程经理 Oluwatobi Olabiyi 将展示一些工具和技术,以便当今的开发者和发烧友用于生成、整理和提炼数据集 — 然后训练可以执行目标任务的小语言模型。

在 Windows 工作站上充分发挥 AI 性能

由于硬件配置和软件环境多种多样, 要在基于Windows 的工作站优化 AI 推理和模型执行,需要进行战略性软硬件调优。在“在 Windows 工作站上优化 AI 工作负载:策略和最佳实践”会议中将探讨 AI 优化的最佳实践,包括模型量化、推理工作流增强和硬件感知调优。

NVIDIA 软件工程师团队还将介绍面向 ONNX Runtime、NVIDIA TensorRT 和 llama.cpp 的硬件感知优化,帮助开发者更大限度地提高 GPU、CPU 和 NPU 上的 AI 效率。

推动本地 AI 开发

即使未连接到基于云的服务,在本地基础设施上构建、测试和部署 AI 模型也能确保安全性和性能。Z by HP 的 AI 解决方案由 NVIDIA RTX GPU 加速,提供在本地开发 AI 所需的工具,同时保持对数据和 IP 的掌控。

参加以下会议了解详情:

Dell Pro Max 和 NVIDIA:开启 AI 开发的未来 [S74220]本次会议将介绍搭载 NVIDIA RTX GPU 的 Dell Pro Max PC、高性能笔记本电脑和面向专业人士的台式电脑。了解这两款功能强大的组合如何帮助快速启动 AI 战略,并转变 AI 开发者、数据科学家、创作者和高级用户的创新方式。

借助 Z by HP GenAI Lab 和 AI Studio 开发并评估本地生成式 AI [S74470]本次会议将展示 Z by HP 解决方案如何简化本地模型训练和部署,利用 NVIDIA NGC Catalog 中的模型和 Galileo 评估技术安全高效地优化生成式 AI 项目。

借助 Z by HP GenAI Lab 和 AI Studio 为生成式 AI 开发提供强效助力 [S74465]本次会议将探讨 Z by HP 的 GenAI Lab 和 AI Studio 如何助力本地 LLM 开发,同时确保全面的数据安全性和控制。了解这些工具如何简化从实验到部署的整个 AI 生命周期,同时集成 NVIDIA NGC Catalog 中提供的模型,以提高协作和工作流效率。

开发者和发烧友可以使用 NVIDIA NIM 微服务在 RTX AI PC 和工作站上着手进行 AI 开发。今天推出的首个公开测试版包括 Llama 3.1 LLM、用于自动语音识别(ASR)的 NVIDIA Riva Parakeet 和用于计算机视觉的 YOLOX。

NIM 微服务是经过优化的预构建模型,适用于生成式 AI。它们涵盖对 PC 开发至关重要的模态,并且易于通过行业标准 API 下载和连接。


GTC 2025 将于
2025 年 3 月 17 至 21 日在美国加州圣何塞及线上同步举行,点击“阅读原文”或扫描下方海报二维码,立即注册线上大会或购买现场参会门票。