🛰️ 行业动态
发布日期：2024-08-12
来源：NVIDIA 官方博客
NVIDIA 宣布推出 RTX AI Workbench 套件，并同步发布最新 RTX 驱动更新，帮助开发者在搭载 GeForce RTX 或 RTX Ada GPU 的本地设备上快速部署、微调与测试生成式 AI 模型。Workbench 整合模型下载、依赖配置、数据准备与训练流程，可与企业在云端构建的 NVIDIA AI Foundation 服务无缝协同。
核心亮点
- · 支持一键获取 LLaMA、Stable Diffusion、Code Llama 等热门开源模型，并自动完成依赖环境配置。
- · 集成 LoRA、QLoRA 等轻量化微调方案，适配 RTX GPU 的本地显存限制。
- · 与 NVIDIA NIM、Omniverse Cloud 工作流打通，可在云端训练后回传本地继续调优。
性能优化
- · 全新 RTX 驱动针对 Stable Diffusion XL、LLaVA 等推理工作负载优化，最高可提升 30% 吞吐。
- · 新增对 TensorRT-LLM 最新算子的支持，使多轮对话模型在本地运行更稳定。
- · 借助 RTX Video SDK，可直接在生成视频后完成 AI 升频与降噪处理。
Workbench 还提供 Git 集成与项目模板，方便团队将实验成果与现有 CI/CD 流程衔接。对于需要处理敏感数据的企业来说，本地部署可以在保障隐私的同时利用 RTX GPU 的推理性能，加速原型验证与小规模上线。
落地建议
- 评估团队现有 RTX 工作站配置，优先升级至最新驱动并启用 TensorRT-LLM 加速。
- 将 Workbench 项目与 Git 仓库绑定，配合 DVC 或 Hugging Face Hub 管理数据与模型版本。
- 结合 NVIDIA NGC 提供的容器镜像，构建云地一体的训练与部署流水线，缩短模型迭代周期。
建议的下一步
针对需要自定义数据集的团队，可先在 RTX AI Workbench 上完成小批量微调，验证指标后再迁移至云端 GPU 集群扩大训练规模，同时利用 Workbench 承担持续评测与推理调优。