近日，微软在Ignite全球技术大会上正式发布了一系列新工具和资源包，其中有一条比较引人注目的就是OpenAI Chat API实现了对NVIDIA TensorRT-LLM的接入接口支持。在Windows 11系统上，微软对AI人工智能开发、应用的支持越来越深入，而对AI开发应用的深度支持，也标志着 ...

TensorRT-LLM是一个由Nvidia设计的开源框架，用于在生产环境中提高大型语言模型的性能。该框架是基于 TensorRT 深度学习编译框架来构建、编译并执行计算图，并借鉴了许多 FastTransformer 中高效的 Kernels 实现，并且可以利用 NCCL 完成设备之间的通讯。 虽然像vLLM和TGI ...

11月16日，微软Ignite 2023大会盛大召开，英伟达高管出席并宣布更新了TensorRT-LLM版本。该版本现已支持对OpenAI Chat API的支持，并且还增强了DirectML功能。 今年10月份，英伟达面向数据中心和Windows PC推出了Tensor RT-LLM开源库。其中最大的亮点在于，如果Windows PC配备 ...

编者注:本文属于《解码 AI》系列栏目,该系列的目的是让技术更加简单易懂,从而解密 AI,同时向 RTX PC 用户展示全新硬件、软件、工具和加速特性。 随着生成式 AI 技术不断进步并在各行各业中得到广泛应用,在本地 PC 和工作站上运行生成式 AI 应用的重要性越来越高。

Windows PC 上的AI标志着科技史上的关键时刻，它将彻底改变玩家、创作者、主播、上班族、学生乃至普通 PC 用户的体验。 AI为1亿多台采用RTX GPU的Windows PC和工作站提高生产力带来前所未有的机会。NVIDIA RTX 技术使开发者更轻松地创建AI应用，从而改变人们使用 ...