随着 AI 使用场景不断扩展(从文档摘要到定制化软件代理),开发者和技术爱好者正在寻求以更 快、更灵活的方式来运行大语言模型(LLM)。 在配备 NVIDIA GeForce RTX GPU 的 PC 上本地运行模型,可实现高性能推理、增强型数据隐私保护,以及对 AI 部署与集成的 ...
2025 年 12 月,在 CUDA 发布近二十年后,NVIDIA 推出新的 GPU 编程入口「cuTile」,通过 Tile-based 编程模型重构 GPU 内核,使开发者无需深入 CUDA C++ 即可高效编写 Kernel,引发社区热议。尽管仍处早期,Tile 思维的抽象优势、社区探索迁移工具及实践尝试表明,cuTile 有 ...
快科技12月7日消息,日前NVIDIA正式推出了CUDA 13.1,官方将其定位为“自2006年CUDA平台诞生以来最大、最全面的升级”。 此次更新的核心亮点,是引入了革命性的CUDA Tile编程模型,标志着GPU编程范式迈入一个新的、更高抽象的阶段。 传统的GPU编程基于SIMT (单指令多 ...
NVIDIA’s rise from graphics card specialist to the most closely watched company in artificial intelligence rests on a ...
在 AI 领域,英伟达开发的 CUDA 是驱动大语言模型(LLM)训练和推理的核心计算引擎。 不过,CUDA 驱动的 LLM 推理面临着手动优化成本高、端到端延迟高等不足,需要进一步优化或者寻找更高效的替代方案。 近日,CMU 助理教授贾志豪(Zhihao Jia)团队创新玩法 ...
NVIDIA has announced that it is porting its popular GPU programming architecture to x86. Once the port is complete, developers will be able to choose from two different architectures—OpenCL and ...