【导读】果粉Big Day！PyTorch宣布，原生支持苹果Mac GPU机器学习加速。与单CPU加速相比，训练性能提升6倍，推理任务性能最高提升21倍 对于搞AI和机器学习的苹果用户来说，今天无疑是个好日子。 PyTorch官网宣布，在与Metal工程团队合作后，很高兴地宣布支持Mac上的 ...

想要了解自己的 PyTorch 项目在哪些地方分配 GPU 内存以及为什么用完吗？不妨试试这个可视化工具。 近日，PyTorch 核心开发者和 FAIR 研究者 Zachary DeVito 创建了一个新工具（添加实验性 API），通过生成和可视化内存快照（memory snapshot）来可视化 GPU 内存的分配状态。

仅需几十行 PyTorch 代码即可大幅提高 GPU 利用率，在英伟达 A100 上的 GPU 利用率高达 70%。这一能力由一款名为 LaCT 的新模型架构实现，它由北京大学本科校友、美国麻省理工学院博士生张天远和所在团队打造。 研究团队通过在不同模态的任务中采用范围从 2000 到 ...

近日，PyTorch 官方分享了如何实现无 CUDA 计算，对各个内核进行了微基准测试比较，并讨论了未来如何进一步改进 Triton 内核以缩小与 CUDA 的差距。 在做大语言模型（LLM）的训练、微调和推理时，使用英伟达的 GPU 和 CUDA 是常见的做法。在更大的机器学习编程与 ...

点击上方“Deephub Imba”,关注公众号,好文章不错过 ! 随着NVIDIA不断推出基于新架构的GPU产品，机器学习框架需要相应地更新以支持这些硬件。本文记录了在RTX 5070 Ti上运行PyTorch时遇到的CUDA兼容性问题，并详细分析了问题根源及其解决方案，以期为遇到类似情况的 ...

近日，开源机器学习框架 PyTorch 官方宣布，将提供对苹果 M 系芯片的原生支持。 这意味着开发和研究人员可以利用苹果芯片的 GPU 进行更快的模型训练，之前在苹果平台电脑上的 PyTorch 框架只支持利用 CPU 训练。 （来源：PyTorch） 简单说一下苹果自研的 M 系芯片 ...

PyTorch，这一广受欢迎的开源机器学习框架，近期正式推出了其最新版本——2.8版。此次版本更新聚焦于提升量化大语言模型（LLM）在Intel CPU上的推理性能，吸引了众多开发者和研究人员的目光。 在PyTorch 2.8中，开发者团队通过算法优化和技术革新，显著提高了 ...

更多精彩内容 请点击上方蓝字关注我们吧！ 今年 3 月，苹果发布了其自研 M1 芯片的最终型号 M1 Ultra，它由 1140 亿个晶体管组成，是有史以来个人计算机中最大的数字。苹果宣称只需 1/3 的功耗，M1 Ultra 就可以实现比桌面级 GPU RTX 3090 更高的性能。 随着用户 ...

【新智元导读】用英伟达的GPU，但可以不用CUDA？PyTorch官宣，借助OpenAI开发的Triton语言编写内核来加速LLM推理，可以实现和CUDA类似甚至更佳的性能。 试问，有多少机器学习小白曾被深度学习框架和CUDA的兼容问题所困扰？ 又有多少开发者曾因为频频闪烁的警报「 ...

AI自动生成的苹果芯片Metal内核，比官方的还要好？ Gimlet Labs的最新研究显示，在苹果设备上，AI不仅能自动生成Metal内核，还较基线内核实现了87%的PyTorch推理速度提升。 更惊人的是，AI生成的Metal内核还在测试的215个PyTorch模块上实现了平均1.87倍的加速，其中一些 ...