CUDA入门教程；Transformer太火不是好事？；探求GPU极限性能的利器｜AI系统前沿动态...

1. PyTorch创始人：Transformer的流行可能是一把双刃剑

要说 Transformer 有多厉害，比如 OpenAI 重磅推出的 GPT-3，就是基于 Transformer 实现的。至于传播速度方面，短短 5 年，Transformer 便在 TensorFlow 、PyTorch 等主流深度学习框架支持的 AI 程序中占据一席之地。

不过与高调宣传 Transformer 的学者不同，这次 PyTorch 创始人、Meta 杰出工程师 Soumith Chintala 却唱起了反调，并警告说，Transformer 如此流行，可能是一把双刃剑。 

链接：https://mp.weixin.qq.com/s/ZgdP3HFM4jZsWZfJvciQ3A

2. MAIProf：Meta生产PyTorch模型的性能调试工具

PyTorch在生产环境中的性能调优越来越重要。一个功能强大的性能调试工具是这个过程的关键。通过一个关于生产模型的案例研究，PyTorch证明MAIProf是一个用于识别优化机会的强大AI性能调试基础架构。 

在Meta，从性能调试新手到专家的100多名工程师使用MAIProf来识别更多类型的瓶颈。其中包括缓慢的数据加载、分布式训练问题（例如负载不平衡和过度通信）。MAIPprof涵盖了包括推荐、视觉和自然语言处理等主要类别模型。总之，它现在是生产PyTorch工作负载时调试性能的不可或缺的工具。

链接：https://pytorch.org/blog/performance-debugging-of-production-pytorch-models-at-meta/?utm_source=organic_social&utm_medium=linkedin&utm_campaign=performance_debugging

3. 精度、耗时、显存消耗、网络结构...一行代码深度解析训练性能指标