思腾云计算

Atlas 300T A2 超强算力AI训练卡，适用于大模型训练

原创 Sitonholy 思腾合力 2023-10-26 16:30 发表于北京

收录于合集#产品介绍37个

Atlas 300T A2 强化了高速接口和对 PCIe5.0 的支持，集成 20 个 AI 核、8 个 CPU Core、1*200GE RoCE，提供业界领先的280 TFLOPS FP16和75 TFLOPS FP32算力。

Sitonholy

Atlas 300T A2 训练卡是基于昇腾910处理器，配合服务器，为数据中心提供强劲算力的训练卡，加快深度学习训练进程。具有高计算密度、大内存、高带宽等优点，适用于通用服务器。满足运营商、互联网、金融等需要人工智能训练以及高性能计算领域的算力需求。

○ 高度集成

AI算力、通用算力、I/O能力三合一。

处理器集成20个华为达芬奇AI Core+8个TaiShan Core。

○ 超强算力

提供业界领先的280 TFLOPS FP16和75 TFLOPS FP32算力。

○ 高速带宽

支持PCIe 5.0和1*200G RoCE以太网口。

无需外置网卡，训练数据和梯度同步效率得到提升。

昇腾910，高性能训练 AI 处理器，半精度（FP16） 算力达到 320 TFLOPS，整数精度（INT8）算力达到 640 TOPS，功耗 310W，采用 7nm 先进工艺。此外，昇腾 910 集成了 HCCS、PCIe 4.0 和 RoCE v2 接口，为构建横向扩展 （Scale Out）和纵向扩展（Scale Up）系统提供了灵活高效的方法。HCCS 是华为自研的高速互联接口，片内 RoCE 可用于节点间直接互联。

Atlas 300T A2 训练卡典型应用场景为AI训练，人机交互操作。

● 系统管理员：操作界面是iBMC系统，通过带外的方式实现设备管理，包含OS安装，固件升级，服务器系统信息查询，故障处理。

● 生产装备人员：通过装备系统与iBMC系统（带外）和OS系统（带内）交互完成。

● 算法工程师：通过AI框架开发网络模型，调试训练代码，导入训练数据集，启动训练，观测训练过程（包含多次迭代的loss趋势），导出训练好的模型。