2024-07-06
英伟达H100在MLPerf中表现卓越:对GPT-3的训练时间缩短了27%,在9项测试中打破了5项纪录。IT之家6月14日报道,英伟达旗下的H100 GPU在AI市场始终领先,目前没有竞争对手威胁其主导地位,最新的MLPerf基准测试再次刷新了多项纪录。
IT之家添加说明:MLPerf是评估人工智能芯片性能的主要标准之一。该平台最近引入了新的测试项目,专门针对微调大型语言模型和图神经网络。在这些测试中,英伟达H100创下了多项纪录。微调是指在已进行预训练的模型基础上,通过进一步在特定任务上的训练来调整模型参数,以更好地适应该任务。本次测试中,我们使用了11616块英伟达H100 GPU。在最新的9项测试中,这些GPU表现出了最高的性能水平,并且在其中的5项测试中创下了新的记录。谷歌和英特尔等竞争者都参与了这次测试,结果显示谷歌的TPU系统速度明显提升,英特尔的GPU也有明显进步,不过性能仍然落后于英伟达。英伟达宣布通过多项软件优化,成功将训练 GPT-3 所需的时间缩短了 27%,相较于 2023 年 6 月的基准测试情况。这些优化措施包括提升 8 位浮点运算的效率、优化计算引擎的电源管理,以及改善 GPU 之间的通信机制。特别声明:本文所含对外链接(包括但不限于超链接、二维码、口令等形式)旨在提供更多相关信息,节省筛选时间,但请注意,本网站所有文章仅供参考,阅读时请自行斟酌。