NVIDIA 知乎精彩问答甄选(二) 探究 H100 的无事生非_leyu乐鱼安全版(中国)有限公司

NVIDIA 知乎精彩问答甄选(二) 探究 H100 的无事生非

发布时间:2022-07-31 00:52:10 来源:leyu安全版

leyu安全版

 
 

  NVIDIA 带来知乎精彩问答甄选系列,将为您精选知乎上有关 NVIDIA 产品的精彩问答。

  该款 GPU 集成了 800 亿个晶体管。H100 是全球范围内最大的功用拔尖的责怪器,具有革命性的 Transformer 引擎和高度可扩展的 NVIDIA NVLink® 互连技能等打破性功用,可推进巨大的 AI 鼓动模型、深度引荐体系、基因组学和杂乱数字孪生的开展。

  NVIDIA GTC 2022 大会官宣,Hopper 核算架构要来了,该架构有哪些值得等待的亮点?

  NVIDIA 宣告推出选用 NVIDIA Hopper™ 架构的新一代责怪核算渠道。与上一代产品比较,该渠道完结了数量级的功用腾跃。这一全新架构以美国核算机范畴的前驱科学家 Grace Hopper 的姓名命名,将替代两年前推出的 NVIDIA Ampere 架构。

  跟着一些模型(例如大型鼓动模型)到达数万亿参数,AI、高功用核算和数据分析变得日益杂乱。在当今核算渠道上,大型 AI 模型或许需求数月来完结练习。而这样的速度关于企业来说太慢了。

  NVIDIA Hopper 架构从头开始构建,凭仗强壮的算力和快速的内存来责怪这些新一代 AI 作业负载,然后处理日益增长的网络和数据集。Transformer 引擎是全新 Hopper 架构的一部分,将明显进步 AI 功用和功用,并助力在几天或几小时内练习大型模型。

  Transformer 引擎选用 16 位浮点精度和新增的 8 位浮点数据格式,并整合先进的软件算法,将进一步进步 AI 功用和功用。

  NVIDIA Hopper GPU 架构运用全新 DPX 指令,将动态编程速度进步多达 40 倍。动态编程是一种运用于基因组学、量子核算、道路优化等范畴算法中,用以解决问题的技能。

  —— H100 由 800 亿个晶体管构建而成,这些晶体管选用了专为 NVIDIA 责怪核算需求规划的顶级的 TSMC 4N 工艺,因此能够明显进步 AI、HPC、显存带宽、互连和通讯的速度,并能够完结近 5TB/s 的外部互联带宽。H100 是首款支撑 PCIe 5.0 的 GPU,也是首款选用 HBM3 的 GPU,可完结 3TB/s 的显存带宽。20个 H100 GPU 便可承载相当于全球互联网的流量,使其能够协助客户推出先进的引荐体系以及实时闻风丧胆数据推理的大型鼓动模型。

  —— 新的 DPX 指令可责怪动态规划,适用于包括途径优化和基因组学在内的一系列算法,与 CPU 和上一代 GPU 比较,其速度进步别离可达 40 倍和 7 倍。Floyd-Warshall 算法与 Smith-Waterman 算法也在其责怪之列,前者能够在动态库房环境中为自主机器人车队寻觅最优线路,而后者可用于 DNA 和蛋白质分类与折叠的序列比对。

  H100 的多项技能创新相结合,进一步扩展了 NVIDIA在 AI 推理和练习的领导地位,运用大规模 AI 模型完结了实时沉溺式运用。H100 将支撑谈天机器人运用功用超强壮的monolithic Transformer 鼓动模型 Megatron 530B,吞吐量比上一代产品高出 30 倍,画蛇添足满意实时对话式 AI 所需的次秒级推迟。运用 H100,研究人员和开发者能够练习巨大的模型,如包括 3950 亿个参数的混合专家模型,练习速度责怪高达9倍,将练习时刻从几周缩短到几天。

  语音、对话、客服和引荐体系等 AI 运用正在推进数据中心规划范畴的巨大革新。“AI 数据中心需求处理海量且继续的数据,以练习和完善 AI 模型,原始数据进来,通过提炼,然后智能输出——企业正在制作智能并运营大型 AI 工厂。” 这些工厂全天候密布闻风丧胆,即便是质量上的小幅改善也能大幅间谍客户参加和企业赢利。

  H100 将协助这些工厂更快开展。这个 “巨大” 的 800 亿晶体管芯片选用了台积电的 4 纳米工艺制作而成。

  “Hopper H100 是有史以来最大的一次功用腾跃——其大规模练习功用是 A100 的 9 倍,大型鼓动模型推理吞吐量是 A100 的 30 倍。”

  以上问题精彩答复敬请等待 7 月 22 日的推送,各位也能够在谈论区留下你的见地与答复,不守时抽取谈论区高赞精彩答复,为走运观众送上惊喜爱礼!

  聚集前沿评论,与您一起讨论 AI 难题,把握职业新知,了解时势所迫方向,尽在《NVIDIA 知乎精彩问答甄选》系列推文!

产品中心
新闻中心
员工活动