北森瓦版 - Northwood Blog (Author : 北森八雲. Since July 10, 2006.)
NVIDIA at SC23: H200 Accelerator with HBM3e and Jupiter Supercomputer for 2024
b
(AnandTech)
NVIDIA's HGX H200 GPU With HBMe3 Is An AI Beast For The Data Center(HotHardware)
「NVIDIA H200」発表 - GPUメモリに世界初のHBM3e搭載、帯域幅4.8TB/sの容量141GB(マイナビニュース)
高速・大容量なHBM3eメモリ採用で性能向上の「NVIDIA H200」(Impress PC Watch)

NVIDIAは11月13日、データセンター向けアクセラレータの新モデルとしてNVIDIA H200を発表した。

“Hopper”アーキテクチャのアクセラレータとしてはNVIDIA H100があるが、今回のNVIDIA H200はその改良版となる。主にメモリ周りが強化されており、GPUとしては初めてHBM3eを採用する製品となる。HBM3eの採用により、メモリ帯域は3.35TB/sから4.8TB/sに向上している。AnandTechの表通りであればメモリインターフェースが5120-bit→6144-bitに、メモリの速度は5.24Gbps→~6.5Gbpsにそれぞれ向上している。
またVRAM容量も80GBから141GBに向上している。141GBという数字はなんとも中途半端だが、物理的には24GBのHBM3e stackを6 stack搭載しており144GB分が搭載されているが、イールドを高めるため若干容量を削っているようである。
 
一方、GPUそのものはH100からほぼ据え置きのようで、ひょっとしたら若干のCUDA coreの増量や周波数の向上があるかもしれない程度のようである。ベースとなるGPUコアはGH100のまま変更はない。

H200が市場に広く解禁されるのは2024年第2四半期となるようだ。



NVIDIA teases next-gen B100 Blackwell GPU performance in GPT-3 175B Large Language Model(VideoCardz)

NVIDIAはH200の次としてB100を予定している。B100は“Blackwell”と呼ばれる新しいアーキテクチャを採用する製品になると見込まれており、2024年中のローンチが予定されている。

NVIDIAが示した178億のパラメーターを使用したGPT-3 推論性能のグラフではA100を1とした場合の相対性能が記されており、H100は11倍、H200は18倍、B100はそれ以上の大幅な性能向上を成し遂げることが描かれている。
関連記事



○Amazon売れ筋ランキング CPU メモリ グラフィックカード マザーボード SSD 電源

コメント
この記事へのコメント
198092 
Tensorコアは行列のサイズが最適化されていないとカタログスペック通りの性能が出ないので、最適化が不十分なソフトウェアの場合はメモリが高速化するだけでも性能は上がるようです
2023/11/16(Thu) 01:33 | URL | LGA774 #-[ 編集]
コメントを投稿する(投稿されたコメントは承認後表示されます)