北森瓦版 - Northwood Blog (Author : 北森四葉. Since July 10, 2006.)
NVIDIA Announces Tesla T4 Tensor Core GPU(techPowerUp!)
NVIDIA Announces Tesla T4 Tensor Core GPU(Guru3D)
NVIDIA Announces Tesla T4 Based on Turing GPU For Inferencing – 65 TFLOPs FP16, 130 TOPs INT8, 260 TOPs INT4 at Just 75W(WCCF Tech)
NVIDIA、AI学習モデルの推論処理に特化した「Tesla T4」(Impress PC Watch)
NVIDIA,AI推論用GPU「Tesla T4」を発表。Turingアーキテクチャ採用でTDP 75W(4Gamer.net)
NVIDIA Tesla T4 Tensor Core GPU(NVIDIA)

全世界的なAIサービスの増大に対応すべく、NVIDIAはAI data center platform向けの製品として、Tesla T4 Tensor Core GPUを発表した。Tesla T4はTensorRT Hyperscale Inference Platformを特徴とし、“Turing”アーキテクチャと新しい推論ソフトウェアによってブレークスルーをもたらすという。

主な特徴は以下の通り。
 
  • Tensor Core 320基、CUDA core 2560基。
  • FP32からFP16、INT8からINT4と柔軟に複数の精度の演算に対応。演算性能はFP16 65TFlops, INT8 130TIOPs, INT4 260TIOPs
  • 75Wの高い電力効率。小型のPCIe規格で多くのサーバーに容易に搭載することができる。
  • NVIDIA TensorRT5;推論最適化・ランタイムエンジン。“Turing Tensor Core”をサポートし、複数精度演算を使用するワークロード向けにneural network optimizationのセットを提供する
  • NVIDIA Tensor RT inference server:コンテナ化されたマイクロサービスソフトウェアで、データセンター製品においてアプリケーションがAIモデルを使用できるようにするアプリケーションである


“Turing”アーキテクチャの演算向け製品である。2560基のCUDA coreを搭載する製品ながら、TDP75Wという低さが印象的である。

使用されているコアについては言及されていないが、WCCF Techでは“TU104”と推測している。“TU104”はSM 48 / CUDA core 3072のコアであるため、この通りであるならば一部を無効化しSM 40 / CUDA core 2560の仕様としていることになる。

The new features of NVIDIA Turing architecture(VideoCardz)

“Turing”アーキテクチャの解説記事が掲載されているが、その一番下に“TU102”、“TU104”、“TU106”の3種類の“Turing”の構成が掲載されている。

TU102TU104TU106
製造プロセス12nm FFN
ダイサイズ754mm2545mm2445mm2
トランジスタ数186億136億106億
GPC663
TPC362418
SM72
12 SM/GPC×6
48
8 SM/GPC×6
36
12 SM/GPC×3
Tensor Core576384288
RT Core724836
FP32 core (CUDA)460830722304
INT32 core460830722304
ROP966464
memory interface384-bit256-bit256-bit
L2 cache6144KB4096KB4096KB


これを見ると“TU102”を基本として、GPCあたりのSMの数を12から8へと2/3としたのが“TU104”、GPCあたりのSMの数はそのままにGPCの数を半減させたのが“TU106”となり、各演算ユニットの数は“TU102”を1とすると“TU104”は2/3。“TU106”は1/2という非常にきれいな関係となる。

この通りで会った場合、“TU106”はフルスペック仕様でGeForce RTX 2070に使われることになる。ただ、一方でCUDA core 2560のTesla T4が“TU104”であるなら、もう256基CUDA coreを削って“TU104”でGeForce RTX 2070を作ってきてもおかしくはないのではないかとも思えてしまう。こればかりはGeForce RTX 2070が出てこないとわからないが、VideoCardzはこの情報を“NVIDIA Turing Architecture whitepaper”から投稿されたものだとしており、9月14日に明らかにされるものだと述べている。この通りなら9月14日に“TU106”の構成も含めて“Turing”アーキテクチャのより詳しい情報が明らかになるかもしれない。

他にもINT32の演算ユニットの追加により浮動小数点演算と整数演算を並行して行えるCUDA coreを改良した、新たなShading技術の導入、“Turing memory compression”、動画エンジンの改良、NV Linkの導入などが新たな特徴・機能として挙げられている。



コメント
この記事へのコメント
161093 
TDP 75Wというのが凄いね。こんなにたくさんのコアを積んでるのに。
3分の1とか4分の1くらいにスケールダウンさせれば、ノートにも乗せられそうだね。
2018/09/15(Sat) 00:16 | URL | LGA774 #SFo5/nok[ 編集]
コメントを投稿する(投稿されたコメントは承認後表示されます)
URL:
Comment:
Pass:
秘密: 管理者にだけ表示を許可する
 
トラックバック
この記事のトラックバックURL
https://northwood.blog.fc2.com/tb.php/9508-c00bc1d9
この記事にトラックバックする(FC2ブログユーザー)
この記事へのトラックバック