NVIDIA DGX B200 取り扱い開始 [HPC TECH]

2024/07/31　株式会社　ＡＫＩＢＡホールディングス　

NVIDIA DGX B200

NVIDIA Blackwell GPU Architecture
The foundation for your AI center of excellence.

MAX 8GPU

画期的なイノベーションに支えられる革新的な効率性

NVIDIA DGX(TM) B200 は、企業規模を問わず、AI 導入のどの段階においても、パイプラインの開発から導入までを可能にする統合 AI プラットフォームです。第 5世代の NVIDIA(R) NVLink(R) で相互接続された 8基の NVIDIA B200 Tensor コア GPUを搭載した DGX B200は、前世代と比較してトレーニング性能は 3倍、推論性能は 15倍の最先端の性能を提供します。NVIDIA Blackwell GPU アーキテクチャを採用した DGX B200 は、大規模言語モデル、レコメンダーシステム、チャットボットなどの多様なワークロードを処理することができ、AI トランスフォーメーションの加速を目指す企業に最適です。

NVIDIA DGX B200 主な特徴

8基の NVIDIA Blackwell GPU
1.4TB の GPU メモリ空間
72 ペタ FLOPS のトレーニングパフォーマンス
144 ペタ FLOPS の推論パフォーマンス
NVIDIA ネットワーキング
デュアルの第 5 世代 Intel(R) Xeon(R)スケーラブルプロセッサ
NVIDIA DGX BasePODと NVIDIA DGX SuperPODの基盤
NVIDIA AI Enterpriseと NVIDIA Base Command(TM)ソフトウェアを含む

統合 AI プラットフォーム

開発からデプロイまでのパイプラインのための 1つのプラットフォーム

企業は、トレーニングからファインチューニングに推論まで、AI パイプラインのあらゆる段階で複雑な AI データセットを処理するために膨大な計算処理能力を必要とします。NVIDIA DGX B200 があれば、ワークフローを高速化するように作られた 1つのプラットフォームを企業は開発者に与えることができます。

究極の AI パフォーマンス

NVIDIA Blackwell アーキテクチャの高度なコンピューティングを活用する DGX B200 は、DGX H100 と比較してそのトレーニングパフォーマンスが 3倍、推論パフォーマンスが 25倍となります。NVIDIA DGX BasePOD(TM) や NVIDIA DGX SuperPOD(TM) の土台である DGX B200 は、業界をリードするパフォーマンスをあらゆるワークロードに提供します。

実証済みのインフラストラクチャ標準

DGX B200 は、NVIDIA Base Command および NVIDIA AI Enterprise ソフトウェアを含む完全な NVIDIA AI ソフトウェアスタック、豊富なサードパーティサポートのエコシステム、および NVIDIA プロフェッショナルサービスによる専門家のアドバイスへのアクセスを含む、完全に最適化されたハードウェアおよびソフトウェアプラットフォームです。

DGX B200 を活用した次世代のパフォーマンス

リアルタイム大規模言語モデル推論

トークン間のレイテンシ (TTL) = 50ms リアルタイム、最初のトークンのレイテンシ (FTL) = 5ms、入力シーケンスの長さ = 32,768、出力シーケンスの長さ = 1,028、8x 8ウェイ HGX H100 GPU 空冷と 1x 8ウェイ DGX B200 空冷の比較、GPU あたりのパフォーマンス比較です。

予想されるパフォーマンスは変更される可能性があります。

リアルタイム大規模言語モデル推論

32,768 GPU スケール、4,096x 8ウェイ DGX H100 空冷クラスター: 400G IB ネットワーク、4,096x 8ウェイ DGX B200 空冷クラスター: 400G IB ネットワークです。

予想されるパフォーマンスは変更される可能性があります。

NVIDIA Base Command 搭載

NVIDIA Base Command は DGX プラットフォームを強化し、NVIDIA ソフトウェアがもたらすイノベーションを企業が最大級活用できるようにします。企業は、エンタープライズグレードのオーケストレーションとクラスター管理、コンピューティング、ストレージ、ネットワークのインフラを高速化するライブラリ、AI ワークロード向けに最適化されたオペレーティングシステムを含む実証済みのプラットフォームで、DGX インフラの可能性を最大限まで引き出すことができます。また、DGX インフラには、AI の開発と展開を効率化するために最適化された一連のソフトウェア、NVIDIA AI Enterprise も含まれています。

NVIDIA DGX B200 仕様

GPU	8 基の NVIDIA B200 Tensor コア GPU
GPU Memory	合計 1,440GB の GPU メモリ
Performance	72 petaFLOPS の FP8 トレーニングと 144 petaFLOPS の FP4 推論
System Power Usage	最大 14.3kW
CPU	2 個の Intel Xeon Platinum 8570 プロセッサ合計 112 コア、2.1 GHz (ベース)、 4 GHz (最大ブースト)
System Memory	最大 4TB
Networking	4 基の OSFP ポートで 8 基のシングルポートを提供する NVIDIA ConnectX-7 VPI ＞最大 400Gb/秒の InfiniBand/Ethernet 2 個のデュアルポート QSFP112 NVIDIA BlueField-3 DPU ＞最大 400Gb/秒の InfiniBand/Ethernet
Management network	10Gb/秒のオンボード NIC (RJ45 搭載) 100Gb/秒のデュアルポートイーサネット NIC ホスト BMC (ベースボード管理コントローラー、RJ45 搭載)
Storage	OS : 2 個の 1.9TB NVMe M.2 内部ストレージ : 8 個の 3.84TB NVMe U.2
Software	NVIDIA AI Enterprise : 最適化された AI ソフトウェア NVIDIA Base Command : オーケストレーション、スケジューリング、クラスター管理 DGX OS / Ubuntu : オペレーティングシステム
Rack Units (RU)	10 RU
System Dimensions	高さ : 444mm 幅 : 482.2mm 長さ : 897.1mm
Operating Temperature	5～30°C
Enterprise Support	Three-year Enterprise Business-Standard Support for hardware and software 24/7 Enterprise Support portal access Live agent support during local business hours