完全な仕様:

Dell PowerEdge XE9680 のビルドとデザイン

PowerEdge XE9680 は印象的なハードウェアで、高さ 10.36 インチ (263.20mm)、幅 18.97 インチ (482.00mm)、奥行き 39.71 インチ (1008.77mm) (ベゼル装着時) を誇ります。完全にロードされた状態では、重量は 251.44 ポンド (114.05 kg) です。GPU の選択が最終的な重量を決定し、NVIDIA H100/H200 モデルは 238 ポンド、AMD MI300X ユニットは 251 ポンドになります。

これは、テスト環境に適切にロードするために慎重な検討が必要だった最初のサーバーでした。サーバーの重量とハードウェアをラックに搭載するために必要な人員を考慮すると、境界線を越えても多少の余裕はありますが、ある時点を超えると、1 人または 2 人では持ち上げられなくなります。Dell は、このプラットフォームがどのように適合するかを理解するのに役立つ「リフトテーブル」を提供しています。疑問に思っているすべての人にとって、ケビンは自分で XE9680 をラックに搭載しました。

その複雑さと Dell による専門サービス技術者への推奨にもかかわらず、XE9680 は驚くほどユーザーフレンドリーなサービス要素を備えています。サーバーのパネルには詳細なサービス手順と明確なグラフィックが含まれており、経験豊富な IT スタッフにとってメンテナンス手順が驚くほど取り組みやすくなっています。これらの視覚的なガイドは、システムを実際に使用した際に非常に役立ち、さまざまなコンポーネントを自信を持ってサービスすることができました。

PowerEdge XE9680 のカバーを開けると、小さな電源サブステーションからの多数の電源ケーブルを過ぎると、PowerEdge R760 によく似ています。当社のユニットは、それぞれ 48 コア、2.1GHz の Intel Xeon Platinum 8468 プロセッサ 2 基で駆動されていました。各プロセッサは 80 個の PCIe レーンを提供しており、これらはこのユニットの多数の PCIe スイッチを通過して、XE9680 にロードされた GPU、NIC、およびその他のハードウェアをサポートします。

最も印象的なエンジニアリング機能の 1 つは、PCIe スイッチボード (PSB) の設計です。これらのボードは、最大 10 個の追加のフルハイト、ハーフレングス PCIe カード (そのうち 2 枚は 75W を超える消費電力をサポート可能) の接続を提供し、GPU ベースボードと直接統合されます。この直接統合により、GPU ダイレクト テクノロジーが可能になり、SSD およびネットワーク カードが CPU をバイパスして GPU と直接通信できるようになり、I/O 集約型の AI ワークロードのレイテンシが削減されます。

各拡張スロットは、レイアウトの左端と右端の下部 2 つのスロットを含め、フル PCIe Gen5 x16 インターフェイスをサポートします。上部の 8 つのスロットは独自の PSB を介して接続されていますが、下部の 2 つのスロットは PCIe ベースボード (PBB) に直接接続されています。これらの 2 つのスロットは、高電力カードもサポートします。さらに、PowerEdge XE9680 に選択された GPU の種類によって PCIe レイアウトがわずかに異なることに注意してください。AMD 搭載モデルは SmartNIC/DPU をサポートせず、Intel Gaudi3 モデルはエアフローの問題により 2 つのスロットがブロックされています。

冷却は、Dell のエンジニアリングの専門知識が光るもう 1 つの分野です。システムは最大 16 基の高性能ゴールドグレードファン (ミッドトレイに 6 基、リアに 10 基) を採用しています。PowerEdge XE9680 は、10 ～ 35°C (Intel Gaudi3 GPU では 30°C) の周囲温度範囲で、さまざまな設置シナリオをサポートします。フル稼働時、サーバーは印象的な 1,200CFM をホットアイルに送り込みます。

この堅牢な冷却ソリューションは、AMD MI300X、Intel Gaudi3、または NVIDIA H100 GPU を含む最も要求の厳しい熱負荷でも、最適な動作温度を維持しながら処理します。PowerEdge XE9680 は、負荷がかかるとかなりの音を発します。Dell は、さまざまな状況下での XE9680 の完全な音響仕様シートを提供していますが、負荷がかかると非常にうるさいプラットフォームになることは容易にわかります。

管理

XE9680 の管理機能は、包括的なサーバーライフサイクル管理と監視を提供する Dell のエンタープライズで実績のある iDRAC9 を中心に構築されています。このバージョンの iDRAC は、詳細な GPU テレメトリ、消費電力分析、および高密度 AI ワークロード向けに設計された広範な熱監視を含む、いくつかの AI 最適化機能をもたらします。

このプラットフォームの管理スタックは、特に AI インフラストラクチャの展開において注目に値します。iDRAC9 の RESTful API (Redfish 対応) を通じて、組織は GPU 使用率、メモリ帯域幅、および熱条件をプログラムで監視および管理できます。これらは、最適な AI トレーニングおよび推論パフォーマンスを維持するために重要なメトリックです。OpenManage Enterprise とのシステム統合により、単一のコンソールを介して複数の XE9680 のフリート全体管理が可能になり、大規模な AI クラスターに不可欠です。

セキュリティとコンプライアンスは、管理アーキテクチャの基本的な要素です。プラットフォームはシリコン ルート オブ トラストとセキュア コンポーネント検証を実装し、起動から運用までのハードウェアの整合性を保証します。これらの機能は、機密性の高い AI ワークロードを実行したり、独自のモデルウェイトを処理したりする場合に特に役立ちます。

CloudIQ 統合によって強化された予測障害分析機能は、機械学習を使用して、ワークロードに影響を与える前に潜在的なハードウェアの問題を予測します。このプロアクティブなアプローチは、予期しないダウンタイムが数日間の計算損失につながる可能性のある、長時間実行される AI トレーニングジョブにとって特に重要です。Dell の ProSupport Plus サービスと組み合わせると、この予測機能により自動的にケースが作成され、部品が発送され、多くの場合、システム劣化が発生する前に予防保守が行われます。

既存の管理ツールとの統合が必要な組織の場合、XE9680 は OpenManage 統合 (ServiceNow や BMC TrueSight を含む) を通じてさまざまな管理フレームワークをサポートしており、確立された IT サービス管理ワークフローへのシームレスな組み込みを可能にします。

iDRAC9 インターフェイスは、直感的なダッシュボードを通じて、重要なコンポーネントの詳細なリアルタイム監視を提供します。GPU 監視は、温度、消費電力、および 8 つすべてのアクセラレータの使用率を含む包括的なメトリックを表示し、AI ワークロードの分散を最適化するために不可欠です。

ストレージ監視インターフェイスは、NVMe アレイ全体のドライブの状態、温度、およびパフォーマンス メトリックへの即時可視性を提供し、高スループットの推論キャッシュとトレーニング データセットを管理する際に特に役立ちます。

メモリ、ストレージ、およびスケール

Dell PowerEdge XE9680 に搭載された 8 基の AMD MI300X GPU は、GPU メモリ容量において大きな飛躍を遂げ、NVIDIA H200 の 141GB と比較してカードあたり 192GB の HBM3 メモリを提供します。このメモリ容量の 36% 増加は、単なる仕様シート上の数字ではなく、大規模言語モデルの展開にとって非常に重要です。

この巨大なメモリプールと MI300X の 5.3 TB/s のメモリ帯域幅により、組織は複数の小規模モデルインスタンスを実行したり、高スループットと低レイテンシを維持しながら大規模モデルを GPU に分割したりできます。

これを理解するために、BF16 で 1TB を超える VRAM を必要とする Meta の Llama 3.1 405B モデルは、量子化なしで、完全な 128k コンテキスト長で、MI300X GPU を搭載した単一の XE9680 に快適に分散できます。これにより、量子化技術に関連する潜在的な品質低下が排除され、2 台のサーバーにモデルを分散させるよりも多くのトークン/秒が可能になります。

ストレージフットプリントを最大化するために、Solidigm 61.44TB ドライブを使用して、メモリの洗練された拡張機能として機能させ、高速 GPU メモリと従来のストレージのギャップを埋めました。SSD は、推論中のキーバリューキャッシュペアの保存に優れており、長コンテキスト生成のために GPU のメモリ容量を効果的に拡張します。その巨大な容量と NVMe パフォーマンスは、モデルウェイトへの迅速なアクセスに理想的であり、効率的なモデル切り替えとウォームスタートを可能にします。

以下で詳述する Metrum AI の展開のようなアプリケーションでは、SSD はベクトルデータベースのストレージバックエンドとして二重の役割を果たし、リアルタイムの類似性検索に必要なパフォーマンスを提供しながら、広範な埋め込みストレージの容量を維持します。

これらの大容量ドライブの価値は、推論からトレーニングワークフローまで及びます。これらは、トレーニングバッチをキューイングするための理想的なローカルストレージを提供し、データをコンピューティングリソースに近づけることでネットワークオーバーヘッドを削減します。トレーニング中、これらのドライブはモデルチェックポイントをローカルに保存するのに優れており、トレーニングの進行状況を維持し、迅速な回復を可能にするために不可欠です。このローカルストレージ戦略は、各処理済みレイヤーとバッチの後の即時ネットワークトラフィックを削減することで、ネットワーク利用率を最適化するのにも役立ちます。

XE9680 の 8 つのベイにわたる 61.44TB の容量は有望に聞こえますが、さらに多くの容量が追加される予定です。Solidigm の新たに発表された 122.88TB ドライブにより、XE のストレージ密度は 2 倍になり、トレーニングの最適化とより長寿命の推論キャッシュのためにほぼ 1 ペタバイトになります。

Metrum AI ヘルスケアアシスタント – 患者ケアに革命を起こす

ヘルスケア分野は、直接の患者ケアからしばしば時間を奪う、時間のかかる患者の文書作成と記録管理の管理という課題に常に直面しています。AMD アクセラレータを搭載した Dell PowerEdge XE9680 サーバーに展開された Metrum AI のヘルスケアアシスタントは、高度な AI インフラストラクチャがヘルスケアワークフローをどのように変革し、効率を高め、患者の転帰を改善できるかを示す例です。

このシステムは、医療コンテキストの理解で知られる Llama 3.1 70B Instruct を主要な言語モデルとして利用しています。これにより、複雑な患者データを簡単に処理できます。この言語モデルは、gte-v1.5 埋め込みモデルと Milvus Vector DB とペアになっており、医療データを処理するために不可欠な自然言語処理とコンテキスト理解のための堅牢な基盤を提供します。

Metrum AI のヘルスケアアシスタントには、HistoGPT を使用した病理組織画像分析と、医師のメモのリアルタイム文字起こし用の OpenAI の Whisper を組み込んだマルチモーダル アプローチも含まれています。これらすべてのモデルが臨床ワークフローを合理化し、医師が自然に話すことを可能にし、システムが文字起こし、分類し、患者記録にリアルタイムで情報を統合します。

Metrum AI は、個々の患者データは比較的小さいかもしれませんが、高トラフィックの病院の合計ストレージ需要は数百テラバイトに増加する可能性があることを認識しています。Dell PowerEdge XE9680 は、ローカルオンボード NVMe ストレージでこれに対応できます。当社の構成は、PCIe Gen4 速度で動作する 8 つの 2.5 インチ U.2 NVMe ストレージベイを提供します。61.44TB の Soldigim D5-P5336 QLC SSD で XE9680 をテストしましたが、この容量はさらにスケールアップできます。Soldigim は最近、新しい D5-P5336 122.88TB QLC モデルを発売しました。これにより、すでに巨大な SSD の容量が 2 倍になり、同じパフォーマンスが維持されます。

Metrum は、患者データがさまざまなシナリオで時間の経過とともにどのように変換されるかについての推定値を提供しました。これを合計ストレージ容量に換算すると、最も高容量の SSD を使用して、1 台のユニットがどれだけ多くの追加患者をサポートできるかがわかります。患者あたりの推定データフットプリントと、各 SSD の使用可能な容量 (61TB SSD では 57TB、122TB SSD では 114TB) を比較すると、高密度 SSD を持つことで、サーバーに保存できる量を年間で意味のある方法で大幅に増やすことができることがわかります。

最初の 1 年間の推定値は非常に高いように見えますが、患者データは静的ではないことに注意することが重要です。新しいデータがキャプチャされ、新しい訪問がスケジュールされ、ストレージの需要が増加します。これは、医療画像分野でストレージが重要な役割を果たす場所です。追加のストレージ容量は、ソリューションが効果的にサポートできる患者数に直接影響します。

AMD MI300X アクセラレータを搭載し、Metrum AI のヘルスケアアシスタントと統合された Dell PowerEdge XE9680 は、医療提供者向けの拡張可能で効率的なソリューションを提供します。時間のかかるタスクを自動化し、重要な洞察への迅速なアクセスを可能にすることで、このセットアップにより、臨床医は増大する需要を管理しながら、患者ケアにより集中できます。言語、画像、音声モダリティにわたる AI コンポーネントのシームレスな統合を通じて、ヘルスケアアシスタントは AI 主導のヘルスケアソリューションにおける大きな進歩を表し、管理上の負担を軽減し、全体的な患者の転帰を改善します。

結論