MetaとCXL技術サプライヤーのPanmnesiaは、AIデータセンターを、独立したサーバーの集合体ではなく、単一の協調処理リソースとして見る必要があると述べています。
AIデータセンターは、CPUチップのように、単一のコヒーレンスドメインを持つ、密結合されたリソースであるべきです。これは、多くのコヒーレンスドメインを持つ、既存の疎結合でリクエスト駆動型のエンタープライズデータセンターとは異なります。AIデータセンターは、数百、数千ものGPUにわたる単一のジョブを実行でき、これは協調されたプロセッサコア、メモリ、ネットワークリンクを含む高性能コンピューティングワークロードにほぼ類似しています。
PanmnesiaとMetaは、データセンターが単一のチップのように動作する、このような次世代AIデータセンターアーキテクチャを共同で提案しました。この研究は、Nature Portfolio誌のNREEに掲載されています。
Myoungsoo Jung
PanmnesiaのCEOであるMyoungsoo Jung氏は、「AIシステムがスケールアップし続けるにつれて、多数のアクセラレータとメモリデバイスを迅速かつ効率的に接続する能力は、個々のアクセラレータのパフォーマンスと同様に重要になっています。この研究は、CXLがデータセンター全体を単一のコンピューティングシステムとして動作させることを可能にする、次世代AIインフラストラクチャの方向性を示しています。」と述べています。
単一の処理チップ上のコンポーネント（コアなど）は、単一のコヒーレンスドメイン内で均一なリンクパスを持ち、時間的、協調的、制御された方法で作業を行うように設計および配置されています。対照的に、既存のデータセンターでは、ラック棚にサーバープロセッサとストレージがあり、ラック内およびラック間のネットワークリンクとスイッチがあります。サーバー処理が協調されるような制御構造はありません。
チップライクなデータセンター
Panmnesiaは、「現在のデータセンターでは、ラック内のアクセラレータは高速なスケールアップインターコネクトで接続されていますが、ラックを出る接続や、アクセラレータ以外のデバイスへの接続は、より遅いスケールアウトネットワークに依存しています。このような環境の測定では、ヘビーテイルのレイテンシ分布が示されており、99パーセンタイルでの往復レイテンシは中央値の約5倍です。これが全体のジョブの遅延の原因であり、参加するデバイスが多いほど、その頻度と深刻度が増します。」と述べています。
AIデータセンターが効率的かつ高速に動作するためには、GPU、そのメモリ、ストレージのラック内およびラック間の両方で、制御と協調が必要です。大規模AIインフラストラクチャでは、データセンター全体が予測可能な動作をするように、デバイス間のレイテンシ変動を低減することが、個々のデバイスのパフォーマンスやリンク速度を向上させることと同様に重要であると述べています。
Panmnesia LAU
MetaとPanmnesiaは、この基盤としてCXLを使用し、マルチGPUラックレベルで動作することを可能にする新しい概念を提案しています。拡張CXLは、彼らのスキームにおいて、アクセラレータのラック間でキャッシュコヒーレンスを提供し、NvidiaのラックレベルのNVLinkベースのGB200 NVL72およびUALinkよりも多くのデバイスをサポートします。
これは、デバイスを結合するための基本的なルールを定義しますが、データルーティングとレイテンシは定義しません。彼らは、レイテンシ変動を低減および制限するために、3つの専用ハードウェア要素を提案しています。
高ファンアウトノンブロッキングスイッチ：多くのデバイスを一度に接続し、ホップ数を削減し、ソースに関係なくパス長を類似させます。
リンクアクセラレーションユニット（LAU）：各接続ポイントでの繰り返しプロトコル処理を専用ハードウェアパイプラインに移動させ、ホップレベルの動作をより規則的にし、レイテンシ変動を制限します。
ファブリックコントローラー：システム全体でリクエストを処理するための同じ順序付けポリシーを適用し、どのデバイスを通過してもトランザクションが一貫して処理されるようにします。
Panmnesia高ファンアウトおよびノンブロッキングスイッチ
ファブリックコントローラー（CXL/PCIeコントローラーの組み合わせ）とLAUはシリコン検証を完了しており、ファブリックスイッチは物理的なシリコンチップとして製造され、リリース前のシリコンが現在供給されています。これは、提案されたアーキテクチャが製造可能なシリコンレベルで有効であることを示しています。
彼らのアーキテクチャは、CPU、アクセラレータ、メモリ、スイッチを機能ごとにトレイにグループ化し、トレイをポッドにグループ化し、ポッドをファブリックで接続します。これは、固定ホップでより一貫した通信パスとタイミングを維持するように設計された、規則的なトレイ・ポッド・ファブリック階層です。
Panmnesiaファブリックコントローラー
Nvidiaの設計と比較して、1つのCPUがNVLink-C2Cを介して2つのアクセラレータに結合され、ラック内部はNVLinkで接続され、サーバーとラックはEthernetやInfiniBandなどのスケールアウトネットワークで結合されますが、彼らのスキームは以下の通りです。
単一のCPUによって直接協調されるアクセラレータの数を8倍に増加させます（2から16へ）。
単一のコヒーレンスドメインで最大960個のアクセラレータを一緒に動作させることができます。
データアクセスレイテンシをマイクロ秒レベルから数百ナノ秒に削減します（約1桁低下）。
障害発生時の交換ユニットは、サーバーではなく、誤動作した単一のデバイスになります。リソースをタイプ別に分離することで、システムはサーバー全体ではなく、誤動作したデバイスのみを交換でき、リソースの無駄と長時間の運用停止を回避できます。
Panmnesiaはすでにアーキテクチャのコアコンポーネントをシリコンで実装し、検証を完了しており、現在商用供給の準備を進めています。将来の開発では、速度とスケーラビリティを向上させるために光インターコネクトを検討しています。
ブートノート
NREEの記事参照が利用可能です。
北京千星捷通科技有限公司
Sandy Yang/グローバル戦略ディレクター
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
ビジネスフォーカス:
ICT製品流通/システムインテグレーション＆サービス/インフラストラクチャソリューション
20年以上のIT流通経験を持ち、主要グローバルブランドと提携して信頼性の高い製品とプロフェッショナルサービスを提供しています。
「テクノロジーでインテリジェントな世界を構築する」信頼できるICT製品サービスプロバイダー！
コンタクトパーソン: Ms. Sandy Yang
電話番号: 13426366826
Japanese
