CoreWeaveは、CoreWeave Cloud上にマルチラックNVIDIA Vera Rubin NVL72クラスターを展開し、数百のRubin GPUを統合されたスケールアウト環境に接続し、エージェント型AIワークロードに最適化しました。Dell製の各ラックには72個のRubin GPUと36個のVera CPUが搭載されており、スケールアップインターコネクトファブリックとしてNVLink 6を採用し、GPUあたり2つのConnectX-9 SuperNICとペアになっています。ラックはNVIDIA Spectrum-X Ethernetを介して、2層のノンブロッキングファブリック内でリンクされており、CoreWeaveによると約128,000 GPUまでスケール可能です。CoreWeaveは、Vera Rubin NVL72システムを正常に検証・アクティブ化した最初のクラウドプロバイダーであり、測定されたパフォーマンスを公開した最初のプロバイダーでもあります。最初の査読済みベンチマーク結果は、GB300 NVL72の提出に基づいて先週公開されました。コンピューティングのアップグレードと並行して、CoreWeave AI Object Storageはクロスリージョン書き込みアクセラレーションと全く新しいアーカイブ階層を追加します。

マルチラックNVIDIA Vera Rubin NVL72アーキテクチャ

このマルチラック展開は、シーケンシャルな推論ループと外部ツール呼び出しが分散インフラストラクチャ全体でデータアクセス遅延を増幅するエージェント型実行ワークフローを対象としています。各Rubin GPUに搭載されたデュアルConnectX-9 SuperNICは、マルチレール、マルチプレーンリンクを介して、GPUあたり最大1.6 Tb/sのバックエンドネットワーク帯域幅を提供します。ファブリックはモジュラー設計を採用しており、容量が拡大するにつれて新しいNVL72ラックを同じノンブロッキングトポロジーに参加させることができます。ラックは45℃の液体冷却で動作します。

CoreWeaveは、これらのラックをMission Controlソフトウェアスイートを使用して統合します。Rack LifeCycle Controllerは、ファームウェアフラッシングによるハードウェア検出、検証、電力および熱監視を含む、ラックのプロビジョニングとライフサイクル管理を処理します。Rackyラック管理モジュールは電力とインフラストラクチャを制御し、プログラム可能なValvey冷却コントローラーは、液体冷却回路と環境センサーのソフトウェア定義の可視性と管理を提供します。

ラックは段階的な検証テストを経て初めて本番稼働に入ります。ノードレベルでは、これには数時間の繰り返しGPU診断、CPU-GPU転送検証、インターコネクトおよび熱負荷テスト、および現実的なトレーニングワークロードが含まれます。ラックレベルでは、72個のGPUすべてでの同期ジョブがNVLink GPU間スループットを検証します。パフォーマンスしきい値を下回ったハードウェアはトラブルシューティングのために送られます。クロスラック検証のために、CoreWeaveは分散ワークロードを実行し、意図的にNVLinkを無効にしてバックエンドネットワークを介したトラフィックを強制し、物理ファブリックで不安定なリンク、エラー率の上昇、過熱コンポーネント、および不均衡なトラフィックを監視します。テスト負荷は、急激な需要の急増、可変同時実行性、およびバースト通信パターンを特徴とするエージェント型アプリケーションを模倣します。

AI Object Storageのアップデート：クロスリージョン書き込みとアーカイブ階層

ストレージの強化は、CoreWeave Kubernetes Service内のすべてのGPUおよびCPUノードにデプロイされたキャッシュプロキシであるLocal Object Transport Accelerator（LOTA）を基盤としており、オブジェクトデータをノードローカルNVMeに保存します。CoreWeaveは、キャッシュされた読み取りがGPUあたり最大7 GB/sに達し、p99読み取りレイテンシが直接バケットアクセスよりも8倍以上低いと報告しています。主要なモデルプロバイダーの1社は、15,000 GPU以上と20PBのキャッシュでLOTAを実行し、99.7%のヒット率を達成しており、LOTAは追加料金なしで提供されています。

クロスリージョン書き込みアクセラレーションにより、アプリケーションはAPIまたはSDKを変更することなく、ローカルレイテンシでリモートリージョンのバケットに書き込むことができます。アプリケーションは標準のS3書き込みをLOTAエンドポイントに送信します。オブジェクトデータはローカルに永続的に保存され、メタデータはリモートリージョンにコミットされます。オブジェクトは、書き込みジョブに対しても即座に読み取り可能になり、データはバックグラウンドでリモートリージョンに移行します。アプリケーションは、すべてのリージョンにまたがる単一のバケット名前空間を、一貫したIAMポリシー、ライフサイクルルール、およびアクセス制御で表示し、通常はクロスサイトチェックポイント配布に必要な個別のリージョンバケットとレプリケーションパイプラインを排除します。

「当社のデータセットは複数のリージョンにまたがっており、クロスリージョン取得の遅延によってトレーニングスケジュールが決定される余裕はありません」と、Cohereの内部インフラストラクチャディレクターであるCécile Robert-Michon氏は述べています。「CoreWeave AI Object Storageは、リージョン全体で統一されたデータセットフットプリントを提供し、読み取りはローカルにキャッシュされるため、ネットワーク待ちが発生しません。」

アーカイブ階層は、Hot、Warm、Coldに続く4番目のストレージクラスであり、書き込みは一度のみで、履歴トレーニングチェックポイントや生データセットなどの読み取り頻度が低いデータを対象としています。ベース容量価格が低く、取得、キャッシュ、リクエストごと、早期削除、階層化、およびエグレス料金が免除されます。CoreWeaveは、迅速な再起動のために最近のチェックポイントを高速な階層に保持することを推奨しており、60日間読み取りがない場合は自動的にアーカイブに階層化されます。クロスリージョン書き込みとアーカイブ階層は現在一般提供されています。

北京千行捷通科技有限公司
Sandy Yang/グローバル戦略ディレクター
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
ビジネスフォーカス:
ICT製品流通/システムインテグレーション＆サービス/インフラストラクチャソリューション
20年以上のIT流通経験を持ち、主要グローバルブランドと提携して信頼性の高い製品とプロフェッショナルサービスを提供しています。
「テクノロジーでインテリジェントな世界を構築する」あなたの信頼できるICT製品サービスプロバイダー！