Japanese
MinIOは,大規模なAI推論パイプライン内の重要なボトルネックを解決するために構築された専用コンテキストメモリストアである MemKV をリリースしました.AIStorと共に2番目の旗艦ソリューションとして MinIOを展開するMemKVは,同社のデータインフラストラクチャをメモリ層にまで拡張し,分散型GPUクラスターで実行される代理AIワークロードのための持続的,共有された文脈データを提供するように設計されています.
ミニオ・AIStor
AIシステムが 一回的応答から 多ターン推論や自動化された作業実行へと 進歩するにつれて 推論サイクルの連続的な文脈を維持することは 重要になってきています既存のアーキテクチャの下でグラフグラフィック・マニュアル (GPU) は,HBMやDRAMを含むGPU付近のメモリ層の容量が限られているため,コンテキストデータはしばしば廃棄される.これはGPUが既存のコンテキストを繰り返し再計算することを余儀なくし,レイテンシーを増加させる.計算用量と消費電力この冗長なワークロードを"再計算税"と定義し,この不効率はハイパースケールクラウド環境では指数的に悪化します.
メムKVは この痛みを軽減するために 設計されています 共有された持続的なメモリ層を通じて マイクロ秒間のアクセス遅延で ペタバイト規模のストレージが可能です結論付け作業流程全体で文脈データを保持することで冗長なコンピューティングを削減し インフラ全体の効率を高めますMinIOの内部ベンチマークデータは,生産レベルの並行性下で,タイム・トゥ・ファースト・トークン遅延の改善を確認128GPUと128Kトークンコンテキストウィンドウを搭載した典型的な展開では,GPU利用率は約50%から90%以上に上昇し,年間計算コストの大幅な削減をもたらしました.
MinIOの幹部は,再計算オーバーヘッドは小規模な展開では目に見えないままですが,企業規模での基本的な構造的な欠陥になります. GPUクラスタが拡大するにつれて,繰り返された文脈再生は,より高い電力消費とインフラストラクチャのコストを伴うAIの持続的な運用に不可欠な特殊メモリシステムです
記憶 スケール の 妥協 に 対処 する
古いAIインフラストラクチャは 開発者にアクセス速度とストレージ容量との間で妥協を迫りますHBM や DRAM などの高性能メモリ層は,マイクロ秒遅延を提供するが,容量制限が厳しく,コストが高くなります.対照的に,従来のストレージシステムは大規模なスケーラビリティを提供していますが,ミリ秒レベルのレイテンシーに苦しんでいます.
マイクロンHBM4
メムKVは,超低レイテンシーと大きなストレージスケーラビリティをバランスする中間共有メモリ層を導入することで,この業界ギャップを埋める.NVIDIA BlueField-4 STXとネイティブに互換性があり,NIXLツールとともにNVIDIA Dynamoと統合されている.このソリューションにより,GPUクラスタ全体が,推論に準拠した送信速度で統一された文脈データプールにアクセスできます.このデザインは,孤立したメモリとストレージ層間の頻繁なコンテキストデータ移行を排除します.遅延を低減し システムのスループットを増やします
NVIDIA ブルーフィールド-4
推論作業負荷のために最適化されたアーキテクチャ
メムKVは,インファレンスデータパイプライン専用に設計され,MiniOのGPUメモリ階層フレームワークのG3.5層に適合する.NVMeストレージインフラストラクチャに構築されている.マイクロ秒間のアクセス遅延を維持しながらペタバイトレベルの容量を達成しますGPUのコンピューティングリソースからメモリのスケーラビリティを成功裏に切り離した.
このシステムは,従来のストレージ抽象化を放棄し,端から端へのRDMA送信を通じてNVMeドライブからAIデータパイプラインに直接データを転送します.HTTP プロトコルによるパフォーマンスオーバーヘッドを削減しますファイルシステム変換および中間ストレージサーバーは,オブジェクトおよびファイルベースのストレージアーキテクチャにおける一般的なボトルネックです.
ソース: グーグル
主要なアーキテクチャ最適化には,外部 x86 ストレージノードへの依存を減らすためにストレージレイヤに直接埋め込まれた NVIDIA BlueField-4 STX のネイティブ ARM64 バイナリー実行が含まれます.GPUメモリとNVMeストレージ間のすべてのデータ転送は,RDMA送信を採用する.また,MemKV は 2 MB から 16 MB までのブロックサイズを拡張しています.既存の 4 KB ストレージブロックの代わりに GPU のスループット特性に最適化されているNVIDIA Spectrum-X Ethernet と PCIe Gen6 のような最先端の高速インターコネクションファブリックをサポートし,クラスター間でのほぼワイヤー速度データ転送を容易にする.
利用可能性
ミニオ MemKV は,企業向けに現在商業的に利用可能になっています.
北京・チアンシン・ジテング・テクノロジー株式会社
サンディ・ヤン/グローバル戦略ディレクター
WhatsApp / ウェイチャット: +86 13426366826
メール: yangyd@qianxingdata.com
ウェブサイト:www.qianxingdata.com/www.storagesserver.com
ビジネス フォーカス
ICT製品配布/システム統合とサービス/インフラストラクチャソリューション
20年以上のIT販売経験を持つ私たちは 信頼性の高い製品とプロフェッショナルなサービスを提供するために グローバルブランドと提携しています
テクノロジーを使ってインテリジェントな世界を作ろう あなたの信頼できるICT製品サービスプロバイダー!
サンディ・ヤン/グローバル戦略ディレクター
WhatsApp / ウェイチャット: +86 13426366826
メール: yangyd@qianxingdata.com
ウェブサイト:www.qianxingdata.com/www.storagesserver.com
ビジネス フォーカス
ICT製品配布/システム統合とサービス/インフラストラクチャソリューション
20年以上のIT販売経験を持つ私たちは 信頼性の高い製品とプロフェッショナルなサービスを提供するために グローバルブランドと提携しています
テクノロジーを使ってインテリジェントな世界を作ろう あなたの信頼できるICT製品サービスプロバイダー!