logo
ホーム ニュース

会社のニュース ビッグ・ブルー・スレッドブック ストレージスケールKVキャッシュ管理

認証
中国 Beijing Qianxing Jietong Technology Co., Ltd. 認証
中国 Beijing Qianxing Jietong Technology Co., Ltd. 認証
顧客の検討
北京Qianxing Jietongの技術Co.、株式会社の販売スタッフは非常に専門および忍耐強い。それらは引用語句をすぐに提供してもいい。プロダクトの質そして包装はまた非常によい。私達の協同は非常に滑らかである。

—— 《のFestfing DVの》 LLC

私がIntel CPUおよび東芝SSDを緊急に捜していたときに、北京Qianxing Jietongの技術Co.、株式会社からのサンディは私に多くの助けを与え、私に私がすぐに必要としたプロダクトを得た。私は実際に彼女を認める。

—— キティ円

北京Qianxing Jietongの技術Co.、株式会社のサンディは私がサーバーを買う時間の構成間違いを私に思い出させることができる非常に注意深いセールスマンである。エンジニアはまた非常に専門で、すぐにテスト プロセスを完了できる。

—— Strelkin Mikhail Vladimirovich

北京千星捷通との仕事は大変満足しています。製品の品質は素晴らしく、納期も常に守られています。営業チームはプロフェッショナルで、忍耐強く、私たちの質問にすべて丁寧に対応してくれます。彼らのサポートに心から感謝しており、長期的なパートナーシップを期待しています。強くお勧めします!

—— アフマド・ナビド

品質: 提供者との素晴らしい経験. MikroTik RB3011は既に使用されていましたが,非常に良い状態で,すべてが完璧に動作しています. コミュニケーションは迅速でスムーズでした.そして私の懸念はすぐに解決されました信頼性の高いサプライヤーです 強くお勧めします

—— ゲラン・コレシオ

オンラインです
会社 ニュース
ビッグ・ブルー・スレッドブック ストレージスケールKVキャッシュ管理

IBM Storage Scale 並列ファイル システムは、NVIDIA Dynamo と組み合わせた分散 KV キャッシュ管理をサポートし、大規模なコンテキスト ワークロードを伴う大規模な AI 推論シ​​ナリオに対応します。

最新の会社ニュース ビッグ・ブルー・スレッドブック ストレージスケールKVキャッシュ管理  0

IBM は、次のタイトルの公式 Redbook をリリースしました。制限のないコンテキスト: 大規模な AI 推論のための高性能 KV キャッシュ プラットフォーム、この共同ソリューションの完全に検証されたリファレンス アーキテクチャを提供します。統合スタックは、Supermicro Petascale ストレージ サーバー、NVIDIA Spectrum-X イーサネット ネットワーキング、IBM Storage Scale Erasurecoding Edition (ECE) を組み合わせて、AI 推論用の高性能共有ストレージ層を構築します。 IBM ITSO (国際技術サポート組織) によって発行された信頼できる技術文書として、IBM Redbooks は、エンタープライズグレードの IBM インフラストラクチャー製品の実践的で詳細な導入ガイダンスを提供します。

IBM、Supermicro、NVIDIA のエンジニアリング チームが共同執筆したこの Redbook は、ロングコンテキスト AI ワークロードの中核的な問題点に対処しています。マルチターン対話アシスタント、RAG 取得アプリケーション、自律エージェント パイプラインなどのユース ケースは、GPU HBM 内に大量の KV キャッシュ データを生成します。キャッシュされたデータが限られた HBM リソースから削除されると、再計算が繰り返されるとレイテンシが大幅に上昇するため、永続的なクロスリクエスト KV キャッシュ ストレージが不可欠になります。

このソリューションは、さまざまなレイテンシと容量の需要に対応する 5 層の階層 KV キャッシュ アーキテクチャを採用しています。
  • G1層: GPU ノードのローカル HBM
  • G2層: CPUノードシステムDRAM
  • G3層: 直接接続ローカル SSD
  • G3.5層: GPU サーバー DPU への直接相互接続を備えた NVIDIA BlueField DPU が前面に配置されたポッド レベルの共有フラッシュ ストレージ
  • G4層: すべての GPU コンピューティング サーバーに接続された外部クロスイーサネット共有ストレージ プール
エンドツーエンドのメモリとストレージ階層をカバーするこの多層セットアップは、継続的なレイテンシと容量の勾配を実現します。これにより、NVIDIA Dynamo は、ストレージ スタック全体にわたってインテリジェントなキャッシュの配置、自動エビクション、動的なデータの再ロードを実行し、さまざまなワークロードのアクセス パターンとインフラストラクチャの総コスト予算に柔軟に適応できます。

Supermicro Petascale ストレージ サーバーに導入された Storage Scale ECE は、G4 コールド キャッシュ層として機能します。これは、非アクティブなマルチターン会話状態、共有エージェント コンテキスト データ、即時応答を必要としない履歴クエリ レコードなど、遅延に敏感でない KV キャッシュ データ用に最適化されています。

レッドブックに記録されたテスト結果によると、この実稼働対応リファレンス アーキテクチャは、生成 AI およびエージェント AI 推論サービスを効果的に高速化します。外部ストレージ スケール KV キャッシュを使用しないスタンドアロン GPU サーバーと比較した単一リクエスト TTFT (Time To First Token) テストでは、統合システムはプロンプトの長さの変更に関係なく安定した TTFT を維持します。それは、56 倍のスピードアップ130k トークンの入力シーケンス未満で、プロンプトの長さの延長によって生じる推論レイテンシの変動を完全に排除します。

同時マルチユーザー推論のプレッシャーの下で、このソリューションは劇的なパフォーマンスの向上を達成します。リクエストのスループットは 0.19 RPS から 4.26 RPS に急増し、スループットが 22 倍向上。一方、200 件の推論リクエストの合計処理時間は 95% 減少し、GPU の使用効率と全体的な推論クラスターのスケーラビリティが大幅に向上しました。

このスタックは、過酷なノイズの多い近隣ストレス テスト下でも堅牢なパフォーマンスを維持します。 4 つのクライアント エンドが継続的に 200 GB/秒の競合ネットワーク I/O トラフィックを生成している場合でも、統合システムは依然として 3.6 RPS で安定して動作し、200 の推論リクエストすべてを 55.56 秒以内に完了します。スループットは維持されます18倍高いベースラインの GPU のみの再計算アーキテクチャよりも優れています。

研究チームはレッドブックで次のように結論付けています。「高価な GPU ハードウェアへの投資で ROI の最大化を目指す企業にとって、この検証済みの統合アーキテクチャは、推論スループットの向上、エンドツーエンドのレイテンシーの削減、より高いサービスの同時実行性のサポート、よりコスト効率の高い大規模 AI 推論インフラストラクチャの構築に対する、直接的な実稼働対応のアプローチを提供します。」

キーワード: SUPERMICRO、IBM Storage Scale、NVIDIA Dynamo

北京乾興解放科技有限公司
サンディ・ヤン/グローバル戦略ディレクター
WhatsApp / WeChat: +86 13426366826
電子メール: yangyd@qianxingdata.com
ウェブサイト: www.qianxingdata.com/www.storagesserver.com
ビジネスの焦点:
ICTプロダクト流通/システムインテグレーション&サービス/インフラソリューション
20 年以上の IT 流通経験を持つ当社は、主要な世界的ブランドと提携して、信頼性の高い製品とプロフェッショナルなサービスを提供しています。
「テクノロジーを活用してインテリジェントな世界を構築する」信頼できる ICT 製品サービス プロバイダー!
パブの時間 : 2026-06-12 11:09:46 >> ニュースのリスト
連絡先の詳細
Beijing Qianxing Jietong Technology Co., Ltd.

コンタクトパーソン: Ms. Sandy Yang

電話番号: 13426366826

私達に直接お問い合わせを送信 (0 / 3000)