Japanese
パリで開催されたRAISEサミットで DDNは,大規模なAI推論展開の効率向上に焦点を当てた欧州の主権ハイブリッドクラウドプロバイダーであるNebulとの継続的な協力を披露しました.先週公開された,この共同イニシアチブは,Nebulの推論プラットフォーム,DDNのInfiniaデータインテリジェンスアーキテクチャー,NVIDIAの加速コンピューティングを統合し,主要な生産AIボトルネックを解決します:データ移動コストと推論ワークロード中のパフォーマンス制限.
DDNは,重要な生産指標: GPU利用量,トークン通量,トークン1台あたりのコスト,そして遅延を中心に 連携を図っています. モデルトレーニングがAI資産価値を構築する一方で,推論は,その運用および商業的収益を定義します.代理AIの採用が増加し,検索強化生成 (RAG)ストレージとデータインフラストラクチャが加速器の効率とAI応答速度に直接影響を与える.
この積極的な概念実証プロジェクトは 初期に有望な結果をもたらしましたパートナーは,KVキャッシュを有効にして RoCE ベースのインフラストラクチャの検証を完了し,トークンのタイム・トゥ・ファーストの測定可能な改善を記録しました.継続的なベンチマークは,より長い推論配列の長さをカバーし,インフィニアプラットフォームのさらなる最適化可能性を解く.同社は,ベンチマークフレームワークに関するNVIDIAの共同努力にも拡大しています.拡張性検証,そして将来的な技術出版物.
統合プラットフォームは,分散型KVキャッシュサービス,GPUネイティブデータ移動,インテリジェントデータオーケストレーション,および高性能ストレージアーキテクチャを活用しています.KVキャッシュ加速は,事前計算された注意状態を保存し,迅速に取得することで,顕著な推論利益をもたらします.冗長な計算を削減し,GPUのイオン状態を引き起こすデータ配信遅延を排除します.
DDN,NEBUL,NVIDIAのリーダーは,大きな産業変化を強調しました. AIインフラストラクチャの優先順位は,原始GPUの展開から,運用効率へと移行しています.既存の加速器のハードウェアから収益を最大化する. DDN CEO Alex Bouzari and Nebul CEO Arnold Juffer noted that past focus on larger model scales has given way to optimizing inference economics to make production AI commercially viable via lower per-token costsNVIDIA クラウドインフラストラクチャの VP ロッド・エヴァンスは,大規模なエージェントワークロードは,単なるコンピューティングパワーではなく,GPUの利用率と遅延率によってインフラストラクチャの成功を測ると付け加えた.
DDNは,AI実行ワークフローを積極的にサポートするために,AIインフラストラクチャは基本的なストレージ機能を超えて進化しなければならないと強調しています.現在,同社のインフラストラクチャプラットフォームは 世界中で100万台以上のGPUを動かす.ハイパースケーラー,クラウドプロバイダー,企業,政府,研究機関にサービスを提供しています
現代のAIインフラストラクチャチームは 現在 これらの主要な生産指標を優先しています
GPU の利用量: 推論中に効果的な加速器活動を測定し,高級GPUハードウェアの価値を最大化します.
トークンあたりコスト: インフラストラクチャのパフォーマンスをAIモデル出力運用コストと直接リンクする.
ワットあたりトークン: AI inference output のエネルギー効率を評価する.
最初のトークンの時間: インタラクティブなAIアプリケーションの応答性とユーザー体験を決定します.
生産までの時間: AIサービスをテストからスケーラブルな商業展開に移行するための運用努力を定量化します.
低コストでGPUにキャッシュされたコンテキストと企業データを配信する安定した遅延は,高いGPU利用率を維持し,長期的な運用コストを制御するために不可欠です..
北京・チアンシン・ジテング・テクノロジー株式会社
サンディ・ヤン/グローバル戦略ディレクター
WhatsApp / ウェイチャット: +86 13426366826
メール: yangyd@qianxingdata.com
ウェブサイト:www.qianxingdata.com/www.storagesserver.com
ビジネス フォーカス
ICT製品配布/システム統合とサービス/インフラストラクチャソリューション
20年以上のIT販売経験を持つ私たちは 信頼性の高い製品とプロフェッショナルなサービスを提供するために グローバルブランドと提携しています
テクノロジーを使ってインテリジェントな世界を作ろう あなたの信頼できるICT製品サービスプロバイダー!
サンディ・ヤン/グローバル戦略ディレクター
WhatsApp / ウェイチャット: +86 13426366826
メール: yangyd@qianxingdata.com
ウェブサイト:www.qianxingdata.com/www.storagesserver.com
ビジネス フォーカス
ICT製品配布/システム統合とサービス/インフラストラクチャソリューション
20年以上のIT販売経験を持つ私たちは 信頼性の高い製品とプロフェッショナルなサービスを提供するために グローバルブランドと提携しています
テクノロジーを使ってインテリジェントな世界を作ろう あなたの信頼できるICT製品サービスプロバイダー!