会社のニュース Inferra は Lightbits のメモリ 壁 破壊 推論

私は、単語数を8%削減し、コアとなる事実、ベンチマーク、引用、技術ロジックはすべて維持し、リンクはすべて削除しました。LightbitsのInferraソフトウェアは、KVキャッシュ操作を高速化し、AI推論のメモリウォールを打破し、GPU利用率を劇的に向上させます。高性能ブロックストレージ企業であるLightbitsは、GPUの高帯域幅メモリ（HBM）を仮想化するためにInferraを構築しました。KVキャッシュは、LLM推論中に事前に計算されたアテンションキーと値を格納し、シーケンスデータの冗長な再計算を回避し、生成AIのパフォーマンスを向上させます。

標準的なKVキャッシュでは、キャッシュされたデータはGPU HBMに限定されます。HBMが飽和すると、既存のKVペアは新しいデータのために追い出され、再利用時に時間のかかる再計算が必要になります。最新の階層型KVキャッシュは、ストレージをサーバーDRAM、ローカルNVMe SSD、リモートネットワークNVMeドライブに拡張します。上位の階層はアクセスレイテンシが長くなりますが、この遅延は広範なトークンベクトルの再計算よりも短いことがよくあります。

Inferraは、長文脈KVキャッシュフットプリントの拡大に起因する重要なメモリボトルネックに対処します。これにより、クラウドおよびエンタープライズユーザーは、キャッシュ容量を拡張するための高価なGPUおよびHBMハードウェアアップグレードなしで、より高速でスケーラブルなAI推論を実行できます。

Lightbits Labsの共同創業者兼会長であるAvigdor Willenzは、2026年の1170億ドルのAI推論市場が、従来のトレーニング中心のベンダーに再アーキテクチャを強制すると指摘しました。彼は、従来のストレージおよびトレーニングシステムは、古いワークロードパラダイムのために設計されたため、KVキャッシュのボトルネックに対応できるように改造できないと強調しました。GPU推論効率のために専用に構築されたInferraは、顧客のベータプログラムで検証済みの価値があり、ベンダーのNVMe over TCPイノベーションを拡張して、最新の推論のペインポイントを解決します。

KVキャッシュ最適化プリフェッチアルゴリズムを搭載したInferraは、GPUの要求の前に将来のKVキャッシュデータを積極的にロードします。これは、厳格なSLAコンプライアンス（ハードウェアアップグレード不要）で既存のGPUハードウェアで最大16倍の同時推論セッション、再計算ではなく予測アテンション状態プリフェッチによるTTFTとTPOTの削減による最大100倍のレイテンシ改善と1000万トークンのコンテキストウィンドウのサポート、共有推論クラスター向けのインテリジェント統合KVキャッシュ管理によるセキュアなテナント分離という3つのコアメリットを提供します。

Inferraは、マルチティアメモリおよびストレージ全体でGPUメモリを仮想化することにより、推論経済を再定義し、断片化されたKVキャッシュを永続的でインテリジェントなデータレイヤーに変えます。サーバーのx86サブシステムに展開され、KVキャッシュブロックのアクティビティを監視し、Sub-Linear Sparse Attention Prefetch（SLSAP）エンジンを活用します。局所性依存ハッシュと過去のアテンション再利用パターンを組み合わせることで、マルチターンチャットおよびRAGワークフローにおける最近のトークン、意味的に類似したコンテンツ、構造的パターンを含む、頻繁に再利用されるKVブロックをランク付けおよび優先順位付けします。システムは、サーバーDRAMまたは外部SSDからターゲットブロックを取得し、RDMA経由でGPU HBMにプリロードします。

OVHの最高製品・技術責任者であるYaniv Fdidaは、Inferraが大幅なGPU利用率の向上を実現し、スケーラブルでコスト効率の高いAIエージェントおよびRAGワークロードインフラストラクチャを可能にすることを検証しました。

公開ベンチマーク結果は、劇的なパフォーマンス向上を確認しています。Qwen 2.5-7B（410Kコンテキスト）は102倍高速化（72.6秒→711ミリ秒）、DeepSeek-R1-70B（141Kコンテキスト）は152倍向上（70.8秒→465ミリ秒）、Llama-4-Scout（10Mコンテキスト）は380倍の飛躍（1.5時間→13秒）を達成しました。

ハードウェアに依存せず、すべての主要なオープンソース推論フレームワークと互換性のあるInferraは、Dynamo、vLLM、LMCacheプラグインをサポートしています。ユニークなことに、コンテキスト長に対してサブ線形TTFTスケーリングを提供しますが、DDN、VAST Data、WEKAなどの競合他社は線形スケーリングまたはリアクティブストリーミングしか提供しません。Lightbitsは、コモディティL40S GPUで安定した10Mトークンコンテキスト推論を実証しており、これは競合ベンダーには匹敵しないベンチマークです。

Lightbits LabsのAI製品およびビジネス担当SVPであるRamesh Chettuvettyは、Inferraが即時のTCO削減を実現し、長文脈推論の遅延を解消し、企業がより大きなモデルとより長い対話ワークロードをより低いインフラストラクチャコストで実行できるようにすると述べています。ユーザーは、ベンダーの公開効率評価プラットフォームを通じてInferraの推論コスト最適化メリットを評価できます。ScaleFluxとの3月の共同デモでは、Inferraは計算ストレージSSDワークロードで100倍から280倍のKVキャッシュアクセラレーションを達成しました。

北京千星捷通科技有限公司

Sandy Yang/グローバル戦略ディレクター
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
ビジネスフォーカス:
ICT製品流通/システムインテグレーション＆サービス/インフラストラクチャソリューション
20年以上のIT流通経験を持ち、主要グローバルブランドと提携して信頼性の高い製品とプロフェッショナルサービスを提供しています。
「テクノロジーでインテリジェントな世界を構築する」あなたの信頼できるICT製品サービスプロバイダー！