NVIDIAは本日 サンホセで開催された GPU技術会議 (GTC) で ハードウェアの重要な更新を発表しました20億ドルでGroqと 知的財産を買収した2ヶ月後Groqの言語処理ユニット (LPU) は既に大量生産中ですNVIDIAの完全なVera Rubinチップスタックに統合されています. 現在,生産を開始した合計7つの新しいチップが含まれています..
Groqは2016年に,元の Tensor Processing Unit (TPU) チームの一員であった元Googleエンジニアによって設立されました.同社は,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速,高速.低レイテンスのAI推論処理イアン・バック,NVIDIAの副社長,加速コンピューティングの総務Rubin GPU の"極端なフラップ"と Groq LPU の強力な帯域幅を組み合わせることで,AI ワークロードのためのユニークな強力なソリューションを作成すると述べました.
流通市場向けに高スループットと高速なトークン率を提供し,一般的なAIタスクで優れている.バックは前日の記者会見でしかしLPUは極低レイテンシートークン生成のみに最適化されており,毎秒数千トークンをプッシュすることができます.
"このレベルに達するには複数のチップが必要である"と付け加えた.バックによると,Grock 3 LPUは SRAM のわずか500 MB,Rubin GPU のメモリ容量のわずか1/500 にしかなりません.しかし,帯域幅は例外的です. ルビンGPUは22TBpsまで提供します.Groq LPUは1秒間に150TBに達する.
NVIDIAは2つのプロセッサーを組み合わせようとしています バックが確認したように GPUの解読作業と LPUの低遅延作業を統一するために単一のコンポーネントではなく,単一のシステムとして動作できるように.
NVIDIAがGTCで発表したGroq 3 LPXラックは,NVL72ラックと共に展開され,AI推論とエージェント的なAIワークロードのための専用能力を提供します.Groq 3 LPXラックは最大 256 LPU 加速器を収納できますSRAMの28GBと SRAMメモリ帯域幅の40ペタバイトを備えています. ラックは合計で640TBのスケールアップ帯域幅を提供します.1 つ以上の容量にスケールすることができます.1000 LPU がある
グロック3LPXラックとRubin NVL72システムを組み合わせることで 顧客は1兆のパラメータGPTモデルで たった45ドルで100万トークンを生成できますNVIDIAによるとこの数字はRubin NVL72システムだけで生成できるトークンの35倍です
Groq 3 LPUは NVIDIAが AIの推論能力を高めるために利用する唯一の新しいチップではありません.同社はまた,Vera CPU の専用ラックも発表しました. ARM ベースのプロセッサは,Nvidia の NVL72 および NVL8 システムのコアにあるスーパーチップを構築するために,2 つの Rubin GPU とペアリングされました..
CPUがAI推論と代理AIワークロードの主要なボトルネックとして出現しているため,企業はますますより多くのCPUリソースを要求しています.NVIDIAは独立CPU専用ラックを発表しました,Vera CPU Rackと名付けられ,300TBpsで動作する400TBのLPDDR5xメモリに接続された256つのVera CPUが搭載されている.
ヴェラCPUラックには,スペクトラムXイーサネットスピンと64つのブルーフィールド-4データ処理ユニット (DPU) も搭載されている.これらのDPUは,NVIDIAのNVLink-C2Cインターコネクト経由でNVL72システムのGPUと連携する.PCIe Gen 6 の7倍もの帯域幅を1社あたり1.8TBpsのコアレンスの帯域幅を提供しています.
NVIDIAはVeraラックが22,500の同時CPU環境をサポートし,AI推論とエージェントワークロードをスムーズに実行するために必要な大規模なCPU需要を満たすと述べています.レイクは液体冷却を使用し,NvidiaのMGX参照アーキテクチャに構築されています.80のエコシステムパートナーがサポートしており,NVIDIAのグローバルパートナーネットワークを通じて配布されます.
NVIDIAはまた,新しいAIスーパーコンピュータを構成するNVIDIAが宣伝した7つの新しいチップの1つであるBlueField-4 DPUで満たされた新しいラックを発表しました.BlueField-4 STXは,Nvidiaの新しいCMX (コンテキストメモリストレージ) プラットフォームの最初のラックスケール実装である.HBMからGPUメモリをNVMeストレージに拡張する.CMXを1月に発表し,VAST DataなどのNvidiaのストレージパートナー,数週間前に開催されたカンファレンスでNVIDIA STX 参照アーキテクチャで採用し始めています
バック氏は"STXは,高帯域幅の共有層で,代理ワークフローによって生成される大規模なキー値キャッシュデータを保存し,取得するために最適化されています. これは参照アーキテクチャです.NVIDIAは直接提供するつもりはありません., we’re providing [the reference architecture] to all of our storage partners and the entire storage ecosystem so that they can build the next generation of storage for AI factories that has 4x the performance per watt企業データでは1秒あたり2倍ものページを処理し,AI工場で代理作業流程を実行するために必要なコンテキストメモリの1秒あたり5倍ものトークンを提供します.
クルーディアン,DDN,デル・テクノロジーズ,エヴァルピュア (以前はピュア・ストレージ),ヒタチ・ヴァンタラ,HPE,IBM,ミニオ,ネットアップ,ヌタニックスWEKAはブルーフィールド-4 STX参照アーキテクチャで新しいストレージを構築していますNVIDIAはCoreWeave,Crusoe,IREN,Lambda,Mistral AI,Nebius,Oracle Cloud Infrastructure (OCI) やVultrなどの企業が採用している一方で,NVIDIAはCoreWeave,Crusoe,IREN,Lambda,Mistral AI,Nebius,Oracle Cloud Infrastructure (OCI) といった企業も採用している.
NVIDIAはGTCで7つの新しいチップを展示し,それぞれがVera RubinプラットフォームのAIを動かす役割を果たしています.Vera CPU,Rubin GPU,NVLink 6 Switch,ConnectX-9 SuperNIC,ブルーフィールド4 DPUNVIDIAはGTC 2025でSpectrumXチップを発表しました. NVIDIAはGTC 2025でSpectrumXチップを発表しました. NVIDIAはGTC 2025でSpectrumXチップを発表しました.生産中です"CEOのJensen Huangが基調講演で述べた.
北京・チアンシン・ジテング・テクノロジー株式会社
サンディ・ヤン/グローバル戦略ディレクター
WhatsApp / ウェイチャット: +86 13426366826
メール: yangyd@qianxingdata.com
ウェブサイト:www.qianxingdata.com/www.storagesserver.com
ビジネス フォーカス
ICT製品配布/システム統合とサービス/インフラストラクチャソリューション
20年以上のIT販売経験を持つ私たちは 信頼性の高い製品とプロフェッショナルなサービスを提供するために グローバルブランドと提携しています
テクノロジーを使ってインテリジェントな世界を作ろう あなたの信頼できるICT製品サービスプロバイダー!
Japanese
