もちろん、L4の価格が約2500ドル、A2がその半額程度、そして古いがまだかなり高性能なT4が中古で1000ドル未満で入手可能であることを考えると、これらの3つの推論GPUの違いは何なのかという疑問が生じます。

これらの3つのカードを見る上で理解すべきことは、それらが世代的に1対1の置き換えではないということです。これが、T4が長年経っても一部のユースケースで人気のある選択肢であり続けている理由を説明しています。A2は、低消費電力でより互換性の高い（x8対x16メカニカル）オプションとしてT4の後継として登場しました。技術的には、L4はT4の後継であり、A2は将来的にリフレッシュされるかもしれないされないかもしれない中間的な位置を占めています。

MLPerf Inference 3.1 パフォーマンス

MLPerfは、学術界、研究機関、産業界のAIリーダーからなるコンソーシアムであり、公正で関連性の高いAIハードウェアおよびソフトウェアベンチマークを提供するために設立されました。これらのベンチマークは、さまざまなタスクとシナリオにおける機械学習ハードウェア、ソフトウェア、およびサービスのパフォーマンスを測定するように設計されています。

私たちのテストは、2つの特定のMLPerfベンチマークに焦点を当てています：Resnet50とBERT。

• Resnet50：これは主に画像分類に使用される畳み込みニューラルネットワークです。画像処理に関連するディープラーニングタスクをシステムがどの程度うまく処理できるかを示す良い指標です。
• BERT（Bidirectional Encoder Representations from Transformers）：このベンチマークは自然言語処理タスクに焦点を当てており、システムが人間の言語を理解し処理する能力を評価します。

これらの両方のテストは、画像および言語処理を含む実際のシナリオにおけるAIハードウェアの能力を評価するために重要です。

これらのベンチマークを使用したNVIDIA L4の評価は、特定のAIタスクにおけるL4 GPUの能力を理解する上で重要です。また、さまざまな構成（シングル、デュアル、クアッドセットアップ）がパフォーマンスにどのように影響するかについての洞察も提供します。この情報は、AIインフラストラクチャを最適化したい専門家や組織にとって不可欠です。

モデルは、サーバーとオフラインの2つの主要なモードで実行されます。

• オフラインモード：このモードは、すべてのデータが同時に処理可能である場合のシステムのパフォーマンスを測定します。これは、システムが一括で大規模なデータセットを処理するバッチ処理に似ています。オフラインモードは、レイテンシが主要な懸念事項ではないが、スループットと効率が重要なシナリオに不可欠です。
• サーバーモード：対照的に、サーバーモードは、リクエストが一度に1つずつ入ってくる実際のサーバー環境を模倣したシナリオでのシステムのパフォーマンスを評価します。このモードはレイテンシに敏感であり、システムが各リクエストにどれだけ迅速に応答できるかを測定します。これは、即時の応答が必要なWebサーバーやインタラクティブアプリケーションなどのリアルタイムアプリケーションに不可欠です。

1 x NVIDIA L4 – Dell PowerEdge XR7620

最近のDell PowerEdge XR7620のレビューの一部として、単一のNVIDIA L4を搭載し、MLPerfを含むいくつかのタスクを実行するためにエッジに持ち込みました。

私たちのテストシステムの構成は、以下のコンポーネントを含んでいました：

• 2 x Xeon Gold 6426Y – 16コア 2.5GHz
• 1 x NVIDIA L4
• 8 x 16GB DDR5
• 480GB BOSS RAID1
• Ubuntu Server 22.04
• NVIDIA Driver 535

Resnet50およびBERT K99のサーバーおよびオフラインシナリオでのパフォーマンスはほぼ同一であり、L4が異なるサーバーモデル間で一貫したパフォーマンスを維持していることを示しています。

1、2、4基のNVIDIA L4 – Dell PowerEdge T560

私たちのレビューユニットの構成は、以下のコンポーネントを含んでいました：

• 2 x Intel Xeon Gold 6448Y (各32コア/64スレッド、225ワットTDP、2.1-4.1GHz)
• 8 x 1.6TB Solidigm P5520 SSD (PERC 12 RAIDカード付き)
• 1-4x NVIDIA L4 GPU
• 8 x 64GB RDIMM
• Ubuntu Server 22.04
• NVIDIA Driver 535

Dell T560で2基のL4を使用したテストでは、Resnet50およびBERT K99ベンチマークの両方でほぼ線形のスケーリングパフォーマンスが観察されました。このスケーリングは、L4 GPUの効率と、オーバーヘッドや非効率による大きな損失なしに連携して動作する能力の証です。

2基のNVIDIA L4 GPUで確認された一貫した線形スケーリングは、4基のL4ユニットを搭載した構成にも印象的に拡張されます。このスケーリングは、並列処理とリソース管理の複雑さにより、GPUを追加するたびに線形パフォーマンスの向上がますます困難になるため、特に注目に値します。

これらの結果は説明目的のみであり、競争的または公式なMLPerfの結果ではありません。完全な公式結果リストについては、MLPerf結果ページをご覧ください。

NVIDIA L4 GPUの線形スケーラビリティを検証することに加えて、ラボでのテストは、これらのユニットをさまざまな運用シナリオに展開する実際的な影響を明らかにしました。たとえば、L4 GPUを使用したすべての構成で、サーバーモードとオフラインモード間のパフォーマンスの一貫性は、それらの信頼性と汎用性を明らかにしています。

この側面は、運用コンテキストが大きく異なるビジネスや研究機関にとって特に重要です。さらに、インターコネクトのボトルネックの影響が最小限であること、およびマルチGPUセットアップでのGPU同期の効率に関する観察は、AIインフラストラクチャをスケーリングしたい人々にとって貴重な洞察を提供します。これらの洞察は、単なるベンチマーク数値を超え、そのようなハードウェアが実際のシナリオでどのように最適に活用できるかについての深い理解を提供し、AIおよびHPCインフラストラクチャにおけるより良いアーキテクチャ上の決定と投資戦略を導きます。

NVIDIA L4 – アプリケーションパフォーマンス

新しいNVIDIA L4のパフォーマンスを、その前に登場したNVIDIA A2およびNVIDIA T4と比較しました。過去のモデルに対するこのパフォーマンスアップグレードを示すために、すべての3つのモデルをラボのサーバーに展開し、Windows Server 2022と最新のNVIDIAドライバーを使用し、GPUテストスイート全体を活用しました。

これらのカードは、以下の構成のDell Poweredge R760でテストされました：

• 2 x Intel Xeon Gold 6430 (32コア、2.1GHz)
• Windows Server 2022
• NVIDIA Driver 538.15
• 1xサンプリングのためにすべてのカードでECCを無効化

この3つのエンタープライズGPUグループ間のパフォーマンステストを開始するにあたり、以前のA2およびT4モデル間の独自のパフォーマンスの違いに注意することが重要です。A2がリリースされたとき、それは低消費電力や、古いT4が必要としていたより大きなPCIe Gen3 x16スロットではなく、より小さなPCIe Gen4 x8スロットでの動作など、いくつかの注目すべき改善を提供しました。すぐに、特に必要なフットプリントが小さいシステムにスロットインできるようになりました。

Blender OptiX 4.0

Blender OptiXはオープンソースの3Dモデリングアプリケーションです。このテストはCPUとGPUの両方で実行できますが、ここでは他のほとんどのテストと同様にGPUのみを実行しました。このベンチマークは、Blender Benchmark CLIユーティリティを使用して実行されました。スコアはサンプル/分であり、高いほど良いです。

Blackmagic RAW Speed Test

BlackmagicのRAW Speed TestでCPUとGPUをテストし、ビデオ再生速度を測定します。これはCPUとGPUのパフォーマンスを含むハイブリッドテストであり、実際のRAWデコードをテストします。これらは個別の結果として表示されますが、ここではGPUのみに焦点を当てているため、CPUの結果は省略します。

Cinebench 2024 GPU

MaxonのCinebench 2024は、すべてのCPUコアとスレッドを利用するCPUおよびGPUレンダリングベンチマークです。ここでもGPUの結果に焦点を当てているため、CPU部分のテストは実行しませんでした。スコアが高いほど良いです。

GPU PI

GPUPI 3.3.3は、GPUとCPUのハードウェアアクセラレーションを使用して数十億桁のπ（パイ）を計算するように設計された軽量ベンチマークユーティリティのバージョンです。OpenCLとCUDAのコンピューティングパワーを活用しており、これには中央処理装置とグラフィック処理装置の両方が含まれます。3つのGPUすべてでCUDAのみを実行し、ここでの数値は削減時間を含まない計算時間です。低いほど良いです。

前の結果はカードの単一イテレーションのみを見ていましたが、Dell PowerEdge T560内の5x NVIDIA L4展開も確認する機会がありました。

Octanebench

OctaneBenchは、V-Rayと同様のRTXサポートを備えた別の3DレンダラーであるOctaneRenderのベンチマークユーティリティです。

Geekbench 6 GPU

Geekbench 6は、システム全体のパフォーマンスを測定するクロスプラットフォームベンチマークです。CPUとGPUの両方のベンチマークオプションがあります。スコアが高いほど良いです。ここでも、GPUの結果のみを確認しました。

Geekbench Browserで任意のシステムとの比較を見つけることができます。

Luxmark

LuxMarkは、オープンソースの3DレンダリングエンジンLuxRenderを管理する人々からのOpenCLクロスプラットフォームベンチマークツールです。このツールは、3Dモデリング、照明、ビデオワークにおけるGPUパフォーマンスを評価します。このレビューでは、最新バージョンv4alpha0を使用しました。LuxMarkでは、スコアに関しては高いほど良いです。

GROMACS CUDA

また、分子動力学ソフトウェアであるGROMACSをCUDA用に特別にコンパイルしました。このカスタムコンパイルは、計算シミュレーションの高速化に不可欠な5基のNVIDIA L4 GPUの並列処理能力を活用するために行われました。

プロセスには、NVIDIAのCUDAコンパイラであるnvccの使用と、バイナリがサーバーのアーキテクチャに適切にチューニングされていることを確認するための適切な最適化フラグの多くのイテレーションが含まれていました。GROMACSコンパイルにCUDAサポートを含めることで、ソフトウェアはGPUハードウェアと直接インターフェースできるようになり、複雑なシミュレーションの計算時間を大幅に短縮できます。

テスト：Gromacsでのカスタムタンパク質相互作用

私たちの多様なDiscordコミュニティから提供された、特定のタンパク質相互作用研究に合わせて調整されたパラメータと構造を含むコミュニティ提供の入力ファイルを利用して、分子動力学シミュレーションを開始しました。結果は驚くべきものでした。システムは1日あたり170.268ナノ秒のシミュレーションレートを達成しました。

AIを超えて

今日のAIランドスケープにおける絶え間ないイノベーションの波の中で、さまざまなハードウェアプラットフォームの能力を測定し理解することは極めて重要です。すべてのAIアプリケーションが大規模なGPUトレーニングファームを必要とするわけではありません。エッジでしばしばより少ないGPUパワーを要求する推論AIの重要なセグメントが存在します。このレビューでは、3つの異なるDellサーバーに搭載された複数のNVIDIA L4 GPUと、MLperfを含むさまざまなワークロードを調査し、L4のパフォーマンスを評価します。

 

NVIDIA L4

NVIDIA L4 GPU

コアとして、L4は印象的な30.3テラフロップスのFP32パフォーマンスを提供し、高精度な計算タスクに最適です。その機能は、TF32、FP16、およびBFLOAT16 Tensor Coreを介した混合精度計算にまで及びます。これらはディープラーニングの効率を高めるための重要な機能です。L4の仕様シートによると、これらの混合精度モードでのパフォーマンスは60から121テラフロップスの範囲です。

 

L4は低精度タスクに優れており、FP8およびINT8 Tensor Coreで242.5テラフロップスを誇り、ニューラルネットワーク推論パフォーマンスを大幅に向上させます。24GBのGDDR6メモリと300GB/sの帯域幅を備えており、大規模なデータセットや複雑なモデルを容易に処理できます。しかし、L4で最も際立っているのはエネルギー効率です。72WのTDPで、さまざまなコンピューティング環境に適しています。この高いパフォーマンス、メモリ効率、および低消費電力の組み合わせにより、NVIDIA L4はエッジコンピューティングの課題に対処するための魅力的な選択肢となります。

 

AIに関する話題が最高潮に達している中、L4のAIモデルでのパフォーマンスだけに固執しがちですが、それにはいくつかの他の隠し技があり、ビデオアプリケーションの世界の可能性を解き放ちます。L4は、720p30で最大1,040の同時AV1ビデオストリームをホストでき、コンテンツをエッジユーザーにライブストリーミングする方法を変革し、クリエイティブなストーリーテリングを向上させ、没入型AR/VRエクスペリエンスのためのエキサイティングなユースケースを可能にします。

 

NVIDIA L4は、リアルタイムレンダリングとレイトレーシングにおけるその能力によって証明されるように、グラフィックスパフォーマンスの最適化においても輝いています。エッジオフィス環境では、L4はVDIに対して堅牢で高性能なグラフィカルコンピューティングアクセラレーションを提供でき、作業のために高品質でリアルタイムなグラフィックスレンダリングに依存するエンドユーザーに対応します。

 

結びの言葉

NVIDIA L4 GPUは、エッジAIおよび高性能コンピューティングに堅固な基盤を提供し、さまざまなアプリケーションにわたって比類のない効率と汎用性を提供します。集中的なAIワークロード、アクセラレーションタスク、またはビデオパイプラインを処理する能力は、最適化されたグラフィックスパフォーマンスとともに、エッジ推論または仮想デスクトップアクセラレーションに理想的な選択肢となります。L4の高い計算能力、高度なメモリ機能、およびエネルギー効率のユニークな組み合わせは、特にAIおよびグラフィックス集約型の業界において、エッジワークロードの加速を推進する主要なプレーヤーとしての地位を確立しています。

 

 

NVIDIA L4 ツイストスタック

AIが現在のITの嵐の中心にあることは否定できません。H100/H200 GPUの需要は依然として非常に高いです。しかし、データが生成および分析されるエッジにより堅牢なITインフラストラクチャを展開する大きな動きもあります。これらのシナリオでは、より適切にサイズ設定されたGPUが必要であり、NVIDIA L4はここで優れています。T560でテストしたように、単一ユニットとして展開されるか、一緒にスケーリングされるかどうかにかかわらず、エッジ推論のデフォルトの選択肢となるはずです。

 

北京千行杰通科技有限公司
Sandy Yang/グローバル戦略ディレクター
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
ウェブサイト: www.qianxingdata.com/www.storagesserver.com

ビジネスフォーカス:
ICT製品流通/システムインテグレーション＆サービス/インフラストラクチャソリューション
20年以上のIT流通経験を持ち、主要なグローバルブランドと提携して信頼性の高い製品とプロフェッショナルサービスを提供しています。
「テクノロジーでインテリジェントな世界を構築する」あなたの信頼できるICT製品サービスプロバイダー！