DLIOを使用して、集中的なチェックポインティングシナリオでのドライブのスループット、レイテンシ、および信頼性を測定することを目指しました。このテストは61.44TBのD5-P5336で実施されましたが、初期のパフォーマンスデータは、Solidigm D5-P5336 122TBバージョンが同様のパフォーマンスプロファイルを提供することを示唆しています。また、このテストにおけるPCIe Gen5の利点を示すために、TLCベースのD7-PS1010の結果も含まれています。これらの2つのドライブを選択したのは、チェックポイントに関する両方の視点を示すためです。1つは可能な限り高速なチェックポイント時間に焦点を当て、もう1つは単一のSSDに保存されるチェックポイントの最大数に焦点を当てています。

 

この作業のために選択されたプラットフォームは、Ubuntu 22.04.02 LTSを実行しているDell PowerEdge R760でした。August 13, 2024リリースからのDLIOベンチマークバージョン2.0を使用しました。システム構成を以下に示します。

• 2 x Intel Xeon Gold 6430（32コア、2.1GHz）
• 16 x 64GB DDR5-4400
• 480GB Dell BOSS SSD
• シリアルケーブル Gen5 JBOF
  • 7.68TB Solidigm D7-PS1010
  • 61.44TB Solidigm D5-P5336

ベンチマークが実際のシナリオを反映するようにするために、LLAMA 3.1 405Bモデルアーキテクチャに基づいたテストを実施し、torch.save()を介してチェックポインティングを実装してモデルパラメータ、オプティマイザの状態、およびレイヤーの状態をキャプチャしました。セットアップは8GPUシステムをシミュレートし、8つのGPUに分散された4ウェイテンソル並列および2ウェイパイプライン並列処理を備えたハイブリッド並列化戦略を実装しました。この構成により、チェックポイントサイズは1,636 GBとなり、最新の大規模言語モデルトレーニング要件を代表するものでした。

DLIOチェックポイントワークロードのテストプロセスは、各ドライブを同様の利用率レベルまで満たすことから構成されました。61.44TBのSolidigm D5-P5336の場合、各パスには33回のチェックポイントインターバルが含まれ、合計54TBでした。より小さい7.68TBのD7-PS1010は、合計フットプリント4.9TBで、3回のチェックポイントインターバルを快適に収容しました。さらに1つのチェックポイントをD7-PS1010に収容できましたが、利用率がわずかに高くなりました。

DLIOチェックポイントワークロードは、Gen4 QLCベースの61.44TB D5-P5536とGen5 TLCベースの7.68TB D7-PS1010を比較したときに興味深い結果をもたらしました。最初のパスでは、ドライブが満杯になるにつれて、2つのSSDモデル間のパフォーマンスのギャップが広がりました。より高速なGen5 PS1010は、各チェックポイントを平均464秒で完了しました。一方、Gen4 P5336は623秒でした。2回目と3回目のパスでは、ギャップはPS1010で579秒と587秒、P5336で676秒と680秒に縮小しました。

チェックポインティングインターバルのギャップを最小限に抑えたい企業にとって、TLCベースのGen5 PS1010は最速の完了時間で利点を提供します。コスト効率の高い方法で多くのチェックポイントを保持することが目標である場合、QLCベースのGen4 P5336がそれを実行できます。2回目と3回目のパスでは、両方のドライブ間で平均チェックポイント時間の差は17%未満でした。

GPUDirectストレージ帯域幅

DLIOはAIワークフローにおけるフラッシュパフォーマンスを示しますが、ワークロードはチェックポイントが復元されるまで完全に書き込みベースです。AIワークロードにおけるSolidigm D7-PS1010とD5-P5336の全体像を描くために、GDSIOを使用した読み取り帯域幅測定を含めました。

GPU Direct Storageの仕組み

従来、GPUがNVMeドライブに保存されたデータを処理する場合、データはGPUに到達する前にCPUとシステムメモリを通過する必要があります。このプロセスは、CPUが中間業者となり、レイテンシを追加し、貴重なシステムリソースを消費するため、ボトルネックを引き起こします。GPU Direct Storageは、GPUがPCIeバスを介してストレージデバイスから直接データにアクセスできるようにすることで、この非効率性を排除します。この直接パスは、データ移動に関連するオーバーヘッドを削減し、より高速で効率的なデータ転送を可能にします。

特にディープラーニングを含むAIワークロードは、データ集約型です。大規模なニューラルネットワークのトレーニングにはテラバイトのデータの処理が必要であり、データ転送の遅延はGPUの利用率低下とトレーニング時間の延長につながる可能性があります。GPU Direct Storageは、データが可能な限り迅速にGPUに配信されるようにすることで、この課題に対処し、アイドル時間を最小限に抑え、計算効率を最大化します。

DLIOテストと同様に、目標は、高速Gen5 SSDと大容量QLCドライブの違いをよりよく理解し、特徴づけることです。すべてのAIワークロードが同じではなく、各ドライブはニーズに応じて独自の利点を提供します。

テスト構成マトリックス

NVIDIA L4をテストプラットフォームで使用して、以下のパラメータのすべての組み合わせを体系的にテストしました。

• ブロックサイズ：1M、128K、64K、16K、8K
• スレッド数：128、64、32、16、8、4、1
• ジョブ数：16
• バッチサイズ：16

最初にQLCベースのD5-P5336を調べたところ、IO深度128で1M転送サイズを使用して最大4.2GiB/sに達しました。ブロックサイズの効果は、8Kから1Mに移動することで帯域幅を大幅に向上させました。IO深度の増加の利点は32で低下し始め、ワークロードは平準化し始めました。

次に、Gen5 PS-1010を調べます。これは、1Mブロックサイズと128のIO深度で最大6.2GiB/sまでスケールできます。全体として、Gen4ベースのP5336を上回り、特に一部のワークロードでは大幅な向上が見られました。改善の注目すべき領域の1つは、128Kブロックサイズで、IO深度64および128で、PS1010はP5336の読み取り帯域幅の2倍を提供しました。

両方のSSDがNVIDIA L4を使用してテストされたことに注意することが重要です。Gen4 D5-P5336はトップエンドに近いですが、H100のような上位モデルのNVIDIA GPUはD7-PS1010でより高いパフォーマンスを示しました。ドライブの速度は一部の顧客にとって最終的な決定要因ですが、他の顧客は全体的な密度を優先します。Solidigmはソリューションを提供しますQLCとTLCのSSD製品の両方で。結論

AIトレーニングの規模と複雑さが急増し続けるにつれて、基盤となるストレージインフラストラクチャはペースを維持するだけでなく、テンポを設定する必要があります。2つの異なるSSDでのテストは、チェックポイントのレイテンシを最小限に抑えるか、コスト効率の高いスケーラビリティのためにチェックポイントの密度を最大化するかに関わらず、特定のトレーニングの優先順位に合わせてストレージソリューションを調整することの重要性を強調しています。