Dell PowerEdge NVMeバックプレーンオプション

Dellは16G PowerEdgeサーバーで様々なストレージバックプレーンを提供しています。R760を構成する際、ドライブシャーシのオプションはほぼ50種類あります。これらの一部はレガシーサポート（例：PERC 11）ですが、シャーシの決定は非常に重要です。これは、将来のE3.S NVMe SSDサポートを考慮に入れていません。E3.S NVMe SSDサポートは、PowerEdgeサーバーでGen5 SSDを取得する唯一の方法です。Gen5およびEDSFFフォームファクターのメリットについて詳しく知りたい場合は、Dell PowerEdge R660でE3.Sを検討しました。

さて、本題に戻りましょう。このレビューでは、DellのDirect Drivesオプションを選択した場合とPERC 12 HWRAIDカードオプションを選択した場合の影響を理解したいと思います。前述の通り、ここではGen4 U.2/U.3 NVMe SSDのみを考慮します。現時点では、SATA/SASおよび3.5インチHDDのシャーシオプションは無視します。これらの構成ははるかに簡単です。

R760では、Gen4 NVMeドライブをオンボードで搭載するためのシャーシオプションがいくつか用意されています。Direct Drivesオプションは、8ドライブまたは16ドライブのサポートで構成できます。HWRAID構成では、DellはPERC 12 HWRAIDカードを同様に提供しており、8台のSSDの各バッチに1枚のRAIDカードが付属します。この決定は、完全に搭載された16台のNVMe SSDを備えたR760が可能な限り最高のパフォーマンスを発揮できるようにするために重要です。

Dell PERC 12の概要

Dell PowerEdge RAID Controller (PERC) 12は、Broadcom SAS4116Wシリコンをベースにしています。製品名にSASとありますが、このコントローラーはトライモードRAID-on-Chip (ROC) デバイスです。同じRAIDコントローラーがBroadcom MegaRAIDラインでも使用されています。最近、MegaRAID 9670Wをレビューし、主要な機能を強調しました。しかし、Dell PERC 12では、関心のあるDellサーバーとストレージファミリーによって、重要な設計上の違いが生じます。

PowerEdgeに関しては、ほとんどの構成で「H965i Front」PERC 12カードが利用されます。R760システムのHWRAIDレビューでは、システムにこれらのH965i Frontカードが2枚搭載されており、それぞれ8台のSolidigm P5520 SSDのセットに対応しています。これらのカードは、アドインカードよりも大幅に小さいことに言及する価値があります。PCB設計と熱管理は本当に印象的です。これらのカードは8ドライブNVMeバックプレーンに直接取り付けられ、2本のx8 PCIeケーブルでマザーボードに接続されます。これにより、サーバーの後部にあるPCIeスロットが他のデバイスのために解放されます。

アドインカードといえば、標準のPERC 12 H965iは、オンボードファンを備えたハーフハイト、ハーフレングスのカードです。このバージョンのPERC 12は、一部のPowerEdge構成に搭載され、新しいDell PowerVault MD JBODの一部にも見られます。最後に、H965i MXがあり、これはMX7000モジュラーシャーシのようなもの用に設計された、長くて細いPCBです。

Dell PERC 11 vs PERC 12

Dell PERC 11カードはNVMe SSDをサポートしていましたが、残念ながらハードウェアRAIDのメリットは大幅なパフォーマンスコストを伴いました。そのヒットこそが、業界が新しいBroadcomシリコンとDellのカードバージョンであるPERCに興奮している理由です。DellはPERC 11とPERC 12の違いについていくつかの数値を公開しており、それは驚くべきものです。

PERC 12のレイテンシメリットは明らかですが、最悪の条件下でのパフォーマンス、再構築中のパフォーマンスを見てください。PERC 12は数千パーセントの改善を達成し、RAID再構築時間でさえ大幅なメリットが見られます。

Dellが引用する帯域幅とIOPSの数値を見ると、PERC 12がPERC 11と比較して大幅に進歩していることがわかります。すべてのワークロードで、PERC 12カードは最低でも2倍の改善が見られます。もちろん、私たちはPERC 12のパフォーマンスをチェックするために独自のテストを実施しました。それは後ほど説明します。

Dell Direct Drives vs. Dell PERC 12 パフォーマンス

Direct DrivesとPERC 12のストレージパフォーマンスを比較するために、R760サーバーの「いとこ」をSolidigm P5520 7.68TB SSDで構成しました。Direct Drives搭載のDell R760には8台のNVMeベイがあります。PERC 12搭載のR760には16台のNVMeベイとツインH965i Front RAIDカードが搭載されています。

一見すると、どちらかの側に特定のパフォーマンス上の制限があることは明らかではないかもしれません。Direct Drivesアプローチから始めると、各SSDは独自のx4 PCIe接続を持っており、8台のSSDには32レーンのPCIeが専用されています。

これにより、各Gen4ドライブが6.5GB/sの接続を飽和させることができる場合、一般的に52GB/sを超える信じられないほどの帯域幅が可能になります。PERC 12 H965iセットアップと比較すると、8台のSSDの各グループはRAIDカードと直接インターフェイスし、RAIDカードはx16 PCIe接続でマザーボードに接続されます。これにより、Direct Drives構成がサポートする帯域幅が半分になります。明らかに、ネイティブNVMe接続が勝つのでしょうか？必ずしもそうではありません。

マルチCPUシステムで複数のNVMeデバイスを扱う場合、ドライブとCPU間のNUMAマッピング、およびシステム割り込みが関係してきます。これは最適化できますが、大幅なチューニングが必要です。すべてのアプリケーションがこれを考慮しているわけではありません。

仮想化は、共有リソースがリアルタイムでバランス調整され、割り当てられたPCIeリソースに直接アクセスできないCPUに割り当てられる場合があるため、NUMAマッピングの管理が難しい分野です。ハードウェアRAIDカードは、これらの問題の多くを軽減し、システム割り込みとコンテキストスイッチングを最適化して、CPUリソースを解放します。NUMAマッピングも、16台の個々のSSDが2つのCPUに分散されるのではなく、CPUあたり1つのストレージカードを管理するだけで済むため、複雑さが軽減されます。

私たちのテスト計画は2つの領域に焦点を当てています。最初の領域は、どちらかのR760にパススルーされた8台のSSDを使用したJBODパフォーマンスを測定するVdbenchワークロードです。Direct Drives R760には8台のネイティブSSDがあり、HWRAID R760にはPERC 12が8台の生のストレージデバイスをパススルーします。どちらも最適化なしでそのままテストされます。テストの第2段階では、単一カードから最適化されたデュアルカードセットアップへのPERC 12ソリューションのスケーリングパフォーマンスを示します。

Direct Drives PowerEdge R760レビューユニットの構成は以下の通りです。

• デュアル Intel Xeon Gold 6430 (32コア/64スレッド、1.9GHzベース)
• 1TB DDR5 RAM
• 8台のSolidigm P5520 7.68TB Gen4 SSD
• RHEL 9

HWRAID NVMe PowerEdge R760レビューユニットの構成は以下の通りです。

• デュアル Intel Xeon Gold 6430 (32コア/64スレッド、1.9GHzベース)
• 1TB DDR5 RAM
• 16台のSolidigm P5520 7.68TB Gen4 SSD
• デュアル PERC 12 H965i
• RHEL 9

Vdbenchワークロード分析

ストレージデバイスのベンチマークを行う場合、アプリケーションテストが最も優れており、次に合成テストが続きます。実際のワークロードを完全に表すものではありませんが、合成テストは、簡単に比較できる再現性でストレージデバイスのベースラインを設定するのに役立ちます。これらのワークロードは、「4コーナー」テストや一般的なデータベース転送サイズテストから、さまざまなVDI環境からのトレースキャプチャまで、幅広いテストプロファイルを提供します。

これらのテストでは、一般的なVdbenchワークロードジェネレーターとスクリプトエンジンを使用して、大規模なコンピューティングテストクラスターで結果を自動化およびキャプチャします。これにより、フラッシュアレイや個々のストレージデバイスを含むさまざまなストレージデバイスで同じワークロードを繰り返すことができます。これらのベンチマークのテストプロセスでは、ドライブ全体にデータを書き込み、次にドライブ容量の25％に相当するドライブセクションをパーティション化して、ドライブがアプリケーションワークロードにどのように応答するかをシミュレートします。これは、ドライブ全体を使用し、定常状態にする完全なエントロピーテストとは異なります。その結果、これらの数値はより高い持続書き込み速度を反映します。

プロファイル:

• 4Kランダム読み書き：100％読み書き、128スレッド、0〜120％iorate
• 64Kシーケンシャル読み取り：100％読み取り、32スレッド、0〜120％iorate
• 64Kシーケンシャル書き込み：100％書き込み、16スレッド、0〜120％iorate
• 4K 70R/30Wおよび90R/10Wランダムミックス、64スレッド、0〜120％iorate

最初の読み取り転送帯域幅に焦点を当てたテストを見ると、Direct Drivesアプローチが16レーンの単一PERC 12に対して32 PCIeレーンを持つPCIeチャネルの利点がわかります。これは、Direct Drivesの41.6GB/sに対して、PERC 12のJBODモードでは28GB/sになります。

読み取りから書き込み帯域幅に切り替えると、追加のPCIeレーンの利点は縮小します。これは、Solidigm P5520の書き込み速度が読み取り速度よりも低いためです。ここでは、Direct Drives構成は18.3GB/sを測定したのに対し、PERC 12は20.3GB/sを測定しました。

ランダム4K読み取りワークロードでは、Direct Drive PowerEdge R760の8台のSolidigm P5520 SSDはピークで5.55M IOPSを測定したのに対し、PERC 12セットアップでは4.34M IOPSでした。

4Kランダム書き込みでは、その差は再び縮まり、Direct Drivesは3.96M IOPSを測定したのに対し、PERC 12は4.15M IOPSでした。

2つの混合ワークロードの最初のテストでは、70/30の読み書き比率の4Kランダム転送を見ています。ここでは、Direct Drives PowerEdge R760構成はピークで4.47M IOPSを測定したのに対し、PERC 12は3.66M IOPSでした。

同じ4K転送テストで読み取り率を90％に上げると、Direct Drivesサーバーから5.04M IOPS、PERC 12システムから3.62M IOPSを測定しました。

FIOワークロード分析

DellのDirect DriveとPERC 12 HWRAID製品のドライブパフォーマンスを測定するために、ベンチマークは以下の構成に分割されました。最初の構成には、RAID外の各ドライブ、RAID10、およびRAID5構成を測定するJBOD構成が含まれていました。

Direct Drivesアプローチでは、SSDはOSに通常通り表示されます。PERC 12では、HBAを介して生のストレージデバイスとしてパススルーされます。これらの構成は、フラッシュの事前調整、テストの実行、および次の事前調整/ワークロードミックスへの移行を行うスクリプトプロセスを経て実行されました。

• シーケンシャル事前調整
• JBOD、8DR10、8DR5（シングルおよびデュアルPERC）でのシーケンシャルテスト
• ランダム事前調整
• JBOD、8DR10、8DR5（シングルおよびデュアルPERC）でのランダム最適テスト
• 8DR10、8DR5（シングルおよびデュアルPERC）でのランダム再構築テスト
• 8DR5（シングルPERC）でのランダム書き込みレイテンシ（最適および再構築）

PERC 12 H965iはx16 PCIe Gen4スロットを備えているため、ピークパフォーマンスは片方向で約28GB/sになり、これがGen4スロットの限界です。Dellは、PowerEdge R760でデュアルPERC 12構成を提供することで、この帯域幅制限に独自のソリューションを導入しました。16台のSSDベイすべてを単一カードに接続するのではなく、負荷が分割され、各PERC 12が独自の8台のSSDセットを制御します。このアプローチは、帯域幅の制限を回避しながら、要求の厳しいワークロードでのピークスループットを劇的に向上させます。

まずシーケンシャル転送パフォーマンスを見ると、Direct Drives構成が持つ帯域幅の利点がわかります。読み取り速度は54.4GB/sを測定したのに対し、単一PERC 12は28.1GB/sを測定しました。書き込み速度もネイティブが有利で、8台のドライブを搭載した単一PERC 12の28.3GB/sに対し、33.4GB/sを測定しました。一般的に、このクラスのSSDは書き込み速度よりも読み取り速度がはるかに優れているため、書き込み速度には大きな違いは見られません。

ランダム転送パフォーマンスに焦点を移すと、NUMAバランスに関してRAIDカードの利点がどこに来るかのシフトが見え始めます。読み取りパフォーマンスでは、Solidigm 7.68TB P5520 SSDは4K読み取りテストで7.96M IOPSを測定し、PERC 12 JBOD構成は7M IOPSを測定しました。書き込み速度はDirect Drives構成では3.4M IOPSに低下しましたが、PERC 12は5.97M IOPSを維持しました。4K OLTPワークロードでは、これはさらに顕著になり、Direct Drivesは3.6M IOPSを測定したのに対し、PERC 12は10.2M IOPSでした。

ハードウェアRAIDは最新のSSDでは価値がないという従来の考え方がありましたが、もはやそうではないことがわかります。はい、Direct Drives NVMeセットアップはチューニングできますが、2つのCPUにまたがる複数のSSDにまたがる動的なターゲットです。

これは、すべての複雑さを管理し、単一のCPUに接続するPERC 12 HWRAIDカードとは対照的です。スケーリングに関しては、Dell PowerEdge R760の2番目のPERCカードは別のCPUに接続され、2つのディスクグループにまたがるより大きなワークロードのバランスを提供します。約10M IOPSでシステムがCPUを飽和し始めたことに注意してください。そのため、追加のPERC 12カードで一部の領域で線形スケーリングが見られなかった理由です。

Direct Drives PowerEdge R760構成のソフトウェアRAIDオプションは検討しませんでしたが、PERC 12でのRAID構成が劣化した状態でもどの程度パフォーマンスを発揮するかを確認する機会がありました。パフォーマンスは最適なパフォーマンスと比較して大幅に低下しましたが、RAID10とRAID5の両方がRAIDグループを再構築中に強力なパフォーマンスを提供しました。

最適なRAIDパフォーマンスはストレージソリューションを選択する上で重要な側面ですが、最適ではない条件下でのパフォーマンスを見ることも同様に重要です。そのため、RAID5での4K書き込みレイテンシを最適条件下で測定し、ドライブが故障した場合の再構築パフォーマンスを測定しました。パフォーマンスやレイテンシが大幅に低下した場合、アプリケーションの応答性が問題になる可能性があります。再構築パフォーマンスは最適時と比較して低下しますが、パフォーマンスのレイテンシはベースラインを超えて増加しません。

最終的な考察

Dellの新しいPERC12 NVMe RAIDカードは、PowerEdgeサーバーのNVMeストレージオプションのゲームチェンジャーです。過去には、SAS SSDから移行するのをためらったり、さまざまなSDSやハイパーバイザーに接続されたNVMeドライブを選択したりする顧客もいました。しかし、PERC 12カードの導入により、PowerEdgeの状況は変化し、より実行可能なオプションになりました。

PERC 12がこれほど優れたパフォーマンスを発揮する理由は、PowerEdgeサーバーのレイアウトにも起因しています。当社のR760には2枚のPERC 12 (H965i Front) カードがあり、それぞれx16レーンを備えています。これにより、各カードで8台のSolidigm SSDを利用でき、カードあたり最大28GB/sの帯域幅を実現できます。16台のSSDすべてを単一のRAIDカードに接続すると、潜在的なパフォーマンスの半分が失われます。

「なぜHWRAIDで24台のSSDではないのか？」と疑問に思うかもしれません。システムにはどこかにボトルネックがあることを忘れないでください。この場合、CPUを簡単に飽和させることができるため、サーバー内のx86がゲート要因になります。クラスター化されたソリューションについて話す場合、ネットワークも同様に制限されます。少数のSSDでも、200GbEまたは400GbEを簡単に満たすことができます。SSDの容量が現在30.72TBに達しているため、システム容量の問題のためにサーバー全体をドライブで満たす必要性は少なくなっています。

Broadcom 9600シリーズRAIDカードのレビューを読んだ場合、新しいシリコンがNVMe SSDのパフォーマンスプロファイルを損なうことなく、HWRAIDのデータ回復力と再構築のメリットを実際に提供できるかどうかについて、当初は懐疑的でした。そのレビューでは結果に非常に驚きましたが、ここではPERC 12がR760で倍増してトップラインパフォーマンスを2倍にできることにさらに驚きました。Dell Direct Drivesは、ソフトウェア定義ストレージのような多くのユースケースで依然として好まれるかもしれませんが、PERC 12オプションはほとんどのエンタープライズユースケースで非常に人気があるはずです。

北京千星捷通科技有限公司
Sandy Yang/グローバル戦略ディレクター
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com

ビジネスフォーカス:
ICT製品流通/システムインテグレーション＆サービス/インフラストラクチャソリューション
20年以上のIT流通経験を持ち、主要グローバルブランドと提携して信頼性の高い製品とプロフェッショナルサービスを提供しています。
「テクノロジーでインテリジェントな世界を構築する」信頼できるICT製品サービスプロバイダー！