「カスタム」Dell PowerEdge R760サーバー

ことわざにあるように、3度目の正直です。Piで記録を破るのは初めてではありません。最初の2回のイテレーションから教訓を得て、最高のPiプラットフォームを構築しました。最初のビルドは、16個のNVMeベイと3つの内部SSDスレッドを備えた2Uサーバーを活用しました。30.72TBのSolidigm P5316 SSDを使用して、y-cruncherのスワップストレージを収容しましたが、出力ファイルにはHDDベースのストレージサーバーを利用する必要がありました。特に書き出しフェーズの終わりには、最適とは言えませんでした。2番目のプラットフォームは同じサーバーを使用し、外部NVMe JBOFを接続して追加のNVMeベイを取得しましたが、デリケートなケーシングと不均衡なパフォーマンスの代償を払いました。両方のプラットフォームの欠点は、追加の電力と追加の障害点を犠牲にして、y-cruncherの実行全体で外部ハードウェアに依存する必要があったことです。

今回の実行では、1台のオールダイレクトNVMeシングルサーバーを活用し、y-cruncherのスワップストレージと出力ストレージの両方を1つのシャーシ内に収容できる十分なスペースを確保したかったのです。Dell PowerEdge R760と24ベイNVMeダイレクトドライブバックプレーンが登場しました。このプラットフォームは内部PCIeスイッチを活用して、すべてのNVMeドライブがサーバーと同時に通信できるようにし、追加のハードウェアやRAIDデバイスの必要性を回避します。次に、ラボ環境の複数のR760からPCIeライザー構成を組み立て、追加のU.2搭載NVMe SSD用のリアに4つのPCIeスロットを取得しました。ボーナスとして、他のR760からより大きなヒートシンクを取り外し、ターボブーストのヘッドルームを最大限に確保しました。ダイレクト液体冷却は、この実行に実装するには1か月遅れてラボに到着しました。

「StorageReview Lab Teamによる5世代Intel Xeonプロセッサを使用した202兆桁を超える円周率の計算は、これらのCPUのパワーと効率を強調しています。5世代Xeonプロセッサのコア数増加と高度なパフォーマンス機能を活用したこのマイルストーンは、計算数学における新たなベンチマークを設定し、さまざまな科学および工学ワークロードにおけるイノベーションへの道を切り開き続けています」と、Intelの5世代Intel Xeonプロセッサ製品担当ゼネラルマネージャーであるSuzi Jewett氏は述べています。^{使用ハードウェア}電源のサイズもこの実行にとって重要でした。ほとんどの人は、CPUが最も多くの電力を消費するとすぐに考えるでしょうが、1台のシャーシに28台のNVMe SSDがあることは、かなりの電力影響です。私たちのビルドは2400WのPSUを活用しましたが、結果的にぎりぎりでした。私たちは数回の危機レベルに近い電力消費の瞬間を経験しました。システムが1つの電源接続を失った場合、電力不足になっていたでしょう。これは初期に発生しました。CPU負荷がピークに達し、システムがすべてのSSDへのI/Oアクティビティを増加させたため、消費電力は急増しました。もしもう一度行うとしたら、2800Wモデルが好ましいでしょう。^{使用ハードウェア}技術的ハイライト計算された総桁数：202,112,290,000,000^{使用ハードウェア}：Dell PowerEdge R760（Intel Xeon 8592+ CPU x2、1TB DDR5 DRAM、Solidigm 61.44TB P5336 x28）

ソフトウェアとアルゴリズム

：y-cruncher v0.8.3.9532-d2、Chudnovsky

データストレージ

：ドライブあたり3.76PB書き込み、スワップアレイの22ディスク全体で82.7PB

• 計算期間：100.673日
• y-cruncherテレメトリ論理的最大チェックポイント：305,175,690,291,376（278 TiB）
• 論理最大ディスク使用量：1,053,227,481,637,440（958 TiB）論理ディスク読み取りバイト数：102,614,191,450,271,272（91.1 PiB）
• 論理ディスク書き込みバイト数：88,784,496,475,376,328（78.9 PiB）開始日：2024年2月6日火曜日 16:09:07
• 終了日：2024年5月20日月曜日 05:43:16円周率：7,272,017.696秒、84.167日

総計算時間：8,698,188.428秒、100.673日

• 開始から終了までの実時間：8,944,449.095秒、103.524日
• 円周率の既知の最大桁は2で、位置は202,112,290,000,000（202兆1122億9000万）です。
• より広範な意味
• 円周率をこれほど膨大な桁数まで計算することは抽象的な課題に見えるかもしれませんが、このプロジェクト中に開発された実用的な応用と技術は、広範な影響を及ぼします。これらの進歩は、暗号化から物理学および工学における複雑なシミュレーションまで、さまざまな計算タスクを強化できます。
• 最近の202兆桁の円周率計算は、ストレージ密度と総所有コスト（TCO）における顕著な進歩を強調しています。私たちの構成は、単一の2Uシャーシ内に驚異的な1.720ペタバイトのNVMe SSDストレージを実現しました。この密度は、総消費電力がフルCPUおよびドライブ負荷でわずか2.4kWにピークに達したことを考慮すると、データストレージ機能における飛躍を表しています。
• このエネルギー効率は、従来のHPC記録実行とは対照的であり、それらははるかに多くの電力を消費し、過剰な熱を発生させます。低容量の共有ストレージを拡張する必要がある場合、スケールアウトストレージシステムに追加のノードを考慮すると、消費電力は指数関数的に増加します。高密度ローカルストレージと比較して。熱管理は、特に小規模なデータセンターやサーバークローゼットにとって重要です。従来のHPC記録システムを冷却することは簡単なことではなく、実行中の機器自体よりも多くの電力を消費するデータセンターチラーが必要です。消費電力と熱出力を最小限に抑えることで、私たちの構成は中小企業にとってより持続可能で管理しやすいソリューションを提供します。ボーナスとして、私たちの実行のほとんどは、新鮮な空気冷却で行われました。
• これを理解するために、ネットワーク共有ストレージと最適化されていないプラットフォームで実行している人々が直面する課題を想像してみてください。これらの構成では、温度を管理するために1つ以上のデータセンターチラーが必要になります。これらの環境では、節約されたワット数はすべて、必要な冷却が少なくなり、運用コストが低くなることを意味するため、高密度、低電力のアプローチは理想的な選択肢となります。記録実行のためにリーンで効率的なプラットフォームを実行するもう1つの重要な利点は、バッテリーバックアップハードウェアでセットアップ全体を保護することです。前述のように、コンピューティングサーバー、スイッチング、ストレージサーバー、チラー、およびウォーターポンプにバッテリーバックアップが必要になります。年間を通じてそれを稼働させるために。
• 全体として、この記録を破る成果は、現在のHPC技術の可能性を示し、現代のコンピューティング環境におけるエネルギー効率と熱管理の重要性を強調しています。
• 精度を確保する：Bailey–Borwein–Plouffe公式

円周率を202兆桁まで計算することは、記念碑的なタスクですが、それらの桁の精度を確保することも同様に重要です。ここでBailey–Borwein–Plouffe（BBP）公式が登場します。

BBP公式を使用すると、先行するすべての桁を計算することなく、円周率のバイナリ桁を16進数（基数16）形式で検証できます。これは、大規模な計算の一部をクロスチェックするのに特に役立ちます。

簡単な説明を以下に示します。

16進数出力

：まず、メインの計算中に円周率の桁数を16進数で生成します。BBP公式は、基数16で円周率の任意の個別の桁を直接計算できます。GPUPIのような他のプログラムでもこれを行うことができますが、y-cruncherにも組み込み関数があります。オープンソースのアプローチを好む場合は、公式はよく知られています。

クロス検証

：BBP公式を使用して円周率の特定の桁を独立して計算することにより、これらの結果をメインの計算と比較できます。それらが一致する場合、私たちのシーケンス全体が正しいことを強く示唆しています。このクロスチェックを6回以上行いました。そのうちの2つを以下に示します。

たとえば、プライマリ計算がさまざまなポイントでBBP公式から取得されたものと同じ16進数桁を生成する場合、桁の精度を自信を持って主張できます。この方法は理論的なだけでなく、すべての重要な円周率計算に実際に適用されており、結果の堅牢性と信頼性を確保しています。

R = 公式実行結果、V = 検証結果

R: f3f7e2296 822ac6a8c9 7843dacfbc 1eeb4a5893 37088*

V: *3f7e2296 822ac6a8c9 7843dacfbc 1eeb4a5893 370888

1. 鋭い読者は、スクリーンショットからの検証と上記の比較が少しずれていることに気づくでしょう（*）。16進数が末尾で影響を受けるため、必要ではありませんが、実行が一致することを確認するために、他のいくつかの場所（100兆桁と105兆桁など）もスポットチェックしました。理論的には同様の方法で円周率の任意の10進数桁を計算することは可能ですが、Chudnovskyの数学を実行してすべてを取得するよりも、1億桁を超える精度があるかどうか、または計算効率が良いかどうかは不明です。（Eric Weissteinがこれを見た場合、連絡してください。それに挑戦したいと思います。）この数学的なクロスチェックプロセスを統合することにより、202兆桁の円周率計算という記録を破る成果の整合性を保証し、計算精度と科学的正確性へのコミットメントを示しています。
2. 今後の道のりStorageReview Lab Teamによる202兆桁を超える円周率の計算という成果は、高性能コンピューティングとストレージ技術の目覚ましい進歩を強力に証明するものです。Dell PowerEdge R760のIntel Xeon 8592+ CPUとSolidigm 61.44TB QLC NVMe SSDによって実現されたこの記録的な偉業は、最新のハードウェアがどのようにして比類なき効果で複雑でリソース集約的なタスクを効率的に処理できるかを強調しています。StorageReviewチームの専門知識を示すだけでなく、プロジェクトの成功は、計算数学やその他の科学分野の限界を押し広げる今日のHPCインフラストラクチャの可能性を強調しています。

「この新しい円周率の世界記録はエキサイティングな成果です。なぜなら、この計算ワークロードは、今日見られる多くのAIワークロードと同じくらい激しいからです。Solidigm D5-P5336 61.44TB SSDは、超高容量、PCIe 4飽和読み取りパフォーマンス、および高ペタバイト書き込みの強力な組み合わせが、今日の最も要求の厳しいアプリケーションに耐え、解き放つことができることを再び証明しました」と、SolidigmのデータセンターストレージグループのVPであるGreg Matson氏は述べています。「Dell TechnologiesのパートナーやStorageReviewの専門家と協力して、別の円周率計算の世界記録を達成する機会を得られたことを嬉しく思います。」

このイニシアチブは、ストレージ密度とエネルギー効率の最適化に関する貴重な洞察も提供し、より持続可能で管理しやすいコンピューティングソリューションへの道を開きます。HPCの可能性を探求し続けるにつれて、このプロジェクトから得られた教訓は、暗号化からエンジニアリングまで、さまざまな分野に利益をもたらす将来のイノベーションを確実に推進するでしょう。StorageReview Lab Teamの成果は、適切なハードウェアと専門知識の組み合わせがあれば、科学的発見と技術的進歩の新たな高みに到達できることを示す、計算史におけるランドマークです。

• 謝辞
• StorageReview Lab Teamは、Solidigm、Dell Technologies、Intel、およびy-cruncherのAlex Yeeに、このプロジェクトへの揺るぎないサポートと貢献に感謝します。

北京千星捷通科技有限公司

Sandy Yang/グローバル戦略ディレクター

WhatsApp / WeChat: +86 13426366826