会社のニュース NetApp が DataPelago を買収し、フルスタック AI データ インフラストラクチャ プロバイダーとなる

コアデータの実行フロー

1.フレームワーク コネクタを介したデータ アクセス: 標準データ コネクタと互換性のある Spark JAR プラグインとしてデプロイされ、Parquet、ORC、Iceberg、Delta Lake、JSON、および S3、GCS、ADLS、HDFS、オンプレミス アレイなどのストレージ ターゲットをサポートします。標準エンジン I/O レイヤーを介してネイティブ クエリ セマンティクスを維持しながら、高速化はストレージ統合まで拡張されます。

2.クエリの計画と最適化: ホスト エンジンが物理計画を生成します。 DataApp は、Gluten/Substrait を介してそれを中間表現に変換します。インテリジェントなオプティマイザーは、最適なデータ フロー グラフを構築し、DataOS/DataVM の実行に CPU/GPU リソースを割り当てます。

3.クロスハードウェアのデータ転送の最適化: オペレーター/カーネルの融合とストリーミング実行により、完全な中間実体化が排除され、I/O オーバーヘッドが削減されます。ゼロコピー共有メモリは CPU と GPU 間のデータ重複を削減し、DataVM の ISA は LLVM、CUDA、ROCm を活用して、列指向のベクトル化処理を通じてタスクを最適なハードウェアにルーティングします。これらの調整により、クロスドメイン データ シャッフルが最小限に抑えられ、GPU 使用率が 80 ～ 90% に上昇します。

主な違い: Nucleus、KV キャッシュ、NetApp AIDE

1.Nucleus と KV キャッシュの差別化: Nucleus は、データが GPU サーバーに到達する前に、推論前のデータの取り込み、変換、クエリを最適化します。 Nvidia の KV キャッシュは、トークン生成効率を高めるために、GPU ハードウェアにデータが到着した後にのみアクティブになる GPU 内メモリ最適化です。 Nucleus は、コンピューティングへのデータ配信を高速化します。 KV キャッシュは、データがアクセラレータに到達した後のモデルの実行時間を最適化します。

2.NetApp AIDE と Nucleus UDPE の比較: AIDE は、LLM およびエージェント用の ONTAP/AFX ロック AI 前処理であり、組み込みベクトル データベース、メタデータ カタログ作成、RAG サービング、および Nvidia AI エンタープライズ統合 (NIM ベクトル化マイクロサービスを含む) を備えた独自の ETL として機能します。 Nucleus はストレージに依存せず、一般的な Spark/Trino ワークロードを高速化します。 Nucleus と AIDE を統合すると、変換、トレーニング、微調整、推論パイプラインが強化され、NetApp AFX ストレージ上でレイクハウス ワークロードを直接高速化できるようになります。エンドツーエンドの AIDE + Nucleus バンドル ソリューションが予測されます。