構造化されていないデータ管理会社である Kompriseは 巨大な構造化されていないデータセットを動的に分割できる 特許技術を開発しましたこのソリューションは,AI処理GPUへのデータ送信中に複数のコンピューティングエンジンにワークロードを分散します処理速度を大幅に加速する.
公式に特許US-12566637-B2として登録された"コンプライズ・エラスティック・シェア" (KES) 技術は,コンプライズの技術長マイケル・ピアシーとその研究チームによって提出されました.公式名称は"複数の計算エンジンによる操作を実行するための未知のツリーを分割するシステムと方法"...
ピアシー氏は",Elastic Sharesは顧客が貴重なコンピューティング,メモリ,ネットワークリソースを完全に利用できるようにします.企業に顕著な競争優位性を得る手助け...
分析,LLM推論,AIエージェント計算のためにAIサーバーに送信されるペタバイト規模のデータセットの場合,単一のコンピューティングエンジンはディレクトリツリーやオブジェクトストレージプレフィックスを通るのに数時間が必要です.コンピューティングエンジンは,すべてのシナリオで一貫した動作原理を持つ独立したサーバー,個々のスレッド,スレッドグループ,プロセスまたはプロセスクラスタとして定義することができます.パラレルコンピューティングのための複数のエンジンを事前に展開できます静的配分はしばしば非効率化を引き起こす.不均等なブランチサイズは,特定のコンピューティングノードが割り当てられたタスクを完了する遅いノードを待機しながら,早期に終了し,怠惰状態のままである.
コムプライズ特許 US-12566637-B2
コンピュータエンジンに埋め込まれた 賢い作業スケジューラーを 開発しました作業負荷は初期に利用可能なコンピューティングエンジンに割り当てられます. ノードが割り当てられたパーティションを完了すると,待機中のタスクを受信するためにリソースプールに戻ります.このメカニズムは,イドタイムをなくします.フリーコンピューティングノードに新しいワークロードを継続的に割り当てます.処理時間が短くなります
公式の Komprise ブログ記事によると,KES は,サーバークラスタに流通方式で非構造化データワークロードを動的に再配布しています.この技術は,データセット容量に関する事前情報を必要とせずに,大規模なデータ処理にほぼ線形的なスピードアップを達成します内部構造や処理遅延について
単純に言うと 各コンピューティングノードは 既存のタスクを完了した直後に 新しいタスクを自動的に受信し データの処理が完了するまで 資源の利用量を完全に維持します
マイケル・ピアシー
ファイルサーバーやストレージボリューム間の大規模なデータ移行タスクは,しばしば時間制約に直面することを特許文書は示しています.プロセスまたはスタンドアロンサーバー重量の作業を迅速に完了させるのに十分な出力がないため,多エンジンの並列処理が不可欠な解決策となっています.
この文書は,ディレクトリツリー構造は,根から葉ノードへの再帰的な経路においてのみ識別できる.いくつかの場合,データは固定順序で処理されなければならない.サブフォルダーやファイルよりも親ディレクトリに優先順位を与える固い静的パーティションではなく,リアルタイムで動的ワークロードセグメンテーションが必要で,多様で未知のデータアーキテクチャに適応する必要があります.
この特許技術はファイル,フォルダー,ストレージオブジェクト,オブジェクトプレフィックスに適用されます.すべてのコンピュータエンジンと互換性がありますスレッド,プロセス,バックエンドサービスクラスターを含む.
KES技術によってもたらされる3つの主要な利点が強調されています.
-
ダイナミックタスクパーティション: 高価値のコンピューティングリソースは,無効になるとすぐに新しいタスクで再割り当てされます.
-
盲目データ処理: システムでは,データサイズ,内部構造,変数処理遅延の事前の認識なしにデータセットの計算をサポートし,AIストリーミングデータ送信シナリオに完璧に適合しています.
-
資源の再バランス: 予測不可能なブランチ密度を持つ構造化されていないデータ階層に適応するために,割り当て戦略を自動的に最適化します.
この革新的な特許技術により 大規模な非構造化データコンピューティングに 実用的で効率的な最適化が可能になります
北京・チアンシン・ジテング・テクノロジー株式会社
サンディ・ヤン/グローバル戦略ディレクター
WhatsApp / ウェイチャット: +86 13426366826
メール: yangyd@qianxingdata.com
ウェブサイト:www.qianxingdata.com/www.storagesserver.com
ビジネス フォーカス
ICT製品配布/システム統合とサービス/インフラストラクチャソリューション
20年以上のIT販売経験を持つ私たちは 信頼性の高い製品とプロフェッショナルなサービスを提供するために グローバルブランドと提携しています
テクノロジーを使ってインテリジェントな世界を作ろう あなたの信頼できるICT製品サービスプロバイダー!
メッセージは20〜3,000文字にする必要があります。
Japanese
