SK Hynixは、独自の低電圧推論(LVI)およびクラスター規模メモリ(CSM)技術を構築する米国のAI推論スタートアップであるEtchedに資金提供しました。
Etchedは、業界の重要なボトルネックを解決します。従来のGPUは過剰なコンピューティング能力を提供しますが、大規模なAI推論にはメモリが不足しており、煩雑なマルチティアKVキャッシュフレームワークにつながります。同社のカスタマイズされた推論チップは、消費電力を削減し、メモリ帯域幅と容量において従来のGPU HBMを上回り、KVキャッシュ関連の遅延と設計の複雑さを軽減します。
この投資は、イスラエルのスタートアップMajestic Labsがステルスモードを終了した後に続いており、同社も大規模共有メモリプールを備えたカスタムプロセッサ推論サーバーを構築しています。
2023年にサンノゼでハーバード大学の3人の学部生が中退して設立されたEtchedのコアチームは、CEOのGavin Uberti、社長のRobert Wachen、Chris Zhuで構成されています。チームは、初期開発を促進するために2年間の25万ドルのThiel Fellowshipを取得しました。
チームは、推論効率を高めるためにカスタマイズされたLVIプリフィル処理とCSM共有メモリを構築しました。社内チップ、パッケージング、PCB、相互接続モジュールを統合した同社のフルスタックソリューションは、大規模な商用推論展開を可能にします。
Zhu氏は、主流のAIチップが高負荷下で深刻な熱スロットリングに苦しんでいると指摘しました。消費電力の上昇はクロックスピードを低下させ、実際の推論スループットを理論上のピークの半分未満に削減します。Etchedのチップは、算術ユニットを業界標準の半分の電圧で実行し、コンピューティング密度を大幅に向上させます。
彼はまた、主要なハードウェアのトレードオフについても言及しました。HBM搭載AIチップは、メモリと相互接続の制限により、デコード速度でSRAMに遅れをとります。一方、純粋なSRAMチップは、高速アクセスと引き換えにコンピューティング密度と容量を犠牲にし、全体のスループットを低下させます。
これは、複数のメモリレイヤーを横断するレイヤー間トークン伝送が遅延を蓄積するため、大規模なMoEモデルの操作を妨げます。Etchedのアーキテクチャは、冗長なメモリレイヤーを削除して問題を解決します。
EtchedのCSMアーキテクチャは、スケーラブルなハードウェア用の統合された低遅延共有メモリプールを作成し、独自の高速相互接続を活用してチップ間メモリアクセスを高速化します。
同社のハイブリッドHBM/SRAM設計は、メモリ容量とチップ間遅延のバランスを取り、高スループットのインタラクティブ推論を提供します。CSMは、純粋なSRAM、3D DRAM、および光学チップソリューションのコスト、安定性、熱、パフォーマンスの欠点を回避します。
このイノベーションは、HBMスタックをGPUアーキテクチャの制約から切り離し、分散したメモリリソースを統合し、高度な相互接続技術を介してSRAMレベルのアクセス速度を提供します。
Etchedのラックシステムは、高相互接続レイアウトを備えており、16本の専用ケーブルがリアポートを8つのコアハードウェアユニットに接続しています。
このシステムは、主流のLLM、MoEモデル、およびMambaのような非トランスフォーマーアーキテクチャをサポートしており、同社はフルシステムの研究開発と商用販売に焦点を当てています。
Etchedの資金調達履歴
2022年 - 会社設立
2023年 - 540万ドルのシードラウンド
2024年 - 1億2000万ドルのシリーズA
2025年 - 5億ドルのシリーズB
2026年 - 3億ドルのシリーズC
これまでの総資金調達額:9億2540万ドル
Sequoia CapitalがEtchedの2026年シリーズCラウンドを主導し、Andreessen Horowitz、Jane Street、SK Hynixが参加しました。このラウンドで同社は103億ドルの評価額となり、2024年のシリーズB評価額の2倍となりました。
一貫した年間の資金調達ペースは、堅調な顧客需要と確固たる投資家の信頼に支えられた継続的な製品イテレーションを反映しています。
Wachen氏は、新しい資本により推論クラスターの大量生産が加速すると述べました。同社は、プロトタイピングと製造効率を向上させるために、ミルピタスに10MWの生産拠点を開設しました。
チーフアーキテクトのSaptadeep Pal氏は、Etchedが400人以上の従業員を抱え、10億ドルを超える顧客注文を予約していることを明らかにしました。同社の台湾の研究開発および製造拠点は、24時間体制の運用を可能にし、サプライヤー協力と製品テストを最適化して迅速なスケーリングをサポートします。
同社の主要顧客は、推論サービスとしてのソリューションを提供する大企業、新興クラウドプロバイダー、およびグローバルのハイパースケーラーをカバーしています。
コメント
EtchedとMajestic Labsの新しい推論ラックが従来のKVキャッシュを超えて進歩すれば、エンタープライズストレージ市場を再構築するでしょう。これらのシステムは、高速で低遅延のストレージを必要とし、Dell、HPE、NetApp、VAST Dataのようなベンダーがストレージアレイと次世代推論サーバーをペアにして最適なパフォーマンスを実現するコラボレーション機会を生み出します。
北京千行捷通科技有限公司
Sandy Yang/グローバル戦略ディレクター
WhatsApp / WeChat:+86 13426366826
メール:yangyd@qianxingdata.com
ウェブサイト:www.qianxingdata.com/www.storagesserver.com
ビジネスフォーカス:
ICT製品流通/システムインテグレーション&サービス/インフラストラクチャソリューション
20年以上のIT流通経験を持ち、主要なグローバルブランドと提携して、信頼性の高い製品とプロフェッショナルサービスを提供しています。
「テクノロジーを使ってインテリジェントな世界を構築する」あなたの信頼できるICT製品サービスプロバイダー!