サクサク読めて、アプリ限定の機能も多数！
トップへ戻る
中東情勢
qiita.com/Humanophilic_development
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
特筆すべきは128GBの統合メモリです。GPUとCPUがメモリを共有するため、一般的なGPUのようなVRAM制限がありません。LLMのような大きなモデルをロードするのに非常に有利です。 そしてもう1つの注目ポイントがConnectX-7。200Gbpsの高速ネットワークインターフェースが標準搭載されていて、2台以上のSparkを接続してクラスタ化する「スタッキング」が公式にサポートされています。 なぜ2台必要なのか 今回動かしたいモデルはQwen3.5-397B-A17B。Alibaba Cloudが開発したMixture of Experts（MoE）モデルで、総パラメータ数は3970億です。 INT4量子化しても、モデルの重みだけで約100GB以上のメモリを消費します。1台のDGX Spark（128GB）では、モデルをロードした時点でKVキャッシュやシステム用のメモリがほぼ残りません
このページを最初にブックマークしてみませんか？
『qiita.com』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
