ローカルLLM用のGPU換装を検討した:RTX 5070 Ti と 5060 Ti の違い、電源交換、Mac Studio との比較

開発misc-dev

ローカルLLM用のGPU換装を検討した:RTX 5070 Ti と 5060 Ti の違い、電源交換、Mac Studio との比較

前日は、今の PC に GPU をもう1枚挿せるかを実機で確かめた(今のPCにGPUを2枚目として挿せるか実機で確かめ、DGX Sparkの必要台数も調べ直した)。 今日はその続きで、何を買うかを決めにいった。 出発点は、BTO ショップのデスクトップにメモリを盛れば、DGX Spark と比べられる候補になるのではないか、という思いつきである。

「8GBしかない」のはメインメモリではなかった

朝、BTO ショップのデスクトップの構成ページを Claude Code に渡して相談した。 今のパソコンはメモリが 8GB しかないので、128GB くらいまで増やしたい。 GPU も少し強くしたい。 DGX Spark が1台100万円くらいはするはずなので、予算もそのあたりに置き、ゲーミング PC 寄りの構成と比べてどれかを買いたい。

返ってきた結論では、この構成にメモリ128GBを積む案(約79万円)が、DGX Spark と比べる選択肢のなかでいちばん中途半端だった。 使い道で分けるのがよい、とも添えてあった。

  • 音声合成や画像生成が主なら、今の PC に RTX 5070 Ti を挿す案(約22万円、前日の計画メモ)が費用対効果でいちばん高い
  • 70B〜120B 級の大型 LLM を手元で動かしたいなら、GPU から使えるメモリを 128GB 持つ機械(DGX Spark や Ryzen AI Max+ 395 機)を選ぶことになる

そのうえで、先に1点確認が入った。 自分が「8GB しかない」と言っていたのは、メインメモリではなく GPU の VRAM のほうだった。 前日に突き止めた音声合成の遅さも、GPU の 8GB があふれることが原因である。 メインメモリを盛る案は、そもそも盛る場所を取り違えていた。

電源ケーブルは、今ある画像からは分からない

電源の確認を Google タスクに積んでいたのを思い出した。 ケースを開けて写真を撮る件である。 その写真を撮れば、どの GPU を買えばいいか、そもそも換えられるかも分かるのか、と聞いた。

その理解で合っている、という答えだった。 ただし、電源のワット数(750W)はもう分かっているので、今回見るのは電源ケーブルの本数とケース内の寸法になる。 写真を撮るだけでなく、定規で2か所を測る必要がある。 その結果で、5070 Ti の2案と 5060 Ti の1案のどれにするかが決まる。

写真を撮らずに済ませられないか、とも考えた。 画像を1枚貼って、そこからどんな電源ケーブルかが分からないかを聞き直した。 高さも、実際に挿してみなくても、ケースに収まりさえすればよいのではないか、と添えた。

電源ケーブルの形は、貼った画像からも仕様からも分からなかった。 高さのほうは自分の言ったとおりで、ケースに収まって側板が閉まるかどうかだけ分かれば足りる。 ケーブルを見るには、結局ケースを開けるしかない。

5070 Ti と 5060 Ti で何が変わるのか

候補が並んだところで、そもそも2枚で何が違うのかが頭から抜けていた。 あらためて聞いた。

どちらも VRAM が 16GB になるので、あふれて遅くなる問題はどちらでも消える。 違いはその先にある。 5060 Ti は、今の RTX 3070 が本来出せる速さに戻るだけだ。 5070 Ti は、そこからさらに速くなる。 差額は約10万円だった。

この説明を聞いて、5070 Ti にしたいと思った。

5070 Ti にすると電源交換がついてくる

ただ、5070 Ti にするなら電源も交換することになる。 大がかりな作業になるのか、素人でもできるのかを聞いた。

素人でもできる作業だ、という答えだった。 GPU の差し替えよりは一段手間がかかり、難しさはプラモデルくらい、時間は1〜1.5時間を見込む。 候補の新しい電源(MSI MAG A850GL)は、必要なケーブルだけを挿す方式である。 つなぐのは4本で済む。

大型LLMまで含めると、比べる相手が変わる

次に、Mac Studio M5 Ultra について貼り付けて意見を聞いた。 Claude Code には、r.jina.ai 経由に切り替えてレビュー記事(Tom's Hardware)を読ませ、数字を確かめさせた。

返ってきた評価は次のとおり。

  • 大型 LLM を手元で動かす用途なら、DGX Spark や Ryzen 機より明らかに上
  • ただし 256GB 構成は、予算のほぼ2倍
  • 音声合成を速くしたいという今の目的には向かない
  • 位置づけは「5070 Ti の代わり」ではなく「DGX Spark の代わり」の候補

読んで「あ、そうそう」と返した。 動かしたいのは大型の LLM、たとえば DeepSeek だった。 同じ回答で、GLM のフルサイズは入らないことも知った。

続けて、前に検討した DeepSeek の画像を読めるモデルのことを聞いた。 Spark でも2〜4台あったほうがいい、という話だったはずのモデルである。 Mac Studio M5 Ultra なら動くのか。

答えは、DeepSeek V4.1 Flash は 256GB の Mac Studio にはそのままでは入らない、というものだった。 動かすなら、品質を大きく落とす強い圧縮が要る。 ちゃんと動かせるのは、10月下旬に出る 512GB 構成のほうだという。 モデルの大きさは、9月18日の記事(手書き伝票のOCRで、DeepSeek V4.1 Flash と Gemini 3 Flash を同じプロンプトで比べた)から引いていた。

購入目的を前提として計画メモに書き込んだ

自分がこの手の機械を買う目的は、ほぼ決まっている。 クラウドの利用規約やモデル側の制約に左右されずに、手元でモデルを動かしたい。 以後はこれを前提にすべて答えてほしいと伝え、計画メモ(非公開)も更新してもらった。

計画メモには、冒頭にこの前提を置いてもらい、大型モデル向けの機械を比べる節を足してもらった。 追記した表の見た目は、スクリーンショットで確かめさせた。

この前提で見直すと、1台で現実的に選べるのは Mac Studio M5 Ultra 256GB と、画像も読める GLM-5.3-Flash の派生版の組み合わせになった。

同じ報告には、訂正が1つ入っていた。 直前の回答で「DeepSeek V4.1 Flash は 512GB 構成なら 4bit で余裕」と言っていたのは、誤りだった。 Hugging Face で Mac 用に変換された派生版のファイルを確かめると、4bit で 554GB あり、512GB には入らない。 512GB 構成を待てば DeepSeek も動く、という道はここで消えた。

振り返り

朝の時点では、メモリを128GBに盛れば DGX Spark と比べられると思っていた。 足りなかったのは VRAM で、メインメモリではなかった。 GPU は 5070 Ti に傾き、電源交換も1〜1.5時間の作業だと分かった。 大型 LLM まで含めると、比べる相手は Mac Studio や DGX Spark に移った。

  • 「メモリが足りない」と言う前に、どのメモリの話かを確かめる。今回の 8GB は VRAM だった
  • 容量の数字は、実際に配られているファイルの大きさで確かめる。「512GB なら余裕」は、ファイルを見ると 554GB で入らなかった
  • 購入の目的は、比較を始める前に前提として書いておく。今回は最後に伝えたので、計画メモの冒頭に前提を足し、比べる節を書き足すことになった

このセッションの中では、ケースを開けて電源ケーブルの本数を見るところまでは進んでいない。 GPU をどの案にするかは、その実測で決まる。

#ローカルLLM#GPU#RTX 5070 Ti#RTX 5060 Ti#電源#Mac Studio#DGX Spark#日記