
P40 でローカル LLM がしたい 〜第1回・基盤選定編〜
はじめに
友人が 100 万円以上する Mac Studio を買って、ローカル LLM を楽しんでいる。
「それ、自分もしたい」
トークン数を気にせず回せる推論環境、外に出せないデータを扱える安心感….そんなものはどうでもいい。「あ、これ今家のサーバーで動いててさ !!」って言いたい。
ただ Mac はとても高価でなかなか手が出せない。
この記事では、中古ハードで 格安に オープンウェイトなモデルを動かすまでの道のりを記す。第 1 回は、すべての出発点となる GPU とホストマシンの選定について書く。
GPU 選定: なぜ Tesla P40 なのか
P40 と P100 で迷う
なんと言っても LLM に必要なのは GPU メモリだ。GeForce や Radeon も中古で探せば数万円で手に入るものが多い。ただし VRAM が足りない。中古で安い RTX 3060 でも 12GB 止まり、24GB 積んだ RTX 3090 は中古でもいまだに 10 万円を超える。そこで調べてみると国内外の先人たちが Tesla P40 や Tesla P100 というデータセンター向けの GPU を利用しているものが見つかる。どちらも 2016 年のカードでとても古いが、P40 は VRAM が24GB もある。
Tesla P40
VRAM: 24GB GDDR5
メモリ帯域: 約 347 GB/s
FP16: 遅い(FP32 の 1/64)
INT8: 対応
Tesla P100
VRAM: 16GB HBM2
メモリ帯域: 約 732 GB/s
FP16: 速い(FP32 の 2 倍)
INT8: 非対応
スペック表だけ見ると P100 の HBM2 と FP16 性能が魅力的に映る。しかし、量子化モデル(GGUF)を動かす世界では、結論が変わる。
VRAM 容量がすべてを決める。
量子化推論では P100 の FP16 性能は活きない。一方で 24GB と 16GB の差は、載せられるモデルのサイズに直結する。24GB あれば 30B クラスの Q4 量子化モデルが 1 枚に収まる。16GB では 13B が限界に近い。
P40 の弱点も書いておく
いいことばかりではない。買う前に知っておくべき弱点を並べる。
FP16 が絶望的に遅い。fine-tuning には向かない。量子化推論専用と割り切る
Flash Attention の恩恵が限定的。Pascal は世代が古く、Ampere 以降のような高速化は望めない
映像出力がない。データセンター用なので HDMI も DisplayPort もない
パッシブ冷却。サーバーの強制エアフロー前提の設計で、タワーケースに挿すだけでは確実に熱死する。冷却は自作が必須
ドライバはレガシー扱い。NVIDIA の 580 系ドライバが Pascal をサポートする最後のブランチになる。ただし 2026 年現在、レガシーブランチの保守は続いており、Ubuntu 24.04 + 570-server 系ドライバで安定して動く
この弱点を全部飲み込んでも、¥40,000 前後で 24GB VRAM という数字には代えがたい魅力がある。2026 年の中古相場で、24GB を積んだカードは他に選択肢がほぼない。
メルカリやヤフオクを探すと P40 の出品もちらほら見つかるが、少しでもコストを抑えたいので、eBay を漁り、自分は以下から購入した。
送料と輸入消費税込みで約 ¥45,000。
ホスト選定: Dell Precision T7910
P40 をタワー PC に挿すには、いくつかの条件をクリアする必要がある。
電源容量: P40 は TDP 250W。しかも補助電源が PCIe 8pin ではなく CPU 用 EPS 8pin という罠がある
BIOS: 24GB の VRAM をアドレス空間にマップするため「Above 4G Decoding」が必須
エアフロー: パッシブカードを冷やす強制吸排気
PCIe x16: 帯域をケチると推論に響く
これを普通の自作 PC で満たそうとすると、マザー・電源・ケースの選定が面倒になる。
自分は一般の家庭なので、自宅に サーバー機を置くのは憚られる。何より騒音が厳しい。そこで、タワーワークステーションの Dell Precision T7910 を中古で購入した。
1300W PSU モデルが存在する。P40 を 2 枚挿しても余裕
Dual Xeon E5-2600 v4 世代。中古で数が出ていて安い
マザーボード上に GPU 用電源端子があり、純正ケーブルで EPS 給電できる
5万円ほどで購入できた。
その他購入品
冷却シュラウド(80mm ファン用)
ARCTIC P8 Max(80mm PWM ファン)
GPU 電源ケーブル(Dell 純正互換)
全部合わせても 11万円以下である。
24GB VRAM の推論サーバーとしては、悪くない数字ではないだろうか。
やることはまだまだ山ほどある。元々タワステについてきた Windows は一応残しておきたいので、Ubuntu とのデュアルブート構築をする。そしてローカル LLM をどこからでも呼び出せるように、外からの疎通性を確立する。
【後日追記】 実際に組んでみて、ケーブル類は以下で確保した。同じ構成を組む人の参考に。
GPU 給電: AliExpress で「グラフィックカード用電源ケーブル GPU 供給ケーブル Dell T5810/T5820/T7920/T7910/T7820/T7810 用 8 ピン サーバー電源コード」を購入(8pin → 8pin)。同名でもピン配置のパターンが複数あるので注意。
ファン給電: T7910 のマザボにはケースファン用の空きコネクタがないため、SATA 電源から取った。使ったのは次の 2 つ
KAUMO SATA 電源 2 分岐ケーブル(SATA オス → SATA メス ×2) — 光学ドライブ用の SATA 電源を分岐
15 ピン SATA → 3 ピン/4 ピンファン ×2 変換ケーブル(27cm、スリーブ編組) — 分岐した SATA からファンに給電
(第 2 回に続く)