メインコンテンツへスキップ
見出し画像

P40 でローカル LLM がしたい 〜第1回・基盤選定編〜

    はじめに

    友人が 100 万円以上する Mac Studio を買って、ローカル LLM を楽しんでいる。

    「それ、自分もしたい」

    トークン数を気にせず回せる推論環境、外に出せないデータを扱える安心感….そんなものはどうでもいい。「あ、これ今家のサーバーで動いててさ !!」って言いたい。

    ただ Mac はとても高価でなかなか手が出せない。

    この記事では、中古ハードで 格安に オープンウェイトなモデルを動かすまでの道のりを記す。第 1 回は、すべての出発点となる GPU とホストマシンの選定について書く。

    GPU 選定: なぜ Tesla P40 なのか

    P40 と P100 で迷う

    なんと言っても LLM に必要なのは GPU メモリだ。GeForce や Radeon も中古で探せば数万円で手に入るものが多い。ただし VRAM が足りない。中古で安い RTX 3060 でも 12GB 止まり、24GB 積んだ RTX 3090 は中古でもいまだに 10 万円を超える。そこで調べてみると国内外の先人たちが Tesla P40 や Tesla P100 というデータセンター向けの GPU を利用しているものが見つかる。どちらも 2016 年のカードでとても古いが、P40 は VRAM が24GB もある。

    Tesla P40

    • VRAM: 24GB GDDR5

    • メモリ帯域: 約 347 GB/s

    • FP16: 遅い(FP32 の 1/64)

    • INT8: 対応

    Tesla P100

    • VRAM: 16GB HBM2

    • メモリ帯域: 約 732 GB/s

    • FP16: 速い(FP32 の 2 倍)

    • INT8: 非対応

    スペック表だけ見ると P100 の HBM2 と FP16 性能が魅力的に映る。しかし、量子化モデル(GGUF)を動かす世界では、結論が変わる。

    VRAM 容量がすべてを決める。

    量子化推論では P100 の FP16 性能は活きない。一方で 24GB と 16GB の差は、載せられるモデルのサイズに直結する。24GB あれば 30B クラスの Q4 量子化モデルが 1 枚に収まる。16GB では 13B が限界に近い。

    P40 の弱点も書いておく

    いいことばかりではない。買う前に知っておくべき弱点を並べる。

    • FP16 が絶望的に遅い。fine-tuning には向かない。量子化推論専用と割り切る

    • Flash Attention の恩恵が限定的。Pascal は世代が古く、Ampere 以降のような高速化は望めない

    • 映像出力がない。データセンター用なので HDMI も DisplayPort もない

    • パッシブ冷却。サーバーの強制エアフロー前提の設計で、タワーケースに挿すだけでは確実に熱死する。冷却は自作が必須

    • ドライバはレガシー扱い。NVIDIA の 580 系ドライバが Pascal をサポートする最後のブランチになる。ただし 2026 年現在、レガシーブランチの保守は続いており、Ubuntu 24.04 + 570-server 系ドライバで安定して動く

    この弱点を全部飲み込んでも、¥40,000 前後で 24GB VRAM という数字には代えがたい魅力がある。2026 年の中古相場で、24GB を積んだカードは他に選択肢がほぼない。

    メルカリやヤフオクを探すと P40 の出品もちらほら見つかるが、少しでもコストを抑えたいので、eBay を漁り、自分は以下から購入した。

    https://ebay.us/m/VUilmp

    送料と輸入消費税込みで約 ¥45,000。

    ホスト選定: Dell Precision T7910

    P40 をタワー PC に挿すには、いくつかの条件をクリアする必要がある。

    1. 電源容量: P40 は TDP 250W。しかも補助電源が PCIe 8pin ではなく CPU 用 EPS 8pin という罠がある

    2. BIOS: 24GB の VRAM をアドレス空間にマップするため「Above 4G Decoding」が必須

    3. エアフロー: パッシブカードを冷やす強制吸排気

    4. PCIe x16: 帯域をケチると推論に響く

    これを普通の自作 PC で満たそうとすると、マザー・電源・ケースの選定が面倒になる。

    自分は一般の家庭なので、自宅に サーバー機を置くのは憚られる。何より騒音が厳しい。そこで、タワーワークステーションの Dell Precision T7910 を中古で購入した。

    • 1300W PSU モデルが存在する。P40 を 2 枚挿しても余裕

    • Dual Xeon E5-2600 v4 世代。中古で数が出ていて安い

    • マザーボード上に GPU 用電源端子があり、純正ケーブルで EPS 給電できる

    5万円ほどで購入できた。

    その他購入品

    • 冷却シュラウド(80mm ファン用)

    • ARCTIC P8 Max(80mm PWM ファン)

    • GPU 電源ケーブル(Dell 純正互換)

    全部合わせても 11万円以下である。

    24GB VRAM の推論サーバーとしては、悪くない数字ではないだろうか。

    やることはまだまだ山ほどある。元々タワステについてきた Windows は一応残しておきたいので、Ubuntu とのデュアルブート構築をする。そしてローカル LLM をどこからでも呼び出せるように、外からの疎通性を確立する。

    【後日追記】 実際に組んでみて、ケーブル類は以下で確保した。同じ構成を組む人の参考に。

    • GPU 給電: AliExpress で「グラフィックカード用電源ケーブル GPU 供給ケーブル Dell T5810/T5820/T7920/T7910/T7820/T7810 用 8 ピン サーバー電源コード」を購入(8pin → 8pin)。同名でもピン配置のパターンが複数あるので注意。

    • ファン給電: T7910 のマザボにはケースファン用の空きコネクタがないため、SATA 電源から取った。使ったのは次の 2 つ

      • KAUMO SATA 電源 2 分岐ケーブル(SATA オス → SATA メス ×2) — 光学ドライブ用の SATA 電源を分岐

      • 15 ピン SATA → 3 ピン/4 ピンファン ×2 変換ケーブル(27cm、スリーブ編組) — 分岐した SATA からファンに給電

    (第 2 回に続く)


    あなたへのおすすめ