
P40 でローカル LLM がしたい 〜第4回・Ubuntu 環境構築編〜
はじめに
中古の Tesla P40(24GB VRAM)を積んだ自宅 LLM サーバーを、中古ワークステーション Dell Precision T7910 で組む連載の第 4 回。前回 Ubuntu 24.04 と Windows 11 のデュアルブートまで作った。
P40 は (記事の時系列的には) まだ配送中だ。e-bay で海外の製品を購入するとゆうに一ヶ月ほどかかる。だが GPU がなくてもできることは多い。今回は Ubuntu 側の環境構築をまとめて済ませる。
外から繋がるようにする — どこからでも SSH で入れて、ゆくゆくは推論 API も叩けるように
電源を遠隔で扱えるようにする — つけっぱなしにしない運用
推論ソフトの仕込み — llama.cpp のビルドと、今やってはいけないこと 1 つ
主役は外部公開だ。箱はできたが、このままでは家の中でしか触れない。昔ながらのやり方はルーターのポート開放だが、自宅の IP を世界に晒して sshd を直接受けるのは、今どきやりたくない。そこで Cloudflare Tunnel を使う。ポート開放なし・IP 非公開・無料で、認証まで前に置ける。
Cloudflare Tunnel の仕組み
[外の自分] → HTTPS → Cloudflare → トンネル → [自宅サーバーの cloudflared] → localhost の各サービスポイントは矢印の向きで、接続は自宅サーバー側から Cloudflare へ外向きに張られる。つまり、
ルーターの設定変更なし、ポート開放なし
自宅の IP アドレスは外に出ない
動的 IP でも問題なし
Tunnel は全プランで使える(公式ドキュメントに "Available on all plans" とある)。実質の出費はドメイン代だけだ。次に出てくる認証(Cloudflare Access)も、Zero Trust の無料枠は 50 ユーザーまで使える——自宅サーバーで使い切ることはない。
小さな注意を 2 つ。Cloudflare にドメインをゾーンとして登録済みであることが前提になる。そして Zero Trust の初回セットアップでは、無料枠でも支払い情報の入力を求められる(課金はされない)。知らないと身構えるので先に書いておく。
ドメインを取る
取得も Cloudflare Registrar にした。原価販売(at-cost)で更新料の吊り上げがなく(.dev で年 $12 前後)、何よりトンネルと DNS の管理が同じ画面で完結する。
トンネルを張る
サーバー側: cloudflared のインストール
Cloudflare の公式パッケージリポジトリの手順どおり、apt リポジトリを追加して入れる。`noble` は Ubuntu 24.04 のコードネームなので、他のバージョンなら読み替える。
sudo mkdir -p --mode=0755 /usr/share/keyrings
curl -fsSL https://pkg.cloudflare.com/cloudflare-main.gpg | sudo tee /usr/share/keyrings/cloudflare-main.gpg >/dev/null
echo 'deb [signed-by=/usr/share/keyrings/cloudflare-main.gpg] https://pkg.cloudflare.com/cloudflared noble main' | sudo tee /etc/apt/sources.list.d/cloudflared.list
sudo apt update && sudo apt install -y cloudflaredなお Cloudflare の apt 署名鍵は 2025 年 10 月にローテーションされている(現行キーの作成日が 2025-10-23。`gpg --show-keys` で確認できる)。以前このリポジトリを追加したことがある人は、`apt update` が `NO_PUBKEY` で転ぶ。URL は変わっていないので、上の 2 行目をもう一度実行して鍵を上書きすれば直る。
ダッシュボード側: トンネル作成
Cloudflare の Zero Trust ダッシュボードから、公式のリモート管理トンネル作成手順に沿って進める。
Networking → Tunnels → Create a tunnel
コネクタとして Debian / 64-bit を選ぶと、トークン付きのインストールコマンドが表示される
それをサーバーで実行すると、cloudflared が systemd サービスとして登録され、常駐する
このインストールコマンド(`cloudflared service install <トークン>`)が systemd への登録までやってくれるので、OS を再起動してもトンネルは勝手に張り直される。状態はこう確認できる。
systemctl status cloudflared
# Active: active (running) / enabled になっていれば OK地味な話に見えるが、これがあとで効いてくる。この記事の後半で「電源を落として、通電で自動起動する」運用にするのだが、起動のたびに手でトンネルを張り直す必要があるなら遠隔運用は成立しない。電源が入る → OS が起動する → cloudflared が自動で Cloudflare に繋ぎに行く → 外から SSH が通る。この連鎖が無人で回ることが、すべての前提になる。
CLI だけでも完結できるが、ダッシュボード方式だと後からサービスを追加するのが楽だ。
余談だが、Cloudflare のダッシュボードはメニュー名がよく変わるので、読み替えて読んでいただきたい。
公開ルートの設定
同じトンネルの Routes タブ → Add route → Published application で「どのサブドメインを、サーバーのどのポートに流すか」を決める。
`ssh.example.dev` → Service: SSH → `localhost:22`
(将来) `llm.example.dev` → Service: HTTP → `localhost:8080`(llama.cpp server)
新しいサービスを作ったら、ここに一行足すだけで公開できる。サーバー側の再起動も不要。
門番を立てる: Cloudflare Access
ここが一番大事な話だ。
トンネルを張った時点で、URL を知っていれば誰でもサーバーの入り口までは届く。GPU の載った箱は野良スキャンから見れば格好の獲物で、認証なしで公開するのは危険だ。
Cloudflare Access で認証を前置きする。セルフホストアプリの公開手順に沿って進める。
Zero Trust ダッシュボード → Access controls → Applications → Create new application
Self-hosted and private を選び、Add public hostname で `ssh.example.dev` を指定
ポリシーで許可する相手を絞る
ポリシーは用途で選ぶ。人間がブラウザで使うなら自分のメールアドレス宛の PIN 認証。これが基本形だ。
もう一つ、プログラムや別のマシンから無人で繋ぎたい場合は Service Token を使う。この場合ポリシーの Action を通常の Allow ではなく Service Auth にする必要がある(公式ドキュメントにも明記されている)。ここを間違えるとブラウザ認証を要求され続けて延々ハマるので注意。なお Service Token 経由のアクセスはシートを消費しないので、無料枠の 50 ユーザーを気にする必要もない。
手元からの SSH
このサーバーに SSH で入りたい主体は、うちの場合 2 種類いる。
1 つは自分。手元のマシンから普通に入って様子を見たい。もう 1 つは Claude Code。実はこの Ubuntu サーバーの構築作業は、かなりの部分を Claude Code に任せている。エージェントが SSH で入り、パッケージを入れ、設定を書き、動作確認までやる。人間はその結果を眺めて、たまに口を出すだけだ。
この 2 つは認証の性質が違う。人間はブラウザ認証ができるが、エージェントは無人で繋がる必要がある。Cloudflare Access はどちらの形も用意している。
人間が繋ぐ: ブラウザ認証
手元のマシンにも cloudflared を入れて、`~/.ssh/config` に書く。公式の client-side cloudflared 手順にある基本形はこれだけだ。
Host myserver
HostName ssh.example.dev
User ユーザー名
IdentityFile ~/.ssh/mykey
ProxyCommand cloudflared access ssh --hostname %h`ssh myserver` を叩くとブラウザが開いて Cloudflare の認証に飛び、通ればそのまま SSH が繋がる。認証は Cloudflare 側と SSH 公開鍵の二重で、どちらか一方が漏れただけでは入れない。
エージェントが繋ぐ: Service Token
Claude Code のように無人で繋ぐ場合は、先ほどの Service Token を ProxyCommand に渡す形になる。
ProxyCommand cloudflared access ssh --hostname %h --id <トークンID> --secret <シークレット>ただし `~/.ssh/config` に秘密を平文で書くことになる。環境変数 `TUNNEL_SERVICE_TOKEN_ID` / `TUNNEL_SERVICE_TOKEN_SECRET` でも渡せるので、そちらの方が安全だ。Client Secret は生成時に一度しか表示されないので、その場で保管すること。
この設定を Claude Code が動くマシン側に入れておけば、エージェントは `ssh myserver '<コマンド>'` を打つだけで自宅サーバーを操作できる。ブラウザも人間の承認も要らない。前述の Service Auth ポリシーとセットで機能する話なので、ポリシー側の設定を忘れずに。
他の選択肢にも触れておく
Cloudflare の SSH 保護のドキュメントを見ると、方式は実は 4 つある。
cloudflared を手元に入れる(この記事の方式) — 構築 15〜30 分。慣れた端末でそのまま `ssh` が使える
Access for Infrastructure — 短命証明書 + コマンドログまで取れる。ただし WARP クライアントが必要で構築は重い
自己管理の SSH 鍵 — 既存の鍵をそのまま使い、ネットワーク側でポリシーを効かせる
ブラウザ SSH — クライアント不要。ブラウザだけで入れる
個人の自宅サーバーなら 1 番目で十分だと思う。監査ログやチーム運用が要るなら Access for Infrastructure を見るといい。
一点、紛らわしい話がある。「短命証明書(Short-lived certificates)」という古い機能は現在 legacy 扱いで、ドキュメントに「新規デプロイには推奨しない。Access for Infrastructure を推奨する」と明記されている。同じ「証明書で SSH」の話に見えるが、後継は上記の Access for Infrastructure だ。検索で古い記事に当たったときは気をつけてほしい。
電源の話: リモートで落とす、物理で起こす
外から使えるようになると、つけっぱなし問題が出てくる。Dual Xeon のワークステーションはアイドルでも 100W 前後食う。電気代にして月 2,500 円くらい。使わない時間は落としたい。
落とすのは簡単だ。SSH で `sudo systemctl poweroff` すればいい。問題は起こす方で、T7910 のようなタワーワークステーションには iDRAC のようなリモート管理機能がない。トンネルの出入り口はサーバー自身に載っているから、電源が落ちた瞬間に外からの経路ごと消える。
解決策はスマートプラグ + BIOS 設定だ。
BIOS で AC Recovery: Power On に設定(通電したら自動で起動する)
スマートプラグ(TP-Link Tapo 等、¥2,000 前後)をスマホから ON/OFF
シャットダウンは SSH で `sudo systemctl poweroff`、起動はスマホでプラグを入れ直す。乱暴に見えるが、BIOS 設定と組み合わせれば確実に動く。
ここで、cloudflared を systemd サービス化しておいたことが効いてくる。プラグ ON → BIOS が通電を検知して起動 → OS が上がる → cloudflared が自動でトンネルを張り直す → 外から SSH が通る。この間、人間がサーバーに触る工程はゼロだ。
実際に運用して分かったコツを 2 つ。
OFF → ON の間隔は 8 秒以上空ける。 短いと BIOS が「電源が切れた」と認識せず、そのまま通電しても起動しない
起動完了(SSH が通るまで)は通常 2〜3 分。ただしトンネルだけが繋がらず沈黙することが稀にある。マシン自体は起きているのに接続だけ失敗し続ける。慌てて電源を抜き差しせず、少し置いてから再試行する方がいい
ワットチェッカー付きのプラグを選べば消費電力の実測もできて一石二鳥だ。
ちなみにこのプラグ操作は API でも叩ける。自分も最初はプラグの API を直接使うつもりだったが、自宅ネットワークの事情で素直に通らず、結局 Samsung SmartThings に Tapo を登録して、SmartThings 経由の API で操作する形に落ち着いた。このあたりは家のネットワーク構成に依存するので、参考程度に。
これで起動手段が「スマホで手動」に加えて「API」でも可能になった。効いてくるのはここからで、Claude Code のようなエージェントツールに「サーバーを起こす → 作業する → 終わったら落とす」という運用ごと任せられるようになる。物理ボタンでしか起きないマシンはエージェントから見ると死角だが、プラグの API 化はその死角を消してくれる。
GPU が来る前にできる仕込み
P40 はまだ配送中だが、環境は先に作れる。
sudo apt install -y build-essential cmake git curl
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build
cmake --build build --config Release -jllama.cpp の CPU ビルドだ。Dual Xeon の 72 スレッドで並列ビルドすると 2 分かからず終わる。10 年前のワークステーションも、コア数だけは今でも武器になる。
ちなみに GPU が届いたら、CUDA を有効にしてビルドし直すことになる(`-DGGML_CUDA=ON` と、Pascal 向けの `-DCMAKE_CUDA_ARCHITECTURES=61`)。今の CPU ビルドは動作確認用と割り切っていい。
一つ注意。NVIDIA ドライバはまだ入れない。
今挿さっているのは映像出力用の古い Quadro K2000 で、これは Kepler 世代。P40(Pascal)を動かすドライバは Kepler をサポートしていない。何も考えずに先に入れると、画面が映らなくなる。
しかも最終的には「Kepler の K2000 で画面を出しつつ、Pascal の P40 で推論する」という 2 枚構成になる。この共存はドライバのロード順を制御しないと成立せず、素直にやると片方が死ぬ。ここは今回の範囲を超えるので、P40 到着後の回でまとめて書く。
ともかく今は、ドライバを入れずに待つのが正解だ。
ここまでの構成
T7910(Ubuntu 24.04 + Windows 11 デュアルブート)
Cloudflare Tunnel で外から SSH 可能、ポート開放なし・自宅 IP 非公開
認証は Cloudflare Access + SSH 鍵の二重
電源はスマートプラグ + AC Recovery で遠隔起動
llama.cpp はビルド済み(CPU)、NVIDIA ドライバはあえて未導入
あとは P40 の到着を待つだけ。
次回、ついに開封と装着。10 年前のデータセンター用カードは、はたして家庭のタワーで火を吹かずに動くのか。パッシブ冷却のカードを自作シュラウドで冷やす話と、Kepler と Pascal を 1 台で共存させるドライバの話が待っている。
(第 5 回に続く)