メインコンテンツへスキップ
見出し画像

ローカルLLM用の自宅ワークステーション、Tesla P40から Tesla V100に至る道のり

    はじめに

    ローカルLLM用の自宅ワークステーションを稼働させました。その心臓部、GPUは、最初が、Tesla P40 x4(=96GB)、最近GPUを入れ替えて、Tesla V100 32GB x4(=128GB)です。この、Tesla P40から Tesla V100に至る道のりについて、今更ながら記録に残しておこうと思います。

    今の Tesla P40、Tesla V100の評価

    この記事を書いている今この時点で2026年5月。ビデオカードの最先端は、Nvidiaの民生用ならRTX5090になっています。Tesla P40とか、Tesla V100とかは、既に10年くらい前の古すぎるカードです。なぜ今頃にこんなことを書くのか。それは、Tesla P40も、Tesla V100も、残念ながら、現時点に至っては、もうあまり良い評価をされていないのではないか、と感じるからです。

    でも実は、私自身は、結構使える、と思っています。

    特に、Tesla V100(32GB PCIe版)は、最近になって買い集めて、Tesla P40から入れ替える形でシステムに組み入れました。確かに最新のことはできません。でもこれでゲームをするわけでもないし、画像や動画を生成するためにも使いません。LLMの推論に使うためなので、それだけならば結構役に立つと思っています。推論に使うだけにGPUを求める利用者もいる、しかも大量にVRAMを置こうとしている、それならば、Tesla P40や、Tesla V100は、まだまだ役に立つ、ということをネット上に残したくて、これを書いています。

    どれだけの人に閲覧していただけるのかは分かりませんが、つらつらと、今の自分のシステムについて書いて残しておきたいと思います。

    私のシステム

    使っているワークステーションの使用目的

    目的は、ローカル(自宅)でLLMを動かすこと。そのローカルLLMのモデルは、Gemma4:31B-it-Q8_0に狙いを定めています。理由は日本語が堪能だからです。いろいろと、試したのですが、この31Bというパラメータ数で日本語にほぼ間違いがないのです。別のモデルを試したときには、接続詞とかで、見慣れない言葉がでてきました。Googleで検索したら、中国語の接続詞でした。

    これを、GoogleのAIモードと会話している時ネタで出したら、日本語での学習を受けていないモデルの場合には、アジア地域の言語というくくりで変換をしたりするので、中国語や韓国語と日本語が混じることがある、という指摘を受けました。もしかしたらそうなのかも知れません。とりあえず、ローカルLLM上でGemma4:31Bを動かしたくて、そのためのワークステーションを用意しました。

    LLMを動かすためのソフト

    そのLLM用ワークステーションでは、Ubuntu 22.04 上で、Ollamaを利用してLLMを動かしています。Ollamaにすることで、古いGPUでも問題なく動いています。Redditやその他のところで、よく見かけるのは、Tesla P40はもう古い、Tesla V100は今から買うものではない、という議論です。汎用性とかを考慮すれば確かにそうかもしれません。でも、もう手元にRTX3090や、RTX4060 Ti 16GBが複数台あって、それで画像生成や動画生成はできています。今やりたいのはLLMです。低予算でなるべく多くのVRAMが欲しい。あと、いまは推論がしたいのです。学習にはあまり興味がありません。たくさんの文章を読み込ませて、LLMに考えてもらうのが目的です。なので、Tesla P40とか、Tesla V100で十分だと感じていました。

    もうひとつ。これが実は大きい理由なのかもしれません。既に手元に、その頃の世代(Tesla P40、Tesla V100と同じくらいの世代)のマザーボードやメモリ、CPUがあって、組み上げられる状況にあったのです。しかも、サーバー用のdual Xeonのヤツです。いま2026年5月現在では、メモリは価格が高騰していますので、DDR5の新しいモノを買う余裕はありません。そんな状況下で、中古のDDR3、サーバー用ECCメモリのまとまった数(192GB)が手元にありました。これを活用しようと思ったのです。ならば、その世代での最先端だった、Tesla P40やTesla V100は、マザーボードやメモリ、CPUとも世代が一緒なので、相性が良いのではないか、扱いやすいのではないか、と思ったのです。

    GPU以外

    マザーボード

    < ASUS X9PE-D8 WS >(失敗)

    最初は、ASUS X9PE-D8 WSを使おうと思っていました。理由は、いま使っていない現物(モノ)が、私の手元にあったからです。でも、Tesla P40をつなげた時に、GPUをうまく認識させる事ができませんでした。というか、Tesla P40をつなげた時だけPOSTしませんでした。BIOSには、Above 4G Decoding の項目はあったのです。でもダメでした。この、Above 4G Decoding の項目をONにすると、そのとたんにマザーボードが動かなくなっていました。何が悪いのか分からずに、結局はあきらめて、さっさと別のマザーボードに乗り換えました。

    今思えば、BIOSを更新というかダウングレードさせてみると良かったかも知れません。というのも、乗り換えた次のマザーボードでも、最初POSTせずに、BIOSを更新というか、ダウングレードさせたら、POSTして上手くいったからです。またそのあとにも、一度、そのマザーボードでダメになりましたが、再度BIOSを更新させたら、またうまくいくようになりました。私は趣味でやっているだけで、技術者ではないので、詳しいことは何もわかりません。まあ動けばOK、という状況でやっています。

    < Supermicro X9DRG-QF >

    で、次に利用したマザーボード(現在使っているヤツ)ですが、最初から、GPUを4台動かすことが念頭にあったので、それならば、という事で、GPUサーバーとしての実績がある、Supermicro X9DRG-QF の中古品を買ってきました。これは、2レーン幅のGPU(P40もV100も2レーン幅です)が4台まで接続できる、そのためのPCIe x16が4レーンあって、さらに加えて3レーンPCIe接続ができます。3レーンあるソコには、NVMe SSDを接続して起動ディスクやモデル置き場にしています**

    ** これ読んで同じ事をしようとする方がいるかもしれないので、ここに書いておきます。この世代のモノは、NVMeからの直接起動ができません、工夫が要ります。私は、USBメモリ上のclover経由で起動させています。

    あと、このマザーボードはモニター出力端子を持っていて、追加グラフィックボードなしに画面出力ができます。Ollamaの動作を見たりするのに重宝しています。稼働し始めたら、ネット回線でLLMに接続することが多くなったので、いま画面を見るのは、モデル導入時と、nvidia-smi、ollama ps、でモニターするときくらいです。

    CPU

    Xeon E5-2650L v2 dual です。もともと、新型コロナの頃に、生成AIが流行りだして、自分も手元で動かしてみたくて、その時に、ワークステーション用のCPUやメモリを中古でたくさん買い込んでいました。最初は、Xeon E5の、v1(無印)dual、 v2 dualから始めて、最後には、v4 dualを2台セットアップして、それらはいま、動画生成や、日常の作業のために使っています。どちらも、ASUS X10PE-D16 WS です。

    なので、ASUSのマザーボードには愛着もあるし、慣れてもいたので、どうにかなるかなという気持ちもありました。何よりも、ASUSのX9PE-D8マザーボードとDDR3メモリが使われずに余っていたのです。これを使わないのはもったいない、ということで、世代は古いけど、使おうと思いました。

    また、Xeon E5 dual構成は、CPUは古いけれども、PCIeレーンがたくさん取れます。x16を4本は余裕で取れるのです。マルチGPUにはうってつけでした。

    ひとつ問題だったのは、電源が足りるか、という点でした。なるべくGPUを乗せたかった。Xeonのdual構成ならば、PCIeレーン数は十分に確保できています。なので、Xeon dual構成は外せない。でもこの世代のXeonは、冬にはコレで暖房が取れる、くらいに電力消費が多いのです。

    なので、今回のXeon E5は低電圧版の、E5-2650L v2 dualという構成にしました。これだと、70Wx2=140Wです。LLMは最初からGPU上で動かす算段なので、CPUはあまり速い必要もないということ、あと、そのGPUすら、電力制限をして使う予定でした。実際に今でも、電力制限をして使っています。それでも推論中は爆熱ですけど。

    メモリ

    DDR3のサーバー用メモリが192GBほど余っていたので、ソレを使っています。ECC対応で、RDIMMです。新型コロナの頃に、たくさん買っていたので、それを使おうという作戦です。現時点では、そのDDR3ですら、買った時よりも高値になっています。いまにして感じるのは、あの時買っておいて本当に良かった、ということです。

    私のサーバー構築のコンセプトに、RAMは余裕を持って、ふんだんに用意する、というのがあります。世代が多少古くても、沢山積んでいる方が良いと考えています。これは、運用の余裕につながります。VRAMについても同じ考え方です。だから、私の中では、Tesla P40やTesla V100が選択肢になり得ているのだと思います。

    RAMやVRAMの容量は、例れば、作業場の広さに相当する、と思います。ここが狭いと、できない事が多くなってしまいます。多少ボロい納屋であっても、広い作業場なら、そこでやれる事が多くなります。多少遅いのを我慢してでも、やれる事が多い方を選んだ、と思っています。

    電源

    1300W電源を1つで賄っています。これだけで十分大丈夫だと感じます。4台のGPUには140W(V100にしてからは、150W)の電力制限をかけていて、CPUは2台あるけど、Xeon E5-2650L dual、1台あたり最大70Wなので、全部足して、さらにマザーボード周りやケースファン、CPUファン辺りを考慮しても十分許容範囲内となっている、と考えています。

    シュラウド (導風用の囲い)

    一番問題になるのが、GPU(Tesla P40、Tesla V100)がパッシブ冷却なので、自分でGPUの冷却を工夫しないといけないところでした。これはシュラウド(風を送り込むための囲い)を段ボール切り貼りで自作しました。最初から4台つなげる予定だったので、4台を1つの送風経路に収めるように、段ボールとガムテープでシュラウドを作成しました。真四角の筒みたいな形状になりましたが、GPUの前側と後側に、プッシュ&プルで140mmファンを設置しました。中古品をまとめ買いしたノクチュアのケースファンです。

    ノクチュアなので静音性が高いのは嬉しいのですが、静圧に不安がありました。なのでそれぞれ、プッシュ側、プル側を各2連にして(合計で4連)、静圧を保つようにしました。2連のファンの間は少し(3㎝程度)間隔を開けました。Google AIと相談してそうしました。Redditとかだと、縦2連にするのは全く意味がない、という議論が多いですが、静圧を高めるためには、縦2連も悪くないと思っています。実際にCPUファンの中には、プッシュ&プルとかでそのような形態はよくありますので。

    Tesla P40にしても、Tesla V100にしても、風を通すフードの中には多数の冷却用の羽(フィン)がでています。そこに風を通すにはある程度の静圧が必要である、ということなので、そのようにしました。出口側に手を当てると、風は一定量通り抜けているようなので、とりあえずこれで良しとしています。

    段ボール製シュラウドは、マザーボードが巨大でケースに収まらないで、机の上に設置されているのとも相まって、ちょうどうまく機能している、という感じです。試しにブロワーファンを1台買ってみましたが、あまりの音量に使用を諦めました。ウチにはサーバールームは無いのです。今回のLLM用ワークステーションは、居間のご飯を食べるための机の上(の片隅)に設置しています。

    それでも、推論中にはGPU本体が熱くなっていたので、GPUの4台の上部にさらにヒートシンクを2枚ほどつけて、その上にケースファンを1つ設置しました。これは結構、冷却の役に立っているのではないか、と思っています。

    GPU、やり始めた時

    Tesla P40 x4の時代

    最初はTesla P40 x4でシステムを組みました。最初にTesla P40を1台で動作確認をして、うまく行く事が確認できてから、x4 に増やしていきました。VRAM 96GBを使いたかったのが主な理由です。でも、動かなかったときのことを考えると、段階を踏む方が安全で、いきなり全力は怖かったからです。実際に、最初のマザーボード、X9PE-D8にP40を載せてPOSTしなかった時にはちょっと青くなりました。

    でも、とにかく自宅でLLMを動かしたかったので、X9PE-D8はさっさと見切って、MBD-X9DRG-QFに乗り換えました。こちらのマザーボードはさすが産業用?だけあって、良いなと思います。ただ、ガタイが大きすぎて、PCケースの筐体に入らないのが残念です。ウチではPCの筐体は全部、Cooler Master の、COSMOS II、なのです。これに入らないものはない、と思っていたのですが、裏切られました。世の中、上には上がいる、と痛感しました。

    システムが動き出したら、Tesla P40 x4 は良い仕事をしてくれました。でも正直、推論スピードは遅いです。4~5 tokens/s という感じでしょうか。もちろん、小さなモデルの時はそこそこ速いです。いまは、Gemma4:31B-it-Q8_0、の時の話をしています。

    Tesla P40でQ8_0が動かせる理由

    Gemma4:31B-it-Q8_0はVRAM上に展開すると、32GBくらいは使います。でももし、それ以上のVRAMさえ用意できるのならば、100%GPUで動かす事ができます。コンテキストサイズは、256Kで30GB程度を利用するので、合計で、VRAMが62GB以上用意できているのならば、フルコンテキストサイズでの Q8_0 が100%GPUで動きます。

    Tesla P40は古いGPUですが、INT8計算はサポートされていて、高速演算できるので、Q8_0とは非常に相性が良いのです。なので実用的範囲で動かすことができるのだと思います。つまり、Tesla P40 が3台(=72GB)以上あれば、Gemma4:31B-it-Q8_0が、フルコンテキストで動かせるのです。

    推論スピードはそこそこですが、時間さえかければ、許容範囲内に仕事は終わります。何よりも、いろいろと試せるのがうれしいです。

    特に、会話をする時には、この程度の生成スピードだと、私が生成された文章を読む速さとさほど変わらないのが良いと感じました。もしもっと爆速で生成されたとしても、私が文章を読むのに時間がかかるので、コミュニケーションとしては、結局は同程度のスピードになってしまうのだろうと思います。

    それは、GPUをTesla P40からTesla V100に入れ替えてから、特にソレを感じることがありました。Tesla V100では同じ、Gemma4:31B-it-Q8_0 が、世間話とかの軽い話だと 17 tokens/s 程度になりました。これだと、私の読む速さよりも書き出される速さの方が勝るので、読むのが律速になってそこに時間がとられてしまう、と感じました。ファイルの変換とかなら、素早く作業が終わるのはうれしいのですけど。結局は用途次第なのかなと感じています。

    Tesla P40の購入について

    Tesla P40の購入方法ですが、主にeBayを利用しました。でも出しているのは中国の業者が多いですね。中国からだと、早ければ数日で届きますし、その際に税金(関税)を取られたことが一度もありませんでした。どうなっているのでしょうかね。

    Tesla P40の場合には、特にバリエーションが無いので、Tesla P40を注文すれば、かならずTesla P40が届きます。でも、Aliexpressとかだと、Tesla P40と書いてあっても、デフォルトで選択されているのが、Tesla P40ではなくTesla P4だったりします。P4とP40は外見がそっくりです。多分、わざと間違えさせようとしているのだと思います。値段が安いからと、そのまま注文すると、多分違うモノが届く可能性があるのが怖いですね。Tesla P4も、Tesla P40も、皆、同じような色形をしていますからね。

    GPU、交換の方向性

    アップグレードは、どの方向に向かうか

    ずっとTesla P40で続けていくのは、さすがに厳しいかなと思っていました。でも、ではシステムのアップグレードで、どの方向に行うか、については考えドコでした。通常は、RTX5090とかの最新グラボを買う方向になるのでしょう。でも、それだとマザーボードとか、WSシステムそのものを取り替える事にもなりそうでした。DDR3 / Xeon E5 v2がRTX5090を生かせるようなモノでは無い、と思っていました。そもそも、それを考えていないから、Tesla P40を購入したはずです。また、RTX5090を複数台揃えるのも夢の又夢という感じでした。

    ならば、RTX3090を複数台、という選択肢も有ったと思います。ただ、RTX3090も随分と中古価格が値上がりしていて、手が届かない印象でした。そんな中で、VRAM容量を更に増やして、価格的にさほどの投資を必要としない(といっても投資しましたが)選択肢が、Tesla P40からTesla V100に移行する、というものでした。

    Tesla V100(32GB)の購入について

    Tesla P40を先に購入して、稼働することを確認して、更にLLMをいろいろと試しながら、少しずつ、時間をかけてTesla V100(32GB)を購入していきました。値段も高いですので、少しずつ、クレジットカードが購入許容限度を超えないように、気を使いながら、ネットで購入しました。

    Tesla V100の場合には、明らかに配色が違うので、その点は大丈夫だったのですが、問題なのは、PCIe版ではないものが存在する、というところでした。SXM2とか、SXM3とかで表示されている、PCIe版とは似ても似つかない姿形のモノです。こっちの方が安く流通しているので、使える人はコレで良いのだと思いますが、私は既にマザーボードをMBD-X9DRG-QFにしてましたし、SXM2とかには寄り付きませんでした。

    購入は同じく、eBayを通して集めていました。Redditに書いてあった事ですが、eBayには、小口の業者と、時々やってくる、大口の売り手がいる、との事でした。大口の売り手は、データセンターから大量に出物がでた時にやってきて、販売価格も安いとの事。私がちまちまと買い集めている時に、その大口の売り手がやって来ました。100個くらいを販売してましたが、皆で群がって2日程度で売り切れてましたね。

    私もソコから、2セット購入しました。本当は、これを狙ってずっと待っていて、この時に4セット一気に揃えられれば非常に格好良かったのですが、いつやって来るか分からないし、そこまで辛抱できませんでした。

    あと、その大口業者は、米国の業者で、日本に送付して貰うと、送料がかかって、他の業者と値段が変わらなくなってしまってました。なので、オレゴンの転送業者に送ってもらって、そこから日本に転送しました。eBayの米国業者は、米国内だと無料で送るので、あとはオレゴンから日本への送料だけになります。オレゴンは、州税がかからないので、転送業者が倉庫を持っている事が多いです。ちなみに私は、Planet Express、を使っています。

    ということで、eBay経由で、少しずつ集めていました。あとで、Tesla V100を実際に運用し始めてから分かったのですが、4台購入したうちの1台は、SXM2からの改造版でした。外見はPCIe版なのにね。nvidia-smiの表示内容で分かりました。それだけなら、まだ良いのですが、このSXM2からのヤツだけは、待機電力が結構他より高くて、常時50Wくらいを消費してます。他のヤツは30Wくらいです、そこが唯一、気になるところです。

    Tesla V100(32GB)x4 への入れ替え

    最近、入れ替えました。やっと、Tesla V100が4台、手元に揃ったのです。

    入れ替えは、段ボール製のシュラウドを外して、Tesla P40を抜いて、Tesla V100を挿し直すだけで終わりました。それだけで動きました。ただ、Tesla P40は、電力制限140Wで大丈夫だったのに、V100は正規の(初期の?)PCIe版と思われる1台だけが140W設定を許容して、残りの3台は140Wへの電圧変更は範囲外だということで設定変更できませんでした。でも150Wなら設定変更が大丈夫だったので、いま、Tesla V100は4台とも150W電圧制限に変更となりました。Nvidiaのドライバとか、cudaとかは、何か起こると面倒なので、Tesla p40の時の設定からいじってないです。

    これで、Tesla V100 x4(32GB x4 = 128GB VRAM)のローカルLLMシステムが完成しました。


    (2026.06.08 追記)

    このあと、Ollama 0.30系にバージョンアップさせる時に、Nvidiaのドライバを更新させました。535だったのを、570に更新させました。


    (2026/07/09 追記)

    いまよく、Gemma4:31B-it-Q8_0とテーマを決めて会話しているのですが、その中で「Tesla V100について」と題して会話をしました。LLM利用時のTesla V100についての利用の優位性を語っています。下記です。


    (2026/09/06 追記)

    このあと、Tesla V100でもBF16が動くのではないか、という検証を経て、今は、Gemma4:31B-it-FP16をメインに使っています。コンテキストサイズも、フルサイズ(256K)でGPU100%で実行できています。


    (2026/10/02 追記)

    私がいま使っている、Tesla V100、を利用してLLMをする時に、このGPUで満足できる人とはどのような人なのか、どのように使えば満足できるようになるのか、つまりは、Tesla V100はどういう人に向いているのか、について考察しました。

    (こっちは、LLMに翻訳してもらって、自分で作成した英語記事です)


    (2026/10/30 追記)

    英語の記事を自分で作りました。noteの自動作成は取り消されたりするので、せっかく検索エンジンが持って行ってくれても無くなったりします。自分で英語記事を作った方が良いと判断しました。


    (つづく)

     
     

    sai

     
     
    ❤️ 優先 ⚠️ 必ずしもフォロバはしません ⚠️ 自宅で勉強してます。その勉強にLLMを利用してます。でも勉強部屋のWSには、動画高画質化、動画立体視ソフトもあるので、直ぐ脇道にそれます。そして人類の叡知に向けて全力疾走してます。そんな自分に気づいたら勉強に戻ります。その繰り返しです

    あなたへのおすすめ