
9年前のQuadro P2000に、毎日91本のニュースを読ませることにした。
この記事は約2500字、約7分で読めます。
前回、無料のVPSサーバーと、自宅の古いGPUで小さなAIを動かしてみました。
無料VPSではQwen3-1.7Bが約6.1トークン/秒、自宅のQuadro P2000ではQwen3-4Bが約27.5トークン/秒。
数字だけを見ると、GPUのほうがずいぶん速いです。
でも、前回の記事を書いたあとで、ひとつ気になりました。
で、実際の仕事に使えるの?
今回はそこを試してみます。
まずは、うちのサーバーの話
カリンちゃん家で、いまメインのサーバーとして使っているのは、メルカリで24,500円で買った中古のHP Z4 G4です。
買った時点ではメモリーが16GBだったので、あとから32GB分を13,500円で追加しました。
なので、このサーバーに払った金額は、ここまででだいたい38,000円です。
新品のAIサーバーとは、ずいぶん違う世界の話です。
しかも、AIを動かすために買ったわけでもありません。
もともとは、普通の中古ワークステーションです。
そこに、GPUが付いていた
このZ4 G4には、買ったときからNVIDIAのQuadro P2000というGPUが付いていました。
2017年ごろの製品なので、もう9年くらい前のGPUです。
VRAMは5GB。
いまどきの生成AI用GPUとして見ると、かなり心細い数字です。
そもそもこのGPUが現役だったころは、ChatGPTもありませんでした。
生成AI用ではなく、おそらくCADや3DCG、映像処理など、ワークステーションらしい仕事をするために載っていたのでしょう。
カリンちゃんも、買ったときには特に期待していませんでした。
「まあ、GPUも付いてるね」くらいです。
まさか数年後、毎日ニュースを読まされることになるとは思っていませんでした。
カリンちゃんはプログラマではありません
毎度のことですが、カリンちゃんはプログラマではありません。
Linuxは触ります。Proxmoxも使います。サーバーも何台か動かしています。
でも、プログラムを一から自分で書けるかと言われれば、全然そんなことはありません。
分からないことはAIに聞きます。
今回も、AIに相談しながら一つずつ作っています。
このへんは、前回の記事と同じです。
Karin Dailyを、本当に働かせてみる
前回の記事で作ったのが、Karin Dailyという自分用のニュースサイトです。
RSSからニュースや技術記事を集めて、AIに読ませて、カリンちゃん向けの記事を選んで並べます。
ニュースの収集や重複整理は普通のプログラムに任せ、記事を短く読んだり分類したりするところをLLMに任せています。
最初はOracle Cloudの無料枠に置いたQwen3-1.7Bを使っていました。
ちゃんと動きます。
でも、生成速度は約6トークン/秒。
1件なら待てても、90件まとめて読むとなると、さすがにつらい。
実際、更新処理が途中でタイムアウトするようになりました。
そこで思い出したのが、Z4 G4に刺さったままになっていたQuadro P2000です。
9年前のGPUに、出番が回ってきました。
VRAM 5GBで、Qwen3-4B
P2000に載せたのは、Qwen3-4BのQ4_K_Mです。
VRAMは5GBしかありませんが、量子化した4Bモデルなら収まりました。
しかも全層GPUオフロードできました。
これ、本当に日本語なんでしょうか。
前回の単体テストでは、約27.5トークン/秒。
今回はベンチマークではなく、実際のKarin Dailyの更新処理をそのまま走らせます。
91本、読ませてみる
今回の更新対象は91件でした。
短い記事なら1件4〜6秒くらい。
長い技術記事では、20秒近くかかるものもあります。
最初の試験では、68件まで処理したところで、Karin Daily側に設定していた10分のタイムアウトに引っかかりました。
GPUが止まったわけでも、LLMが壊れたわけでもありません。
ただ単に、91本全部読むには10分では足りなかった。
そこで、タイムアウトだけ20分に変更しました。
モデルも、プロンプトも、生成量も変えていません。
もう一度、そのまま走らせます。
91本、13分
結果は、91件中91件成功。
途中で別のLLMへ逃げるフォールバックは0回でした。
データベースへの保存も成功し、公開ページまで無事に更新されました。
所要時間は、約13分7秒。
1件あたり平均7.7秒くらいで、生成速度は平均22トークン/秒前後。
VRAM使用量は約3GBでした。
9年前のQuadro P2000が、30分ごとに90本前後の記事を読んで、自宅のニュースサイトを作るところまで来ました。
なんだか妙な話です。
でも、ちゃんと仕事になっています。
化石GPUでも、仕事を選べばまだ働ける
もちろん、P2000が最新GPUに勝てるわけはありません。
VRAMは5GBしかないし、大きなモデルも載りません。
速さも、いまのGPUとは比べるまでもないでしょう。
でも、カリンちゃんには十分おもしろい結果でした。
AIをやるならRTX 5090が必要、VRAMは何十GB必要、そういう世界も確かにあります。
一方で、家に転がっていた9年前のGPUでも、仕事を限定すれば、毎日の実用サービスを支えるところまではできました。
38,000円の中古サーバーは、まだ仕事が増える
このZ4 G4は、AIのために買ったパソコンではありません。
24,500円の中古ワークステーションに、13,500円の中古メモリーを足しただけ。
合計38,000円くらいです。
そこに最初から付いていた、9年前のGPU。
それが今では、Karin Dailyの記事を読んで、選んで、短くまとめています。
買ったときには、こんな使い方になるとは思っていませんでした。
中古パソコンを買っていると、こういうことがあります。
買ったときには価値を感じなかった部品が、ある日突然、別の役割を持ち始める。
だからジャンクや中古機材は面白いのかもしれません。
さて。
Quadro P2000には、明日も91本くらい読んでもらいます。