メインコンテンツへスキップ
見出し画像

9年前のQuadro P2000に、毎日91本のニュースを読ませることにした。

    この記事は約2500字、約7分で読めます。

    前回、無料のVPSサーバーと、自宅の古いGPUで小さなAIを動かしてみました。
    無料VPSではQwen3-1.7Bが約6.1トークン/秒、自宅のQuadro P2000ではQwen3-4Bが約27.5トークン/秒。
    数字だけを見ると、GPUのほうがずいぶん速いです。

    でも、前回の記事を書いたあとで、ひとつ気になりました。
    で、実際の仕事に使えるの?
    今回はそこを試してみます。

    まずは、うちのサーバーの話

    カリンちゃん家で、いまメインのサーバーとして使っているのは、メルカリで24,500円で買った中古のHP Z4 G4です。
    買った時点ではメモリーが16GBだったので、あとから32GB分を13,500円で追加しました。
    なので、このサーバーに払った金額は、ここまででだいたい38,000円です。

    新品のAIサーバーとは、ずいぶん違う世界の話です。
    しかも、AIを動かすために買ったわけでもありません。
    もともとは、普通の中古ワークステーションです。

    そこに、GPUが付いていた

    このZ4 G4には、買ったときからNVIDIAのQuadro P2000というGPUが付いていました。
    2017年ごろの製品なので、もう9年くらい前のGPUです。
    VRAMは5GB。

    いまどきの生成AI用GPUとして見ると、かなり心細い数字です。
    そもそもこのGPUが現役だったころは、ChatGPTもありませんでした。
    生成AI用ではなく、おそらくCADや3DCG、映像処理など、ワークステーションらしい仕事をするために載っていたのでしょう。

    カリンちゃんも、買ったときには特に期待していませんでした。
    「まあ、GPUも付いてるね」くらいです。
    まさか数年後、毎日ニュースを読まされることになるとは思っていませんでした。

    カリンちゃんはプログラマではありません

    毎度のことですが、カリンちゃんはプログラマではありません。
    Linuxは触ります。Proxmoxも使います。サーバーも何台か動かしています。
    でも、プログラムを一から自分で書けるかと言われれば、全然そんなことはありません。

    分からないことはAIに聞きます。
    今回も、AIに相談しながら一つずつ作っています。
    このへんは、前回の記事と同じです。

    Karin Dailyを、本当に働かせてみる

    前回の記事で作ったのが、Karin Dailyという自分用のニュースサイトです。
    RSSからニュースや技術記事を集めて、AIに読ませて、カリンちゃん向けの記事を選んで並べます。
    ニュースの収集や重複整理は普通のプログラムに任せ、記事を短く読んだり分類したりするところをLLMに任せています。

    最初はOracle Cloudの無料枠に置いたQwen3-1.7Bを使っていました。
    ちゃんと動きます。
    でも、生成速度は約6トークン/秒。

    1件なら待てても、90件まとめて読むとなると、さすがにつらい。
    実際、更新処理が途中でタイムアウトするようになりました。
    そこで思い出したのが、Z4 G4に刺さったままになっていたQuadro P2000です。

    9年前のGPUに、出番が回ってきました。

    VRAM 5GBで、Qwen3-4B

    P2000に載せたのは、Qwen3-4BのQ4_K_Mです。
    VRAMは5GBしかありませんが、量子化した4Bモデルなら収まりました。
    しかも全層GPUオフロードできました。

    これ、本当に日本語なんでしょうか。
    前回の単体テストでは、約27.5トークン/秒。
    今回はベンチマークではなく、実際のKarin Dailyの更新処理をそのまま走らせます。

    91本、読ませてみる

    今回の更新対象は91件でした。
    短い記事なら1件4〜6秒くらい。
    長い技術記事では、20秒近くかかるものもあります。

    最初の試験では、68件まで処理したところで、Karin Daily側に設定していた10分のタイムアウトに引っかかりました。
    GPUが止まったわけでも、LLMが壊れたわけでもありません。
    ただ単に、91本全部読むには10分では足りなかった。

    そこで、タイムアウトだけ20分に変更しました。
    モデルも、プロンプトも、生成量も変えていません。
    もう一度、そのまま走らせます。

    91本、13分

    結果は、91件中91件成功。
    途中で別のLLMへ逃げるフォールバックは0回でした。
    データベースへの保存も成功し、公開ページまで無事に更新されました。

    所要時間は、約13分7秒。
    1件あたり平均7.7秒くらいで、生成速度は平均22トークン/秒前後。
    VRAM使用量は約3GBでした。

    9年前のQuadro P2000が、30分ごとに90本前後の記事を読んで、自宅のニュースサイトを作るところまで来ました。
    なんだか妙な話です。
    でも、ちゃんと仕事になっています。

    化石GPUでも、仕事を選べばまだ働ける

    もちろん、P2000が最新GPUに勝てるわけはありません。
    VRAMは5GBしかないし、大きなモデルも載りません。
    速さも、いまのGPUとは比べるまでもないでしょう。

    でも、カリンちゃんには十分おもしろい結果でした。
    AIをやるならRTX 5090が必要、VRAMは何十GB必要、そういう世界も確かにあります。
    一方で、家に転がっていた9年前のGPUでも、仕事を限定すれば、毎日の実用サービスを支えるところまではできました。

    38,000円の中古サーバーは、まだ仕事が増える

    このZ4 G4は、AIのために買ったパソコンではありません。
    24,500円の中古ワークステーションに、13,500円の中古メモリーを足しただけ。
    合計38,000円くらいです。

    そこに最初から付いていた、9年前のGPU。
    それが今では、Karin Dailyの記事を読んで、選んで、短くまとめています。
    買ったときには、こんな使い方になるとは思っていませんでした。

    中古パソコンを買っていると、こういうことがあります。
    買ったときには価値を感じなかった部品が、ある日突然、別の役割を持ち始める。
    だからジャンクや中古機材は面白いのかもしれません。

    さて。
    Quadro P2000には、明日も91本くらい読んでもらいます。

    こちらの記事もおすすめ


    この記事が参加している募集

     
     

    Karin

     
     
    自家用ソフト(非売品)開発者。AIと古い機械をつないで遊んでいます。ChatGPTやCodexを工具に、電子工作、自宅サーバー、Androidアプリ、OpenWrt移植などに挑戦中。自分や家族が使いたいものを、日曜大工のように作っています。ノウハウはできるだけ無料で共有します。

    あなたへのおすすめ