メインコンテンツへスキップ
見出し画像

自作AI(GPT)を作ってみる #4 Marin v0.1完成:モデル保存・UI実装・追加実験

    はじめに

    前回(#3)で、6回の実験を経て「文章っぽいの手前」まで到達したことを確認した。今回はその続き、モデルの保存・読み込み機能の実装、tkinterによるUI実装、そして追加実験(A〜E)を経てMarin v0.1として命名・完成させるまでの記録。


    モデルの保存・読み込み機能

    これまでは実行するたびにモデルの重みがリセットされていた。UIと繋げるには「学習済みの重みを保存して、次回起動時に読み込む」仕組みが必要だった。

    NumPyには`np.save`/`np.load`という、配列をファイルに保存・読み込みする機能がある。これを使って保存処理を追加した。

    保存内容

    • `param_0.npy`〜`param_35.npy`:36ファイル(全学習済みパラメータ)

    • `config.json`:設定値(vocab_size、embed_dim等)+トークナイザの語彙表

    model_dir = f"models/model_{timestamp}"
    os.makedirs(model_dir, exist_ok=True)
    
    all_params = embedding.get_params() + stack.get_params() + output_layer.get_params()
    for i, param in enumerate(all_params):
        np.save(f"{model_dir}/param_{i}.npy", param)
    
    config = {
        "vocab_size": vocab_size,
        "embed_dim": EMBED_DIM,
        "char_to_id": tokenizer.char_to_id,
        "id_to_char": {str(k): v for k, v in tokenizer.id_to_char.items()}
    }
    with open(f"{model_dir}/config.json", "w", encoding="utf-8") as f:
        json.dump(config, f, ensure_ascii=False, indent=2)

    `id_to_char`のキーをJSONに保存するときは`str(k)`で文字列に変換し、読み込み時に`int(k)`で数値に戻す必要がある点が唯一のハマりポイントだった。

    動作確認用(500iter)のモデルを保存したところ、2.40MB・37ファイルという結果になった。272,088個のパラメータ(各8バイトのfloat64)で約2.18MB、そこに`config.json`が加わった形で、理論値と一致していた。

    また、ログと実験ノートの保存先をファイル散乱防止のため整理した。`logs/experiment_日時.txt`、`models/model_日時/`という構成にした。


    UIの実装

    tkinterはPythonに標準で付属しているシンプルなGUIライブラリ。JavaScriptやCSSのような細かいスタイリングはできないが、今回の目的(検証用の簡易UIを自分だけが使う)には十分だと判断した。

    仕様の確定

    • チャット履歴を残す(検証目的で必要)

    • 使用者は自分のみ(シンプルさ優先)

    • 将来的にWebアプリ化しない限り、このシンプルな構成を維持

    動作内容

    • 起動時に`models/`フォルダ内の最新モデルを自動読み込み

    • 入力欄にお題を入力してEnterまたは「生成」ボタンで100文字の文章を生成

    • 生成結果はチャット履歴として画面に蓄積表示

    実際に「こんにちは」と入力したところ、以下のような出力が得られた。

    お題:こんにちは
    こんにちはとう思ていにな麦、偶レがく源と賑まくけがて取がっさてでて、
    きよか変うすもれ思旨すわよだう、をなっいたすてご個積に思が遊とでけ感置よ
    ないはものをるにて麺てねとてく、がっのもの勤つがのなたとい気かうてるで

    相変わらず意味は不明だが、ひらがな主体・句読点あり・「文章っぽいの手前」という段階の出力を確認できた。これがMarin v0.1の初出力になる。


    追加実験(A〜E):1変数ずつ変える対照実験

    「アプリの完成」の前に、前回の実験で試しきれていなかったパラメータを検証した。1変数ずつ変えて他は固定するという、対照実験の手法を採用した。

    共通設定(変えない)

    embed_dim=64, hidden_dim=256, num_layers=3
    learn_rate=0.01, MAX_ITERS=5000, temperature=0.8

    実験A:batch_size=16(ベース8→16)

    最終誤差:4.87(全実験中最良)

    序盤の学習も少し速くなり、誤差の安定性も改善した。1回の更新で見るデータが増えることで、勾配の推定精度が上がったと考えられる。

    実験B:block_size=128(ベース64→128)

    最終誤差:4.91(ベース4.98より改善)

    より長い文脈を参照するようになったが、計算時間が増加した割に改善幅は小さかった。

    実験C:num_layers=4(ベース3→4)

    最終誤差:5.06(ベースより悪化)

    `iter 200`で5.42まで下がる学習の立ち上がりの速さは全実験中最速だったが、後半に誤差が不安定になった。学習率0.01が4層には大きすぎた可能性がある。

    実験D:temperature=0.6(ベース0.8→0.6)

    最終誤差:5.14(全実験中最悪)

    確実な文字を選びすぎて、「に」「の」「て」「で」「す」「る」「と」が極端に増え、非常に単調な出力になった。temperatureは下げすぎると逆効果になることを実体験で確認した。

    実験E:batch_size=32(AからさらにB=32に増加)

    最終誤差:4.96(ベースとほぼ同じ)

    誤差の安定性が非常に高く、5.0前後に非常に安定して収束した。しかし誤差の改善はなかった。これが重要な発見で、「安定しているのに改善しない」→5.0前後が今の設計の本当の限界値である可能性がさらに高まった。

    画像

    全実験の比較

    batch=16(実験A)を本番設定として採用した。batch=32は「安定しているが改善しない」=計算コスト増の割に効果薄という判断。将来GPU環境に移行したときにbatch_sizeは大幅に増やせるので、今は16で十分。


    Marin v0.1 スペック確定

    今日の実装と実験を経て、このモデルをMarinと命名した。

    モデル名    : Marin v0.1
    アーキテクチャ: 文字レベルTransformer(nanoGPT系統)
    実装       : NumPy(スクラッチ開発、forward/backwardを手書き実装)
    
    語彙数     : 1,330文字種
    パラメータ数 : 272,088個
    学習データ  : 1,000件・110,817文字
    
    embed_dim  : 64
    hidden_dim : 256
    num_layers : 3
    batch_size : 16
    block_size : 64
    learn_rate : 0.01
    iterations : 5,000
    temperature: 0.8
    
    到達段階   :「単語っぽい→文章っぽい」への過渡期
    最終誤差   : 約4.87

    「アプリの完成」と「実際に使える」は別物

    Marin v0.1が完成したが、「実用として使えるレベル」には達していない。出力はまだ荒削りで、意味の通る文章にはなっていない。

    「UIまでで実装としての完成」と「正しい文章が出る実用としての完成」の間には大きなギャップがある。今回は前者の完成であって、後者はまだ先の話である。前者を「v0.1リリース」という位置づけにすることで、後者の完成と区別した。


    Marin 今後のロードマップ

    v0.1:NumPy・CPU・UIまで実装(リリース済)
    v0.2:同文体学習データを1MBまで増やして再学習・検証(データ作成次第実施)
    
    --- Marin v0.2 以降 ------------------------------------------------
    
    v1.0:PyTorch換装・BPEトークナイザ・GPU環境
                  「1億パラメータまで拡張可能な設計」で実装
    
    --- Marin v1.x 以降 ------------------------------------------------
    
    v2.0:1億パラメータで安定動作(Marin完成)

    最終目標として1億パラメータ(GPT-2 smallクラスに相当)を掲げた。これは私個人がスクラッチ実装・運用できる実現可能な限界レベルだと判断。またPyTorchで書いたコードはembed_dimやnum_layersという設定値を変えるだけでパラメータ数が変わる設計になるため、コード自体は今回と同じ構造のまま1億パラメータまで拡張できると判断した。

    GPU環境については、自宅のゲーミングPCとGoogle Colabを比較検討した結果、性能・コストパフォーマンスを考えてGoogle Colabを利用することに決定した。v1.0のPyTorch換装タイミングで合わせて移行する予定。


    今回の一番の収穫

    実験EでbatchをAの2倍(32)にしても誤差が改善しなかったことが、今回の最大の発見だった。「安定しているのに改善しない」という結果から、今の設計(文字レベル・272,088パラメータ)での限界値が5.0前後であることが裏付けられた。

    これはデータを増やしても、パラメータ調整を続けても、根本的な設計(文字レベル→BPE、NumPy→PyTorch)を変えない限り超えられない壁だという意味で、次のフェーズ(v1.0)の必要性を実験で証明できた形になった。

     
     
    スクラッチで開発したGPT Marinの実装ノート兼備忘録。知的好奇心を満たすための個人プロジェクトです。公開している記事には技術的な誤りがある可能性があります。再利用等で生じた直接および間接的な損害について、筆者は一切の責任を負いません。あらかじめご了承ください。

    あなたへのおすすめ