
自作AI(GPT)を作ってみる #4 Marin v0.1完成:モデル保存・UI実装・追加実験
はじめに
前回(#3)で、6回の実験を経て「文章っぽいの手前」まで到達したことを確認した。今回はその続き、モデルの保存・読み込み機能の実装、tkinterによるUI実装、そして追加実験(A〜E)を経てMarin v0.1として命名・完成させるまでの記録。
モデルの保存・読み込み機能
これまでは実行するたびにモデルの重みがリセットされていた。UIと繋げるには「学習済みの重みを保存して、次回起動時に読み込む」仕組みが必要だった。
NumPyには`np.save`/`np.load`という、配列をファイルに保存・読み込みする機能がある。これを使って保存処理を追加した。
保存内容
`param_0.npy`〜`param_35.npy`:36ファイル(全学習済みパラメータ)
`config.json`:設定値(vocab_size、embed_dim等)+トークナイザの語彙表
model_dir = f"models/model_{timestamp}"
os.makedirs(model_dir, exist_ok=True)
all_params = embedding.get_params() + stack.get_params() + output_layer.get_params()
for i, param in enumerate(all_params):
np.save(f"{model_dir}/param_{i}.npy", param)
config = {
"vocab_size": vocab_size,
"embed_dim": EMBED_DIM,
"char_to_id": tokenizer.char_to_id,
"id_to_char": {str(k): v for k, v in tokenizer.id_to_char.items()}
}
with open(f"{model_dir}/config.json", "w", encoding="utf-8") as f:
json.dump(config, f, ensure_ascii=False, indent=2)`id_to_char`のキーをJSONに保存するときは`str(k)`で文字列に変換し、読み込み時に`int(k)`で数値に戻す必要がある点が唯一のハマりポイントだった。
動作確認用(500iter)のモデルを保存したところ、2.40MB・37ファイルという結果になった。272,088個のパラメータ(各8バイトのfloat64)で約2.18MB、そこに`config.json`が加わった形で、理論値と一致していた。
また、ログと実験ノートの保存先をファイル散乱防止のため整理した。`logs/experiment_日時.txt`、`models/model_日時/`という構成にした。
UIの実装
tkinterはPythonに標準で付属しているシンプルなGUIライブラリ。JavaScriptやCSSのような細かいスタイリングはできないが、今回の目的(検証用の簡易UIを自分だけが使う)には十分だと判断した。
仕様の確定
チャット履歴を残す(検証目的で必要)
使用者は自分のみ(シンプルさ優先)
将来的にWebアプリ化しない限り、このシンプルな構成を維持
動作内容
起動時に`models/`フォルダ内の最新モデルを自動読み込み
入力欄にお題を入力してEnterまたは「生成」ボタンで100文字の文章を生成
生成結果はチャット履歴として画面に蓄積表示
実際に「こんにちは」と入力したところ、以下のような出力が得られた。
お題:こんにちは
こんにちはとう思ていにな麦、偶レがく源と賑まくけがて取がっさてでて、
きよか変うすもれ思旨すわよだう、をなっいたすてご個積に思が遊とでけ感置よ
ないはものをるにて麺てねとてく、がっのもの勤つがのなたとい気かうてるで相変わらず意味は不明だが、ひらがな主体・句読点あり・「文章っぽいの手前」という段階の出力を確認できた。これがMarin v0.1の初出力になる。
追加実験(A〜E):1変数ずつ変える対照実験
「アプリの完成」の前に、前回の実験で試しきれていなかったパラメータを検証した。1変数ずつ変えて他は固定するという、対照実験の手法を採用した。
共通設定(変えない)
embed_dim=64, hidden_dim=256, num_layers=3
learn_rate=0.01, MAX_ITERS=5000, temperature=0.8実験A:batch_size=16(ベース8→16)
最終誤差:4.87(全実験中最良)
序盤の学習も少し速くなり、誤差の安定性も改善した。1回の更新で見るデータが増えることで、勾配の推定精度が上がったと考えられる。
実験B:block_size=128(ベース64→128)
最終誤差:4.91(ベース4.98より改善)
より長い文脈を参照するようになったが、計算時間が増加した割に改善幅は小さかった。
実験C:num_layers=4(ベース3→4)
最終誤差:5.06(ベースより悪化)
`iter 200`で5.42まで下がる学習の立ち上がりの速さは全実験中最速だったが、後半に誤差が不安定になった。学習率0.01が4層には大きすぎた可能性がある。
実験D:temperature=0.6(ベース0.8→0.6)
最終誤差:5.14(全実験中最悪)
確実な文字を選びすぎて、「に」「の」「て」「で」「す」「る」「と」が極端に増え、非常に単調な出力になった。temperatureは下げすぎると逆効果になることを実体験で確認した。
実験E:batch_size=32(AからさらにB=32に増加)
最終誤差:4.96(ベースとほぼ同じ)
誤差の安定性が非常に高く、5.0前後に非常に安定して収束した。しかし誤差の改善はなかった。これが重要な発見で、「安定しているのに改善しない」→5.0前後が今の設計の本当の限界値である可能性がさらに高まった。

全実験の比較
batch=16(実験A)を本番設定として採用した。batch=32は「安定しているが改善しない」=計算コスト増の割に効果薄という判断。将来GPU環境に移行したときにbatch_sizeは大幅に増やせるので、今は16で十分。
Marin v0.1 スペック確定
今日の実装と実験を経て、このモデルをMarinと命名した。
モデル名 : Marin v0.1
アーキテクチャ: 文字レベルTransformer(nanoGPT系統)
実装 : NumPy(スクラッチ開発、forward/backwardを手書き実装)
語彙数 : 1,330文字種
パラメータ数 : 272,088個
学習データ : 1,000件・110,817文字
embed_dim : 64
hidden_dim : 256
num_layers : 3
batch_size : 16
block_size : 64
learn_rate : 0.01
iterations : 5,000
temperature: 0.8
到達段階 :「単語っぽい→文章っぽい」への過渡期
最終誤差 : 約4.87「アプリの完成」と「実際に使える」は別物
Marin v0.1が完成したが、「実用として使えるレベル」には達していない。出力はまだ荒削りで、意味の通る文章にはなっていない。
「UIまでで実装としての完成」と「正しい文章が出る実用としての完成」の間には大きなギャップがある。今回は前者の完成であって、後者はまだ先の話である。前者を「v0.1リリース」という位置づけにすることで、後者の完成と区別した。
Marin 今後のロードマップ
v0.1:NumPy・CPU・UIまで実装(リリース済)
v0.2:同文体学習データを1MBまで増やして再学習・検証(データ作成次第実施)
--- Marin v0.2 以降 ------------------------------------------------
v1.0:PyTorch換装・BPEトークナイザ・GPU環境
「1億パラメータまで拡張可能な設計」で実装
--- Marin v1.x 以降 ------------------------------------------------
v2.0:1億パラメータで安定動作(Marin完成)最終目標として1億パラメータ(GPT-2 smallクラスに相当)を掲げた。これは私個人がスクラッチ実装・運用できる実現可能な限界レベルだと判断。またPyTorchで書いたコードはembed_dimやnum_layersという設定値を変えるだけでパラメータ数が変わる設計になるため、コード自体は今回と同じ構造のまま1億パラメータまで拡張できると判断した。
GPU環境については、自宅のゲーミングPCとGoogle Colabを比較検討した結果、性能・コストパフォーマンスを考えてGoogle Colabを利用することに決定した。v1.0のPyTorch換装タイミングで合わせて移行する予定。
今回の一番の収穫
実験EでbatchをAの2倍(32)にしても誤差が改善しなかったことが、今回の最大の発見だった。「安定しているのに改善しない」という結果から、今の設計(文字レベル・272,088パラメータ)での限界値が5.0前後であることが裏付けられた。
これはデータを増やしても、パラメータ調整を続けても、根本的な設計(文字レベル→BPE、NumPy→PyTorch)を変えない限り超えられない壁だという意味で、次のフェーズ(v1.0)の必要性を実験で証明できた形になった。