メインコンテンツへスキップ
見出し画像

​【Stanford CS336実装】プロンプト調整もRAGも不要。「対話ログから自律成長するAIエージェント」を個人開発した話

    「プロンプト調整」と「RAG」に追われる日々の限界

    ​「プロンプトをどれだけ工夫しても、AIが思った通りの回答をしてくれない…」

    「RAG(検索拡張生成)を導入したけれど、検索クエリの調整やベクトルデータベースの管理コストで疲れ果ててしまった…」

    ​AIを活用したアプリケーションやシステムを開発したことがある方なら、一度はこの「壁」にぶつかったことがあるのではないでしょうか。

    ​私自身、これまではOpenAIのAPIを呼び出したり、LangChainを使ってRAGシステムを組んだりしながら、さまざまなツールを開発してきました。

    ​しかし、開発が進むにつれて強く感じるようになったのは、「対症療法的なプロンプトパッチ作業の限界」です。

    ​AIが変な回答をするたびにプロンプトに「〇〇のように回答してください」「絶対になになにしないでください」という注釈を継ぎ足し、システムプロンプトが数十行・数百行へと肥大化していく。外部データベースから情報を引っ張ってくるRAGの検索精度に一喜一憂し、パラメータ調整に膨大な時間を取られる。

    ​そんな日々に疑問を感じた私は、ひとつの大きな問いを立てました。

    ​「長くて複雑なプロンプトの調整も、大掛かりなRAG(外部データベース検索)も使わず、ユーザーとの『対話ログ』そのものから勝手に思考フレームを深め、自律的に学習・成長していくAIエージェントは作れないだろうか?」

    ​本記事は、スタンフォード大学の名物講義『CS336』でLLMの内部構造をゼロから学んだ私が、その知見をフルに注ぎ込んで個人開発したAIエージェント「CS336 AI Trainer」のアーキテクチャと開発背景を余すことなく明かすストーリーです。

    ​1:転機。スタンフォード大学CS336との出会いと「ブラックボックスの破壊」

    ​「プロンプト調整やRAGに頼らないシステム」を作るためには、既存のAPIやライブラリをブラックボックスとして使っているだけでは不十分でした。

    ​「なぜAIはここで間違えるのか」「どのような文脈構造を与えればAIの思考プロセスが変化するのか」を本質的に理解するため、私はスタンフォード大学の『CS336: Language Modeling from Scratch』のカリキュラムへと飛び込みました。

    ​CS336は、Hugging FaceやPyTorchの既存モデルに頼らず、文字通り「ゼロからLLM(大規模言語モデル)の全行程をコードで組み立てる」という過酷かつ最高の講義です。

    ​・CS336で手に入れた「LLM内部構造」の解像度:

    1. ​BPEトークナイザーの自作 文字列がどのようにUTF-8バイトに分解され、どのような語彙(Vocab)構造で圧縮・数値化されるかのメカニズム。

    2. ​モダンTransformerアーキテクチャの構築 GQA(Grouped-Query Attention)、RoPE(Rotary Position Embedding)、SwiGLU活性化関数、RMSNormといった現代最前線のコンポーネントの数式とPyTorch実装。

    3. ​GPUメモリ(VRAM)とインフラの最適化 16ビット混合精度学習(AMP/BF16)、グラディエント・チェックポインティング、テンソル並列(TP)やZeROによるメモリ分散空間の計算。

    4. ​アライメント(SFTとDPO) プロンプトマスクを用いた教師あり微調整(SFT)と、複雑な強化学習を使わずに数学的対数比率で選好学習を行うDPO(Direct Preference Optimization)の実装。

    ​モデルの内部でテンソルがどう動き、VRAM空間で何が起き、どのように対話能力が形成されるかという「ブラックボックスの裏側」をすべて自分の手でコード化して理解した瞬間、目の前の視界が一気に開けました。

    ​「そうか、プロンプトを無理やり長くしなくても、対話の構造とコンテキストの保持方法を変えるだけで、AIの思考深度は劇的にコントロールできるんだ!」

    ​こうして誕生したのが、自律成長型AIエージェント「CS336 AI Trainer」です。

    ​2:プロダクト解剖。「CS336 AI Trainer」のシステムアーキテクチャ

    ​「CS336 AI Trainer」は、スタンフォードCS336の難解なLLM実装カリキュラムを、ユーザーが自分の手でコードを書きながらマスターするための「対話型AI伴走システム」です。

    ​このプロダクトには、従来のAIアプリと一線を画す「3つの大きな特徴」があります。

    ​特徴1:【プロンプト調整不要】ソクラテス式問いかけ対話エンジン

    ​普通のAIチャット(ChatGPTなど)にプログラミングの疑問を聞くと、一瞬で「答えのコード」を全部出力して終わりになります。しかし、それでは学習者の考える力が育ちません。

    ​CS336 AI Trainerは、学習者の入力コードやエラーログを受け取った際、あらかじめ作り込まれた巨大な指示プロンプトに頼るのではなく、ソクラテス(古代ギリシャの哲学者)のように「問いかけ」を返す対話エンジンを搭載しています。

    ​・ソクラテス式問いかけの例:

    ・学習者:「RoPEを適用したらテンソルの形状エラーが出ました」

    ・AIエージェント:「今のQueryテンソルの形状は [batch, seq_len, num_heads, head_dim] ですね。RoPEの回転行列を掛ける前、どの次元同士を転置(transpose)すべきだと思いますか?」

    ​答えを直接教えるのではなく、思考のボトルネックとなっている部分へ「ピンポイントな問い」を投げる。これにより、ユーザー側が複雑なプロンプトを工夫しなくても、普通の対話の流れの中で自然に深い気づきへ到達します。

    ​特徴2:【RAG不要】対話ログからの自律的コンテキスト成長(Context Evolution)

    ​従来のシステムであれば、学習コンテンツやQ&Aデータを外部のベクトルデータベースに格納し、ユーザーの入力に応じてRAGで検索・注入する手法が一般的です。

    ​しかし、CS336 AI TrainerではあえてRAGを使っていません。

    ​その代わりに採用しているのが、「対話ログからの自律的コンテキスト成長メカニズム」です。

    ​ユーザーとの対話が進むにつれて、AIエージェントは過去のやり取りから以下の要素を動的に抽出・構造化し、自らの「短期記憶・長期的コンテキスト」を自動で更新していきます。

    ​・ユーザーの現在の理解度(どこまで理解できていて、どこで詰まっているか)

    ・過去に発生したエラーのパターンと試行錯誤の履歴

    ・ユーザーが選択しやすいコード記述の癖

    ​外部DBへの検索リクエストを挟まないため、RAG特有の「検索外れ(ミスマッチ)」やインフラ検索コストが一切発生せず、対話が重ねられるほどAIがユーザー専用の思考パートナーへと「自律進化」していきます。

    ​特徴3:【超軽量インフラ】Vercelデプロイと推論スループットの極限追求

    ​個人開発において重要なのが「運用コスト」です。

    ​CS336の第3回で学んだVRAM計算とインフラ最適化の知恵をフル活用し、バックエンドの通信レスポンスを極限まで軽量化。Vercel環境へスマートにデプロイし、低レイテンシで超高速なレスポンスを実現しました。

    ​3:泥臭い開発の舞台裏。直面した壁とブレイクスルー

    ​一見するとスマートに見える「CS336 AI Trainer」ですが、完成に至るまでにはいくつもの泥臭い失敗とブレイクスルーがありました。

    ​壁1:「教えなさすぎ」と「教えすぎ」のバランス調整

    ​開発初期の最大の壁は、AIエージェントの「問いかけの塩梅(あんばい)」でした。

    ​ソクラテス式を意識するあまり、AIが意地悪なレベルでヒントを出さず、ユーザーが完全に迷子になってしまう事態が発生したのです。逆にヒントを増やしすぎると、結局いつもの「答えを即答する普通のAI」に逆戻りしてしまいます。

    ​これを解決したのが、「思考ステップの段階的ブレイクダウン」です。

    ​ユーザーが諦めそうになっているログを検知した場合、AIエージェントは自律的に「問題の抽象度」を1段階下げ、より具体的なテンソルの形状(Shape)やコードの1行にフォーカスした問いへとシフトする調整ロジックを組み込みました。

    ​壁2:個人開発のVRAM・クラウド費用との戦い

    ​高価なGPUサーバーを何台も借りる予算はないため、個人開発の範囲内でレスポンス速度とコストを両立させる必要がありました。

    ​ここで威力を発揮したのが、CS336で学んだGQA(Grouped-Query Attention)や量子化・コンテキスト圧縮の思考法です。

    ​無駄なトークン長を膨らませず、対話ログの中で不要になった過去の冗長なコード出力を動的に要約・圧縮するアルゴリズムを導入することで、API通信コストとVRAM消費量を従来の1/5以下に抑え込むことに成功しました。

    ​4:「使う側」から「創る側」へ。ブラックボックスを開けた先に見えた景色

    ​今回の「CS336 AI Trainer」の開発を通して、私の中でエンジニアとしての意識が大きく変わりました。

    ​かつての私は、OpenAIやHugging Faceが提供するAPIやライブラリを「使う側」でした。

    提示されたドキュメント通りにコードを書き、エラーが出ればプロンプトを書き換え、思うように動かなければライブラリのアップデートを待つ。

    ​しかし、スタンフォードCS336を通してLLMの内部構造(BPE、GQA、RoPE、SwiGLU、RMSNorm、AMP、DPO)を自力で組み上げた今、AIは「中身のわからないブラックボックス」ではなく、「自分の手で自由に分解・再構築・最適化できるエクスプローラー(探ろの対象)」になりました。

    ​・「プロンプト調整でダメなら、対話の構造を変えればいい」

    ・「RAGで検索漏れが起きるなら、対話ログ自体を成長するコンテキストに変えればいい」

    ・「VRAMが足りないなら、アテンションのメモリ空間を自手で削ればいい」

    ​ブラックボックスを開けた先には、誰かが作ったルールに縛られない、圧倒的に自由で刺激的な開発の世界が広がっていたのです。

    ​まとめ&関連コンテンツへのご案内

    ​「プロンプト調整もRAGも不要な、自律成長するAIエージェントを作る」

    ​一見すると難しそうに聞こえるテーマですが、そのすべての出発点は「LLMの内部構造をゼロから理解する」というシンプルな一歩でした。

    ​この記事を読んでくださったあなたも、ぜひ「APIを呼ぶだけ」の日常を一歩抜け出し、ブラックボックスの裏側に広がる美しいAI実装の世界へ飛び込んでみませんか?

    ​最後に、本プロジェクトに関連するコンテンツや実機アプリへのリンクをまとめました。ぜひ併せてお楽しみください!

    ​🚀 1. 実機WEBアプリ『CS336 AI Trainer』を試してみる

    ​今回ご紹介した自律成長型AIエージェントを、実際のWEBブラウザから今すぐ体感していただけます!スマホやPCから、ソクラテス式の対話でLLM実装を学べるリアルな手触り感をぜひ体験してください。

    ​👉 [CS336 AI Trainerを体験してみる(Vercel公開中)]



    ​📚 2. noteマガジン『【CS336準拠】ゼロから創るLLM実装&理論ガイド』

    ​本エージェント開発のベースとなったスタンフォードCS336のカリキュラムを、コードと数式で徹底解説した連載マガジンです。

    ​・第1回: BPEトークナイザーをゼロから完全実装するガイド

    ・第2回: モダンTransformer(GQA / RoPE / SwiGLU / RMSNorm)のPyTorch構築

    ・第3回: GPUメモリ計算・混合精度学習(AMP)・分散学習(DP/TP)

    ・第4回: 対話型AIに進化させるアライメント(SFT / DPO)の完全実装

    ・特別編: 超入門!小学生でもわかるスタンフォードCS336解説

    ・切り口別解説: VRAM計算の解剖、キャリア生存戦略、アーキテクチャ進化論、インフラ経済学、コードデバッグ挑戦状

    ​👉 [マガジンをチェックしてみる]


    ​🎥 3. YouTube動画『CS336: LLM From Scratch』

    ​本記事の内容やLLM自作のロードマップを、見やすい動画形式でわかりやすく解説しています。

    ​👉 [YouTubeチャンネル「やすゆ〜き」で動画を見る]

    ​【最後に】

    この記事が面白かった、あるいは個人開発の刺激になったという方は、ぜひ下にある「スキ(♡)」や「SNSでのシェア」をしていただけると、今後の開発・執筆の大きな原動力になります!

    ​最後までお読みいただき、本当にありがとうございました!

     
     
    WebアプリやAIプロダクトを開発・運用する独立系ソフトウェアエンジニア。Next.js/TypeScript/Pythonを活用した開発ノウハウ、AIアライメント、個人開発のマネタイズ実践知を発信しています。

    あなたへのおすすめ