メインコンテンツへスキップ
見出し画像

第2の掟(悟りの巻): AIの出力は「決定的なテストのループ」のプロセスに繋がなければ破綻する

    【連載】企業で活かすバイブ・コーディングの道標

    本連載では、株式会社あくしゅが実践し、今なお進化させ続けているバイブ・コーディングの社内ルール「あくしゅの掟」を公開しています。大きなプロジェクトを崩壊させることなく、安全かつ爆速で進めるためのノウハウを「悟りの巻」「覚醒の巻」「実践の巻」の3つのフェーズに分けてナビゲート。企業がバイブ・コーディングを導入し、現場の武器にするための確かな道標(ガイドライン)をお届けします。
    前回の第一章では、AIコーディングの得意技である「具体から抽象(意図)の抽出」を活かし、大きな問題をコードスニペットのレベルまで小さく絞り込む「局所化」という『第1の掟』について解説しました。今回は、AIを単なる開発の補助(コパイロット)から、社内システムを真に支える安全なパートナーへと昇華させるための次なるステップ—「非決定的な知性」との向き合い方について紐解いていきます。

    生成から「実行」へ:LLMが自らループを始める

    当時登場し始めていた「LangChain」などの外部ライブラリの議論の中で、山崎が着目したのは「天気の関数」を巡る実験的なアプローチでした。プロンプトを通じてAIに「天気を調べる機能を持っている」と教え、「会話の中で天気の情報が必要になったらトリガーを出して」と仕込んでおきます。実際の会話で天気の話題が出ると、AIは関数実行のトリガーを出し、人間がリアルタイムの情報を与え直すことで、次の文章を組み立てさせました。
    この瞬間、LLMの役割は一発で答えを見つける「一問一答の道具」から、問いと答えが循環する「ループ(マルチターン)」へと劇的に変化しました。人間がコンテキストを繋ぎ合わせることで、関数が再帰的に呼ばれ、1つの文章を組み立てる仕組みが実験レベルで動き出したのです。

    泥臭い工夫から公式機能「ファンクションコーリング」への進化

    初期の段階で最も泥臭い重要だったのは、「AIが出力した応答を、いかにプログラム側で間違いなくパース(解析)し、目的の関数を呼び出すか」というハンドリングでした。山崎らは「必ずJSON形式で答えてください」と厳格なルールを課し、エラーチェックを行う二重三重の工夫をプロンプトレベルで凝らしていました。
    こうした開発者たちの試行錯誤に応えるように、やがてLLMのモデル自体に公式機能として「ファンクションコーリング(ツールコール)」が実装されるようになります。普段からAPIのデザイン(設計)を追いかけている根っからの開発者である山崎は、2023年当時に公開されたこの新機能のAPIを目にするやいなや、「本当に仕様通りにAIが関数を呼び出せるのか?」という好奇心を抑えきれずにすぐさま実験に取り掛かりました。
    実際に試してみると、驚くほど正確に関数の実行依頼(トリガー)がAIから飛んでくることが確認できました。実行結果を戻してあげれば、AIはそれをコンテキストに含めて最終的な回答を返します。
    これはプログラミングの構造を根底から変える可能性を秘めていました。それまでは単一の塊(サブルーチン)に過ぎなかったAIが、「関数から別の関数を呼び出す連鎖」を行えるようになったのです。この再帰的な構造を繰り返すことで、最終的には極めて巨大で複雑なプログラムすらも作り上げることができるという明確なイメージが広がりました。

    「正しくぐちゃぐちゃになる」という不可避の壁

    関数から関数を呼び出せる構造を手にした山崎は、システムの外側にある機能と直接繋ぐ『リモート関数(RPC)』の呼び出しや、データベースとの直接的な接続を試みました。語りかけるだけで裏側のデータベースが自動更新される仕組みを構築したものの、ここで非常に深刻な問題に直面します。それが、「正しくぐちゃぐちゃになる」という現象です。
    プログラムとしてのアクセス機能自体は正常に動作しているにもかかわらず、AIがそれを呼び出す「タイミング」や「関数の用途」といったきっかけの理解を間違えてしまうのです。呼ばなくてもいいときにエントリーを追加したり、関係のないデータを削除したりする精度の問題がのしかかりました。
    原因は「情報の圧倒的な不足」でした。AIは論理的な理由を把握しているわけではなく、「きっとアップデートしたらいいよね」という曖昧な推測(抽象的な指示)で動いていたため、呼び出しの目的を誤認したのです。結果として、システムとしては完全に破綻しているものの、処理のステップ自体は正常に終了しているためシステムエラーとしては検知されにくいという、極めて質の悪いデータが量産されることになりました。まさに、前回直面した「抽象から詳細を作る難しさ」が姿を変えて現れた瞬間でした。

    OpenAPIという「人間のコメント」がAIの強力な指示書になる

    この課題に対し、山崎はWeb開発の世界で普及していた「OpenAPI」という仕様記述フォーマットの活用に救世主を見出しました。OpenAPIには、機械的な型定義だけでなく、その関数が何を目的としたものかという「人間のための説明文(コメント)」がセットになっています。この構造がAIに非常に向いていると気づいた山崎は、自動的にOpenAPIをダウンロードし、その中にある説明文を解析してLLMに教え込む仕組みを作りました。
    これにより、LLMはあたかも最初からその関数を自分のスキルとして持っているかのように解釈し、大雑把な指示からでも的確に関数の目的や用途を理解し、リモート関数を呼び出せるようになりました。お天気、証券、株価など、世界中に存在する無数の外部機能をエンドポイントを指定するだけで自然に呼び出せる拡張性が手に入り、社内システムの自動連携も十分に可能であるという手応えを得たのです。

    人間とAIの決定的な違い:エラー訂正能力の非対称性

    しかし、OpenAPIによって関数の役割や用途は正しく理解できたものの、いざ複数のシステムを連携させる実環境へと移ると、AIはまた別の形でデータを「ぐちゃぐちゃに」処理してしまいました。今度は、関数の目的の取り違えではなく、データの「書き込み・読み込み」といった、システム連携における致命的な「前後関係・順序(お作法)」の壁にぶつかったのです。 ここで山崎は、「会話」と「システム(プログラム)」におけるエラーの決定的な構造の違いという重要な洞察を得ます。
    チャットの会話中であれば、AIが間違った回答をしても、人間のユーザーが「いや、あなたAPIを持っていたはずでは?」とその場でリアルタイムに指摘(エラー訂正)できます。しかし、社内システムとして動くAPI連携では、この「間違い訂正」が利きません。データが入っていないのに思い込みで問い合わせたり、処理の順序を想像できずに間違えたりしてしまいます。
    ここに至り、山崎は「LLMがプログラムと同じように正しく動く、という前提は捨てるべきだ」という結論に達しました。エラー訂正できる形で物事を進めない限りLLMは信用できず、システムとして正しく動かしようとする中でLLMを中核に据えるのは間違えていると強く実感したのです。

    「非決定的である」というリスクをどうコントロールするか

    どんなにAIのモデルが賢くなろうとも、確率で間違えるシステムを指して「バグがないプログラム」とは言いづらいのが現実です。LLMの最大の特徴であり、同時にシステム開発における最大の弱点、それは「非決定的(確実性・決定性がない)」であるという点にあります。
    この非決定的な知性をどのように使うべきか。山崎が導き出した答えは、「LLMが出した出力の間違いを検知し、修正を促す検証プロセスをシステムに組み込むこと」でした。

    破綻を防ぐ「決定的なテストのループ」と開発標準化の未来

    具体的には、LLMが生み出した成果物を直ちにシステムに採用することを避けるアプローチをとります。AIが出力した成果物(B)が正しいかを決定的なテストでコードを機械的に検証し、NGであればAIに再入力を促して訂正された成果物(C)を得るプロセスをシステムとして用意するのです。もしCの結果が良くなければ、その入力を元に再びAIに修正させる。この「BとCをループさせるだけの仕組み(決定的なテストのループ)」を構築すれば、テストが通った確実な成果物だけをシステムが受け取れるようになります。仕組みの完成度は「テストをどう充実させるか」というただ一点に帰着するのです。
    このソフトウェア工学的なアプローチにおいて最も大きな鍵を握るのは、「テストの観点(評価軸)をいかに定義するか」です。テストを書くこと自体はAIに任せられますが、切り口は人間が与えなければなりません。例えば、通信プログラムなら「データが繋がった」という正しさだけでなく、「セキュリティ」などの観点が必要です。
    こうした「何を検討すべきか」という安全のための組み合わせ(テスト観点)は、システム開発の世界においてすでに確立されています。事実、一般的な大手企業の開発現場では、これらがやりすぎなほど厳密にドキュメントとして「標準化」されています。しかし、人間のエンジニアが開発を行う場合、実際のプロジェクトでは時間や費用の都合(コスト)から、必要な観点を現場の判断で間引いて妥協してしまうケースが多々あるのが現実です。
    ところがAIを検証プロセスに組み込めば、人間が見落としたりコストのために省略したりしてしまう膨大な標準的パターンを、一切の妥協なく、機械的に何度でも忠実に繰り返し適用して検証させることができます。これこそが、感情を持たず、疲労も知らず、コストを理由に手を抜くこともない「機械の圧倒的な特性」なのです。

    結論:脆さを包摂する「決定的な安全網」

    非決定的なAIという「確率の知性」がもたらす脆さを、決定的なプログラムによる「徹底的な検証の自動ループ」によって完全に包摂する。山崎が実際にコードを叩き、外部APIと格闘する中で見出した設計思想こそが、この第二の掟に集約されます。

    画像
    Produced by Adobe Firefly

    第2の掟:AIの出力は「決定的なテストのループ」のプロセスに繋がなければ破綻する。

    これは決して、開発現場を昔ながらの堅苦しいルールで縛るための掟ではありません。『決定的なテスト』という安全網(セーフティネット)をシステム側が自動で敷いてくれるからこそ、人間は恐怖心なく、AIと共に野生の直感で『爆速のバイブ・コーディング』をすることができるのです。 生成AIを単なるチャットツールから、社内システムを真に支える安全で強力なパートナーへと昇華させるための大原則として大事な掟です。

    次回予告

    「局所化」によって文脈を読ませ、「決定的なテスト」によって非決定性をコントロールする土台が整いました。しかし、確率で動くAIは、人間の想像を超える隙を突き、エラーを出さずにデータを崩壊させる「正しくぐちゃぐちゃな状態」をいとも簡単に生み出してしまいます。 次回の第3の掟では、これからの開発者が注力すべき最大の主戦場である「正しくない状態」の定義に迫ります。AI時代にこそ求められる「テストのデザイン能力」と、エンジニアの新たな生存戦略を紐解きます。どうぞお楽しみに!

    登場人物の紹介

    山崎 泰宏(やまざき やすひろ)
    株式会社あくしゅ代表取締役。クラウド基盤や仮想ネットワーク基盤をOSS(オープンソースソフトウェア)として公開。近年では、ネットワークのCI/CD自動化を実現するための革新的な基盤「LiquidMetal」を開発。現在は、最先端のAI開発方法論やエージェント開発をはじめ、幅広いAI技術を実際のプロジェクトへ実践的に投入・統合する取り組みを推進している。

     
     
    Macintoshマーケティング、米国での10年間にわたるIT起業を経て、マルチメディア・SNS・VRなどデジタル最前線を歴任。著書『AIの指揮』。黎明期から理工学的な視点でテクノロジーを見つめ続け、現在はAIでの現場を爆速化させる組織論・開発論を精力的に発信中。

    あなたへのおすすめ