
アーキテクトはどこまでAIと組めるのか: そこにある問いは何か
実験をすることにしました。
当面この文脈に沿って「やってみた」をここに投げ込んでおくことにします。
アーキテクチャレビューはChatGPTでできるのか?
結論から言えば、YesかNoかでいえばYes。少なくともできるはずという手応えがあります。
なので、
どう言う条件がそろえばできるのか?
ChatGPTではなく専用のLLMが必要になるのはいつか?
が問題。
今回はまずそこにある問いと仮説は何かを吐き出してみます。
アーキテクチャレビューの時の頭の中
アーキテクチャレビューをする時って、設計書やADRなどをみたりインタビューしながら、
「これがこうだとするとここに考慮漏れがあるはず」
「この考慮漏れをこうカバーすると、カットオーバー後にこういう問題として顕在化する可能性大 --> 2歩前からやり直し」
みたいに、頭の中でかなりな回数のシミュレーションを高速で回すんですよ。
あれ?ChatGPTってシミュレーションめちゃめちゃ得意じゃない?
であれば、同じことができるのではなかろうか。
なぜ「できる」と思うのか
これはスキルアセスメントを構築した経験から。
文脈を把握する
人間の意思決定とその根拠を把握する
与えられたスコアリング基準に沿ってスコアリングする
スコアリングの根拠を人間と議論する
ということがすでにできることはスキルアセスメントのプロンプトテンプレートで実験済み。
意思決定がどんなジャンルの意思決定かが違うだけであり、ChatGPTが汎用的な生成AIでジャンルに偏らないことはわかっているので、であればかなり高確率にできるはずで、このポイントは確認するだけ。
制約/制限は何か
ではChatGPTのレビュー結果が的外れであるとするなら、それは何が原因か。
これには一つの制約と、一つの制限があります。
インプットは揃えられるか?
適切なインプットを、適切なフォーマットで揃えられるか。
ChatGPTのアウトプットの質はインプットの質と比例します。
この場合のインプットとは
学習内容 (事前の)
プロンプト
の構成になっており、学習内容はかなり質が良い。これは今までのアーキテクチャの議論で確認済み。
であればインプットの最後で最大のピースはプロンプト。
図的な表現で言えばPlantUMLで乗り越えられる。
--> 図だけから意図を読み取るのは限界があるため、文章的な補足や観点の指定が必要。
であるならば、ここで発生する制約を端的に表すなら、
人間はアーキテクチャレビューのためのインプットを揃えられるか?
誤解のないよう表現できるか?
ChatGPTのToken Budgetでどこまで対応可能?
ChatGPTのメモリは無尽蔵で使えるわけではなく、当然一つのチャットスレッド (セッション) ごとに利用可能な記憶領域のサイズ制限があるわけです。
これを私はToken Budget (トークン予算) と呼んでいます。
現在、有償のPlusプランで利用できるGPT-4oでは最大128,000トークン (約300ページの文書相当) までを1セッション内で扱うことができます。
この中にはプロンプト (入力) とレスポンス (出力) の両方が含まれるため、
実際には6万〜10万トークン程度までの文脈保持が現実的な上限です。
つまり、レビューに必要な文脈情報がこのToken Budgetを超えると、過去の情報が見えなくなる/参照されなくなるという問題が発生します。
我々人間が「ChatGPTが忘れた!」と思うあの現象です。
ということは、ChatGPTへのインプットが多くなりがちな大規模システムなどでは、ChatGPTのToken Budgetにおさまらないという状況が発生するはず。
その場合専用LLMを自分で作る必要が出てきます。
となるならば、この実験は
どの程度の規模のアーキテクチャまでレビュー可能か?
vs
人間はどこまで要約してChatGPTに伝えられるのか?
の実験になり、最終的には
この辺まではChatGPTで吸収可能だけど、ここから先はやっぱ専用のLLM作らないとね!
という答えが出るはず。
つまりこの実験の本質は?
人間側への問い
ChatGPTというツールを使って、アーキテクチャレビューという文脈において、人間はどこまで的確に情報設計できるのか?
を、アーキテクチャレビュー用テンプレートを作ってみることで確認してみよう!
なんで最初から専用LLMに行かないの?
だって専用LLMなんて大量の学習用データ必要じゃないですか。
ChatGPTの良いところは、すでに大量の一般知識で学習されており、一部の不足している要素も文脈から“それっぽく”補ってくれるところです。
なので手っ取り早くMVPを作るにはChatGPTなんですよね。
ではなぜ設計そのものは任せないの?
設計レビューよりも設計行為そのものの方がはるかにハードルが高いからです。
自分が何かの設計をする時、最初に出てくるのは形です。
ある構造やアプローチが浮かび、それに対して「なぜこうしたんだっけ?」と、あとから自分で理由を探すことが多々あります。
つまりまだ言語化されていないインプットを無意識に咀嚼し、「設計っぽいもの」を掴んでから、後で理論武装をする、という順序で設計をしています。
つまり、設計 --> 言語化、の順。
生成AIに設計をさせるには
生成AIに設計をさせるなら、この言語化と設計の順番を逆にできないとダメなんです。
つまり、言語化 --> 設計。
最初にプロンプト全てのインプットを渡す必要があります。
ですが、この「インプットを揃える」ということがとにかく難しい。
社内の非言語的な制約、いわゆる「お作法」
ドメインの暗黙知的なパターン
人間関係の対話でしか出てこないニュアンス
こういったものを全て言語化し、記述し、構造化してAIに渡すのは現実的にはかなり大変です。
AIが設計できるようになるとすると?
多分こういう進化の過程が必要です。
まずは設計レビューを通じて知見を蓄積する
その蓄積から設計観点・構造パターン・意思決定の型をAIで抽出する
その知見を生かして、新しい設計を「支援付き」で人間が構築できるようにする
でもそれは今ではないです。まずは学習データに利用可能なデータを貯めないと。
だから今はAIに設計してもらうのではなく、設計した自分の意図を確認し、補強してもらう。
これが今の人間と生成AIの健全な関係なのだと思います。
将来は?
実装済みの環境のアーキテクチャ情報を保持し、Observabilityの各種ツールから上がってきた運用実績データを見ながらボトルネックとそのパターンを自動で発見し、アーキテクチャを再定義、自己修復できる。
まるでエヴァのMAGIシステムのように。
実際、MAGIのように、複数の視点と判断軸を統合するアプローチを使えば、これは現実に近づけると思います。
もちろん今まだ課題があるんですよ。
適切な設計情報の保持、学習に使える学習データの整備、構造化知識とメモリ容量の限界。
でもこの方向に進めば、今は夢のようなMAGI的AIアーキテクチャも、技術的に検証できる日が来るかもしれません。