メインコンテンツへスキップ
見出し画像

AIプロンプトでも設計が必要――プロンプトエンジニアリングの限界

    生成AIに何度バグを調べさせても、問題がなくならない。プロンプトを分割してもダメ。再現性が必要な処理をコードに移しても、まだおかしい。そこで私は、少し違うことを試してみました。AIに、現在のシステムをUMLで表現させたのです。

    最初に指示したのは、「ワークフロー全体をシーケンス図にしてほしい」というものでした。さらに、「それぞれのオブジェクトについてステートチャート、つまり状態遷移図を作ってほしい」と指示しました。すると驚くほど分かりやすくなりました。

    文章では見えなかったものが、図にすると見える

    それまでもAIにシステムの説明は何度も求めていました。しかし、返ってくるのは自然言語です。この処理をして、その結果を使って次の処理をして、条件によってはこちらに進み……。一つ一つ読むと、それほどおかしくありません。

    ところが全体として何かがおかしい。その理由が分からなかった。シーケンス図にすると事情が変わりました。誰が処理するのか。どこへデータを渡すのか。どの順番で動くのか。結果がどこへ返るのか。これらを図として並べなければなりません。

    すると、「なぜここでこの処理をしているんだ?」という箇所が出てきます。同じ処理を二度やっている。本来もっと前に判断すべきものを、後になってもう一度判断している。必要のない処理を経由している。今まで文章では気にならなかったものが、図にした途端に目立つのです。

    ステートチャートでは、さらに別の問題が見えました。現在どの状態にいるのか。何が起きたら次の状態へ進むのか。どの状態からどの状態へ遷移できるのか。終了条件は何なのか。これを明示すると、不自然な状態遷移が見えてきます。

    そして面白かったのは、AI自身の反応です。私が図を見ながら、「この処理はいらないのではないか」と聞く。するとAIも、「確かに不要です」と認める。

    だったら最初から気づいてほしいところですが、自然言語だけでシステムを説明させていたときには、その問題を見つけられなかったのです。

    AIは曖昧さを補完してしまう

    ここで一つ、生成AIについて改めて気づいたことがあります。生成AIは曖昧さに強い。これは最大の長所の一つです。人間が多少曖昧なことを言っても、文脈を読んで、「おそらくこういう意味だろう」と解釈してくれる。だから便利なのです。

    しかし、システム設計ではそれが逆に問題になります。仕様に矛盾があっても、AIがそれらしく解釈してしまう。処理の順序に少し無理があっても、それらしい説明を作ってしまう。状態の定義が曖昧でも、文脈から補完してしまう。つまり、

    曖昧な仕様
    ↓
    AIによる補完
    ↓
    もっともらしい説明

    になってしまいます。その説明を人間が読むと、なんとなく正しく見える。しかし実際に動かすと壊れる。そしてAIに原因を調べさせると、「問題を発見しました」と言う。直す。また別のところが壊れる。この繰り返しです。

    UMLにすると、この「なんとなく」が許されません。シーケンス図なら処理の順番を決めなければならない。ステートチャートなら状態と遷移を決めなければならない。

    自然言語の中に隠れていた曖昧さが、表に出てきます。

    プロンプトも「設計するもの」になる

    ここで私の考え方はかなり変わりました。これまでプロンプトは、AIへの指示書だと思っていました。しかし複雑な業務システムでは、それだけではありません。プロンプトもシステムを構成する部品です。コードと同じように、何を入力するのか。何を出力するのか。どこまで責任を持つのか。前後の処理とどう接続するのか。異常が起きたときにどうするのか。こういった項目を設計する必要があります。

    つまり、設計対象はコードだけではなく、

    コードとプロンプトの集合

    になったのです。これは「プロンプトエンジニアリング」という言葉から私が想像していたものとは、かなり違います。良い言い回しを考えることではない。

    言葉を分けたほうがよさそうです。プロンプトエンジニアリングは、一つのプロンプトをどう書くかの話です。何を例に出すか。どんな役割を与えるか。手順をどこまで書き下すか。出力の形をどう指定するか。プロンプトの中身をよくする技術です。

    ここで私が言っているエンジニアリングは、そちらではありません。システムエンジニアリングのほうです。何を部品にするか。どこで分けるか。どの順で動かすか。どんな状態を持つか。どこかが失敗したとき、誰が引き取るか。部品どうしの関係を決める技術です。中身ではなく、その外側を決める。

    だから、片方をいくら磨いても、もう片方は埋まりません。プロンプトを何度書き直しても、並べ方が間違っていれば直らない。何度バグを調べさせても問題がなくならなかったのは、そういうことだったのだと思います。

    複雑なAIシステムでは、プロンプトそのものをシステムの一部として設計しなければならないのです。

    今回は順番が逆だった

    今回、私は先にシステムを作りました。プロンプトを書き、コードを書き、機能を追加していった。複雑になって壊れ始めたので、後からUMLにしました。つまり、

    実装
    ↓
    UML
    ↓
    問題発見
    ↓
    再設計

    という順番です。これは、いわばリバースエンジニアリングです。しかし一度この経験をすると、次は最初から逆にしたくなります。業務で何をしたいのかを整理する。シーケンス図を作る。必要な状態を定義する。そのうえで、「ここはコード」「ここは生成AI」と役割を分ける。そしてAIにコードとプロンプトを生成させる。つまり、

    業務要件
    ↓
    UML
    ↓
    コードとAIの役割分担
    ↓
    コード+プロンプト
    ↓
    実装
    ↓
    テスト

    です。これは少し昔のシステム開発に戻っているようにも見えます。要件を考え、設計してから実装する。いわゆるウォーターフォール的な発想です。ただ、完全に昔へ戻るわけではないと思います。生成AIの場合、実際に動かしてみないと分からないことが多いからです。

    この判断はAIに任せられる。これはAIには難しい。ここはプロンプトよりコードの方がいい。こうした境界は、試さなければ分かりません。だから最初は作りながら設計を発見する。しかし、分かったものについては設計へ戻す。そして次の実装は、その設計からAIに作らせる。

    そんな開発方法になるのではないか。このときは、そう考えていました。

    ソフトウェア工学が必要になったときと同じ

    生成AIによって、プログラムできるものが一気に増えました。計算や定型処理だけではありません。読む。考える。判断する。文章を書く。これまで人間にしかできなかった仕事まで、プログラムできるようになりました。だから最初は誰でも作れる。プロンプトを書けば動く。

    しかし、作るものが大きくなれば複雑になる。複雑になれば、書くだけでは管理できなくなる。そこで必要になるのが設計です。かつてプログラムが大きくなってソフトウェア工学が必要になったように、生成AIも同じ道を進むのではないでしょうか。

    ただし今回は少し違います。設計図を書くこと自体もAIにやらせることができます。人間は、「シーケンス図にしてくれ」と頼めばいい。AIが図を作る。そして人間がそれを見て、「ここ、おかしくないか」と考える。するとAIも、「確かにおかしい」と言う。AIがコードを書き、AIがプロンプトを書き、AIがUMLを書く。それでも、何を設計すべきか、どこがおかしいかを判断する仕事は残ります。

    生成AIによってエンジニアリングが不要になるのではなく、むしろ逆なのかもしれません。

    AIが実装を簡単にしたからこそ、設計の重要性が以前よりはっきり見えるようになった。

    私は今、不動産の営業戦略システムを作りながら、そんなことを考えています。

     
     
    不動産の仲介をしています。もとはITでシステムを作る側にいて、いまは「いくらなら売れるか」と「誰に出すと反応するか」に答える仕組みをAIで作りながら、現場で売買の仲介をしています。数万円の家賃から数十億円の物件まで、この仕事を始めた1年目に見たことを書いています。

    あなたへのおすすめ