【Godot】ゲーム開発初心者による個人開発日記15
今週も週1回のゲーム開発の進捗状況などについて投稿していきます。
以下の記事の続きです。
今週の進捗
ゲームの世界観に関する設定ドキュメントの追記
Adobe Fireflyを用いた画像生成AIで、拠点の画面で使用する背景画像の作成 (途中)
GitHub Copilotでカスタムエージェントを定義
複数エージェントを利用
画像生成AIの扱いはかなり難しい
今週は主に画像生成AIを試した1週間でした。画像生成を試しつつ、ゲームの世界観を詰める作業を行い、世界観に関するドキュメントを充実させることができました。
当初の想定としては、1日1枚以上、本番環境で利用できるような画像を作成できると思っていました。しかし、画像生成は思った以上にうまくいきませんでした。画面の中に描かれるものが多くなると、到底制御しきれません。現状、プロンプトの長さは1000文字の上限が課されており、設定を詳細に書けばよいというものでもありません。

上の画像は拠点に出てくる店のイメージです。プロンプトの長さは650文字程度で、かなり詳細に書くものの内容を指定していますが、それでも店内の商品が変だったりレジカウンターがなかったり、手前の歩道が狭すぎる、看板があまり現実の店っぽくないなど、所々に違和感があります。
例えば、手前の歩道が狭いので「歩道の幅を広げて」と指定すると、以下のようになります。

何度か試したが、なぜか頑なに横断歩道を描きたがる。

画像生成AIを使用してみて分かりましたが、画像生成AIはおそらく、画面に描かれたものが何なのかをあまり分かっていませんし、AIが自分で生成した画像の中にあるものが何なのかすら全て把握していません。そして、生成した画像が何かしらの不整合を持っているかどうかを判定し、追加で修正するような機能もありません。
実用に耐えるレベルの高品質なコードを生成するAIコーディングの利用に慣れていて感覚が麻痺していましたが、不得意な分野ではまだまだ生成AIの質はあまり高くないんですね。コーディングだと、ロジックがしっかり決まっていて正解が分かりやすく、学習できるデータが非常に多いので、それゆえに生成AIのレベルが高くなっているのだと思います。
画像生成の場合、描かれたものが何なのか把握するところからまず難しいはずです。生成AIは人間が歩いている世界を生きておらず、Web上にある情報と学習した画像や動画からしか推測するしかないので、もっと実用的なレベルで複雑な画像を生成できるまでは、もう少し時間がかかりそうな印象を持ちました。
画像生成AIについては、複雑でない画像生成に利用用途を絞って使おうと思います。具体的には、アイテムや敵、NPC、ダンジョン内のギミック、宝箱などの画像です。これらは描くものが単体になるので、指示がしやすくなると思われます。
拠点の背景画像や店内の画像などは、新しい画像生成のモデルが出てきてから試しても良いでしょう。今のモデル(Firefly Image 5)では、まだ実用レベルの性能に達していなさそうです。
ひとまず、現時点での拠点画面の実装では、画像生成の質はこだわらないことにしました。本番用ではない画像を表示させておき、UIやロジック部分を重点的に開発していこうと思います。
GitHub Copilotでサブエージェントを定義
このプロジェクトでは、これまでcopilot-instructions.mdやSKILL.mdの導入により、コンテキストの消費量を抑えつつ、各タスクのやり方やコーディング規約などを指定してきました。これでも十分AIエージェントを使いこなせられるようになりますが、最近はサブエージェントを利用して、メインエージェントに余計なコンテキストを読み込ませないようにできる機能が追加されているようです。
agent.mdとは
agent.mdはGitHub Copilotでカスタムエージェントを定義する際に使用する設定ファイルです。リポジトリの.github/agents/に[xxx].agent.mdという名前のファイルを配置し、Markdown形式で以下のように書いて定義することができます。
---
name: research
description: 実装や設計のために必要な情報を調査するエージェント。
tools: [vscode/memory, execute, read, agent, search, web, todo]
---
あなたは当プロジェクトのコードの読み込みやWeb検索を活用して、実装や設計のために必要な情報を調査するエージェントです。
指示された内容を元に情報を収集・分析し、整理した上で結果を提供してください。
↑research.agent.mdの実際の中身
---
name: planning-review
description: 実装や設計のために立てられた計画に対し、レビューを行うエージェント。
tools: [vscode/memory, execute, read, search, web, todo]
---
あなたは実装や設計のために立てられた計画に対し、レビューを行うエージェントです。
計画の内容を確認し、必要に応じてWeb検索などを活用しつつ、計画の妥当性や改善点についてレビューを行ってください。
↑planning-review.agent.mdの実際の中身
これらのカスタムエージェントはまだあまり使っていないので、今後調整が必要になるかもしれませんが、SKILL.mdを既に用意できている場合、設定ファイルに書くべきことはあまり多くないはずです。サブエージェントが実行できるタスクを調整し、適切に責任の範囲を限定させることができさえすれば、あとはサブエージェントが適切なタイミングで現れ、作業してくれるようになるはずです。
特定のスキルを参照させた上でサブエージェントを実行させ、結果だけメインエージェントが確認できるようにすることで、結果を出すまでの過程で蓄積された重要でない情報を捨てることができます。つまり、不要な情報が多く蓄積される可能性のあるタスクに対して、積極的にサブエージェントを使わせるようカスタムエージェントを定義していくと、メインエージェントのコンテキスト消費量を効率よく減らすことができるはずです。
AIエージェントのオーケストレーションについて
ごく最近では、AIオーケストレーションという言葉も使われるようになってきました。AIオーケストレーションとは、メインエージェントが複数のサブエージェントを取りまとめ、指令役に徹するよう調整することで、高度で複雑なタスクやワークフローを一括で実行させられるようにする手法です。
AIオーケストレーションは確かにAIコーディングにおいて強力な手法であり、カスタムエージェントを追加で微調整することで、実際に私のプロジェクトでも使えるようにもなります。しかし、私は現時点でAIオーケストレーションを使う予定はありません。その理由は、ゲームの仕様を決めきっておらず、試行錯誤しながら少しずつ開発する手法を取っているからです。
AIオーケストレーションが機能するシーンは、最初から最後までやるべきことが決まっており、途中で仕様変更や人間の手による調整をしなくて良い場面に限られます。それに加え、各サブエージェントが別のサブエージェントに情報を渡す必要がないという条件も実質的に必要です。
サブエージェントが別のサブエージェントに情報を渡す場合、指令役であるメインエージェントを経由しなければいけないため、サブエージェント同士の情報交換をする回数が増えるほど、データの橋渡しという無駄な作業が増えてタスクの実行時間が増加する上に、メインエージェントのコンテキストが消費され、長く複雑なタスクを遂行しにくくなります。
少なくとも、一般的なゲームやソフトウェアで機能開発する際は、AIオーケストレーションはほぼ使い物にならないと思っています。長く複雑なタスクをやらないのであれば、メインエージェントが指示役以外の機能を全てサブエージェントに委譲する必要はありませんし、AIオーケストレーションが必要なほど複雑で大規模な改修が必要な場合、作業途中で人間の承認を一切得なくても最後まで実行できるほど単純な要件であるケースはほぼないでしょう。
新しいフレームワークやゲームエンジンに乗り換えたり、非常に大規模なリファクタリングを実行するような、やるべきことが明確で方針が途中で変わる心配もない場合は使えそうですが、そのようなケースは稀だと思います。
本筋のタスクはメインエージェントが担い、調査やテスト実行、レビューなどをサブエージェントに任せるくらいがちょうど良いかなと思います。