🤔AI審査員は信用できるか？自作小説を「創作大賞」基準で評価させてみた（プロンプト付）

皆さん、自分の評価をAIに任せてませんか？

これって、正しいと思う？

これって、どう？

聞いたことありません？

聞いたことがある人、挙手。

メールの下書きや、上司への提出物なんかもAIに聞きますよね？

で、そうなって来ると…　自分の作品も聞きたくなる。現に僕はAIに誤字脱字などのチェックをさせてるわけで…

つまり、AIにこれってどう？という事はよくあるじゃん。

つまり、これって創作大賞でいいところいきますか？（僕の作品）と言うのも自然ではないかと。

ただ、それが本当に当てになるの？と言うのは別問題。

今回のネタは、つまり、僕自身の作品をAIで先に結果予想し、当たるのかどうか？で、AIによる作品評価の妥当性を検証してみましょう！！
（人のでやったら大問題。でも、自分のだから大丈夫！！）

🔍 手法：受賞レベルを予測する仕組み作り

手法としてはこう。
（全部有料課金のAIを使用し、学習データとして使用されないようにしております）

まず、2025年の創作大賞で中間／最終まで残った作品をサンプルにしようとした。

……と思ったら、ファンタジー部門２作しかない。全然足りねぇ。

断念。

じゃあ同じ小説ってことで、カクヨムからサンプル調達。

中間突破10作をサンプルA。
受賞作10作をサンプルB。

これで一応、「中間を抜けるレベル」と「受賞するレベル」は揃った。

でもこれだけだと足りない。

そもそも「中間を突破できるかどうか」の下限がわからないから。

というわけで創作大賞2026の応募作から、適当に10本。

14万作品も来てるんだから、確率的に多くは落選でしょ、ってことでサンプルC。（一応、内容は僕自身がチェックして、内容的に妥当かな？って奴です／僕の感性が腐っている可能性は十分にあります！！）

これで3段階、揃った。

そして、AIさんに渡すプロンプトをこねこねし始める。

😅 全員「大賞レベル」事件

で、作成したプロンプトを使う訳だけど。

あれ？　皆、大賞LVです！！ってでるぞ？

何入れても！！　さすがにCエリアは、中間選考LVと出るやつもあるけど…

……忖度か？　僕が読んでも、粗削りすぎてまだ無理なんじゃ？的な作品も混ざってるのに。

うーむ……

と、忖度しないようにとか、ごにょにょにょにょ。としたが、うまくいかない。

なんか他の人のAI診断とか見たけど、いや、これそもそもAIには判断ムリじゃね？って内容だった。
評価軸を決めるといいとか、あるけど。まぁそうなんだけど。

✅課題は二つありそう。

一つはジャンルの差による評価軸をどうするか？
こういった評価を行うにあたってAIには、評価軸（ルーブリック）を与えるのがいい。
でも、そんなんジャンルによって違うじゃん。
ジャンルの差を吸収するような、汎用性のあるプロンプトが必要になる。
（カクヨムはなろう系、創作大賞のファンタジー大賞の応募作は、ハイファンタジーやダークファンタジーなので若干ジャンル違い）

二つ目は、単純なAIの理解度。
これは14万文字の小説を、そもそもAI達がちゃんと構造的に読み解く事が出来てない事が根本原因ではないかと。
AIの機能面でもそうだけど、ここもちょっと考え方を簡略化してあげないといけない。プロットの破綻をそもそも指摘できないって、致命的。

そんな訳で改良型プロンプトを作り始める。

AI同士のキャッチボール作戦とか考えたけど、API利用料金が高そうなのでやめた。
（14万字の小説ってだけで、たけぇんだよ。一回100円～200円は飛ぶのだ）

🧠 モデルを変えたら結果が変わった

と、いう事で、同じプロンプトをGemini3.5Flash　から3.1Proにしたけど、変化なし。
ウームと思い、じゃあ、とClaude Opus 4.8へ……としたら、お？

サンプルCをはじいたぞ！！

やはりモデルの頭の良さか！！

では現状（2026年7月現在最強！）Fable5だと！！

おおお！！　ちゃんと受賞作以外をはじいた！！

やっぱ頭の良さか！！　これは、有料級やで！ということで、作ったプロンプトは有料エリアに貼っておくぜ！！（AI代にさせてほしい！！）

📊 で、僕の小説はどうだったのか

そして……僕の小説は、どうだったかと言いますと。

おお！！　全く信用ならない結果がでた！！

AI信じらんねぇ！！　やっぱ人が読まねば！！

とはいっても14万件の作品なんて審査員は真面目に読むのかしら……

🎉 予想は立った、あとはお楽しみ

とにもかくにも、予想は立ったとさー

つまり…
僕の作品が、受賞する。
＝僕のAIプロンプトが正しいという証明になる！！　

予想が当たるか当たらないかは、結果発表までお楽しみだぜ！！

ちなみに…

さっき「一回200円は飛ぶ」って書いたけど、あれ結構甘めの見積もり。

ちゃんと下読み代わりに使おうとしたら、判定文一発じゃ済まないじゃん。根拠とか改善点とかスコアの内訳とか出させようとすると出力も膨らむし、忖度対策でダブルチェックもしたくなる。

そう考えると、1本500円くらいは普通にかかりそう。

で、これをそのまま14万作品に掛けてみると。

500円 × 14万 ＝ 7,000万円

……7000万円て。

一次選考丸ごとAIに任せようとしたら、それだけで7000万円規模の話になるってこと。それで不確かな結論だったら、人力で下読み雇った方が……　いやでも人力だと億とか行きません？

つまり「AIの評価、忖度でアテにならない」って話だけじゃなく、「そもそも本気で導入しようとしたらコスト的に割に合わない」っていう、もう一段別の壁があった。

#AI #生成AI #創作大賞 #創作大賞2026 #小説 #Web小説 #プロンプト #AI活用 #検証 #カクヨム