試験対策の4択アプリを5日作ってから、私もAIも本物の問題がどんなものかを見ていないことに気づいたお話
ある資格試験の対策アプリを、AI(Claude Code)と一緒に作っている。売り物にするかはまだ決めていない。いまは作り方そのものを確かめている段階だ。
分担ははっきりしている。私が方針とルールを決めて、AIが調べて書く。 シラバスを機械が読める形に写すのも、条文に当たるのも、問題文を書くのもAIだ。私は判断をする。
ルールは2つ決めた。
ひとつ、4択の誤答には「受験者が何と混同してこれを選ぶのか」を必ず書くこと。これを書かせると、AIはもっともらしい誤答しか作れなくなる。放っておくと、明らかに間違いとわかる選択肢を並べてしまうからだ。
ふたつ、出典URLを張れない問題は作らないこと。法律なら e-Gov の条文、倫理ならガイドラインの原文。当たれなければ、その問題は捨てる。捨てた理由も残す。
5日で59問できた。チェックも全部通っている。ここまでは良かった。
「実際の試験も、こういう問題ですか」
ふと気になって、AIに聞いてみた。
「見ていません」と返ってきた!!!
調べてもらったら、試験団体の公式サイトに、過去問が20問公開されていた。
4択で作り始めてから、5日が経っていた。
形式は合っていた。中身がずれていた
A〜Dの4択から1つ選ぶ。ここは合っていた。ずれていたのはここだ。

しかも、私たちが作り込んでいた分野の4問は、4問とも「最も不適切」型だった。こちらの59問は、否定形が2問しかない。
「正しいものを1つ選ぶ」は、1つ知っていれば解ける。
「不適切なものを1つ選ぶ」は、4つすべてを判定しないと解けない。
同じ4択でも、頭の使い方が違う。
もうひとつ。本番は100分で145問。1問41秒だ。 こちらの問題は条文をそのまま引いた選択肢があって、読むだけで1分かかるものがある。丁寧に作ることと、本番で戦えることは、別だった。
なぜ、二人とも見なかったのか
私は「そこまで調べているはず」と思っていた。
AIは、聞かれていないので調べていなかった。
AIは、頼んだことは執拗なくらいやる。出典が張れなければ問題を捨てるし、捨てた理由まで書き残す。でも、頼んでいないことは、きれいに穴のまま残る。 しかもその穴は、頼んだ部分の出来が良いほど見えにくい。
一次資料に当たる、と決めて5日やってきた。
試験そのものの一次資料を、二人とも見ていなかった。
いま、不適切選択型を作り直している。
ちょっと疲れた~