メインコンテンツへスキップ

試験対策の4択アプリを5日作ってから、私もAIも本物の問題がどんなものかを見ていないことに気づいたお話

    ある資格試験の対策アプリを、AI(Claude Code)と一緒に作っている。売り物にするかはまだ決めていない。いまは作り方そのものを確かめている段階だ。

    分担ははっきりしている。私が方針とルールを決めて、AIが調べて書く。 シラバスを機械が読める形に写すのも、条文に当たるのも、問題文を書くのもAIだ。私は判断をする。

    ルールは2つ決めた。

    ひとつ、4択の誤答には「受験者が何と混同してこれを選ぶのか」を必ず書くこと。これを書かせると、AIはもっともらしい誤答しか作れなくなる。放っておくと、明らかに間違いとわかる選択肢を並べてしまうからだ。

    ふたつ、出典URLを張れない問題は作らないこと。法律なら e-Gov の条文、倫理ならガイドラインの原文。当たれなければ、その問題は捨てる。捨てた理由も残す。

    5日で59問できた。チェックも全部通っている。ここまでは良かった。

    「実際の試験も、こういう問題ですか」

    ふと気になって、AIに聞いてみた。

    「見ていません」と返ってきた!!!

    調べてもらったら、試験団体の公式サイトに、過去問が20問公開されていた。

    4択で作り始めてから、5日が経っていた。

    形式は合っていた。中身がずれていた

    A〜Dの4択から1つ選ぶ。ここは合っていた。ずれていたのはここだ。


    画像

    しかも、私たちが作り込んでいた分野の4問は、4問とも「最も不適切」型だった。こちらの59問は、否定形が2問しかない。

    「正しいものを1つ選ぶ」は、1つ知っていれば解ける。
    「不適切なものを1つ選ぶ」は、4つすべてを判定しないと解けない。

    同じ4択でも、頭の使い方が違う。

    もうひとつ。本番は100分で145問。1問41秒だ。 こちらの問題は条文をそのまま引いた選択肢があって、読むだけで1分かかるものがある。丁寧に作ることと、本番で戦えることは、別だった。

    なぜ、二人とも見なかったのか

    私は「そこまで調べているはず」と思っていた。
    AIは、聞かれていないので調べていなかった。

    AIは、頼んだことは執拗なくらいやる。出典が張れなければ問題を捨てるし、捨てた理由まで書き残す。でも、頼んでいないことは、きれいに穴のまま残る。 しかもその穴は、頼んだ部分の出来が良いほど見えにくい。

    一次資料に当たる、と決めて5日やってきた。
    試験そのものの一次資料を、二人とも見ていなかった。

    いま、不適切選択型を作り直している。

    ちょっと疲れた~

     
     
    SEです。麻雀が好きで、弱い。 AIと相談しつつ何切るを牌効率・打点・好形の3つで比べるアプリを作りました。作る過程で分かったことなどを書いていければ、と思っています。 麻雀何切るトレーナー https://apps.apple.com/jp/app/id6811906308

    あなたへのおすすめ