メインコンテンツへスキップ
見出し画像

AIに聞く前に自分で考える意味を~学習研究で確かめる~

    最近、Hades(@0xHvdes)さんの「The Principles of Learning Faster.」という英語の記事を読みました。学習を速くする7つの原則を、短い例といっしょに並べた長文です。

    7つのうち、私が立ち止まったのは3つ目の「Struggle Before You Search」(検索する前に悩む)です。数秒で答えが出る時代に、先に自分で考える意味はどこにあるのでしょうか。

    この記事では、この原則だけを取り上げます。原文には研究の引用もデータもありません。

    そこで、裏付けになりそうな心理学と教育の研究を一次資料で確かめ、AIにすぐ聞く場合の得と損も両方見ます。

    【発端】 7原則のうち、AIと直接重なる3番目

    画像
    起点記事の7原則のうち、AIと直接重なる1つを取り上げる

    原則3は、答えを得る速さと、身につく速さを、別のものとして扱っています。

    ほかの6つは、Learn by Doing、Shorten the Feedback Loop、Learn Just in Time、Retrieval Beats Recognition、Connect Before You Collect、Learning Compoundsです。この記事では、そこへは広げません。

    原文の例は、プログラミングの学習中にエラーが出る場面です。すぐAIに貼って解決する人と、10分ほど自分で試してから聞く人を比べています。

    後者は、エラーを読み、仮説を立て、何かを変え、別の場所を壊し、また試します。そのあとAIに聞いても、手元に自分の案があるので、考えのどこが違ったかが分かる、というのが原文の主張です。

    原文は、道具を使うなとは書いていません。AIが考えを肩代わりする前に、脳に問題を扱う機会を与える、という位置づけです。

    この主張は、著者の経験則として書かれています。以下では、研究で確かめられる部分と、確かめられない部分を分けます。

    【基礎】 答えを見る前の試行が、あとの学習を強める

    画像
    3つの効果が、答えを見る前の試行を支える

    間違えるかもしれない試行でも、そのあとに答えを見ると、読むだけより記憶に残る、という実験結果があります。

    関係する効果は3つあります。生成効果は、答えを自分で作ると、読むだけより記憶に残る現象です。

    SlameckaとGrafは、1978年の論文でこの名前を付けました。大学生96人を対象にした5つの実験では、自分で作った単語が、同じ単語を読むだけよりも記憶に残りました(SlameckaとGraf(1978))。

    テスト効果は、思い出す練習そのものが記憶を強める現象です。RoedigerとKarpicke(2006)では、学生が文章を読んだあと、再読する群と、思い出して書く群に分かれました。

    5分後の試験では再読が上回りましたが、2日後と1週間後は、思い出す練習をした群が大きく上回りました。再読した群のほうが「覚えられる」という自信は高かったそうです(PubMed)。

    プレテスト効果は、答えが分からない問いに先に挑むと、そのあとの学習が強まる現象です。Kornellらは、正解できない問いを用意し、先に答えを推測させてから答えを見せる群と、問いと答えを同時に見せる群を比べました。

    先に推測した群のほうが、あとの成績が高くなりました(PubMed)。

    原則3は、この3つ目の効果と最も近い位置にあります。

    【違い】 先に調べる学習と、先に試す学習の分かれ目

    画像
    時間で測ると検索が勝ち、定着で測ると差が出る。軸は筆者の整理

    違いは、答えを見る瞬間に、比べる相手が手元にあるかです。

    次の整理は、原文の例と上の研究から、私が軸を立てたものです。原文にも研究にも、この形はありません。

    最初に起きること

    • 先に検索・AIに聞く:答えを読む

    • 先に自分で試す:仮説を立てる

    答えを見たとき

    • 先に検索・AIに聞く:内容を受け取る

    • 先に自分で試す:自分の案と比べる

    かかる時間

    • 先に検索・AIに聞く:短い

    • 先に自分で試す:試行の分だけ長い

    向く場面

    • 先に検索・AIに聞く:手がかりがほぼ無い初学

    • 先に自分で試す:手がかりが少しでもある段階

    最後の行は、後述するワークドエグザンプル(解き方を全部見せた例題)の研究から引いた、私の読み方です。

    従来の「分からなければ調べる」は、時間の面では合理的です。原則3が見ているのは、時間では測れない、答えを受け取ったあとの定着のほうです。

    【仕組み】 自分の案と答えを、比べられる形へ

    先に試す利点は、「悩んだこと」そのものより、試行と答えが対になることにあります。

    Kornellらの結果は、挑戦した試行のあとに答えが来た場合です。別の実験では、失敗した試行のあとに答えがすぐ示されると、記憶が強まりました。

    答えが遅れて示されると、同じ利点は出ませんでした(Haysらの論文)。試行が効くのは、そのあとに答えが来て、比べられるときです。

    AIにすぐ聞く側の結果もあります。Bastaniらは、トルコの高校生およそ1,000人に数学を練習させました。

    GPT-4を自由に使えた群は、練習中の成績が48%上がりました。安全策を付けたGPT Tutor版を使った群は、127%上がりました。

    ところが、AIを取り上げて試験をすると、自由に使えた群は、AIを使わなかった群より17%低くなりました。安全策付きの版では、この低下はほぼ解消されました(PNAS)。

    数字は、PNASの要旨によります。Whartonの記事は、同じ研究の二次的な解説です(Wharton)。

    論文は、安全策の無い群が練習中にGPT-4を「杖」のように使い、AIを外した試験で成績が下がったと報告しています。結果は1つの研究で、対象は高校数学です。

    2025年8月の訂正は、Osbert Bastaniの所属の誤りを直しただけです。数字と結論は変わっていません(訂正)。

    得の側は、練習中の成績が大きく上がることと、答えまでの速さです。損の側は、AIを外したときの成績が下がることです。

    【具体例】 エラーを貼る前の10分

    画像
    原文の例を、試行と比較の順に並べ直した因果の線

    原文の例を、試行と比較の順に並べ直すと、仕組みが見えます。

    プログラミング学習中に、見慣れないエラーが出たとします。原文が勧めるのは、10分ほど自分で試すことです。

    エラーメッセージを読み、原因の仮説を一つ立てます。コードを一か所変えて動かし、別の場所が壊れたら、それも手がかりにします。

    そのうえで、AIに聞きます。このとき、AIの答えと、自分が立てた仮説を並べられます。

    仮説が当たっていたなら、確認が取れます。外れていたなら、どこで読み違えたかが分かります。

    この流れを上の研究で言い換えると、仮説を立てる段階が生成、答えを見る段階が即時のフィードバックです。

    「10分」という長さには、今回確認した研究の裏付けがありません。原文の目安として扱ってください。

    【関連概念】 生産的失敗とワークドエグザンプルの使い分け

    画像
    先に悩む学習にも、逆の結果を示す研究がある

    先に悩む学習は、あらゆる場面で最良とは言えず、条件によって逆の結果も出ています。

    Kapur(2008)は、高校2年生の物理(ニュートン力学)の課題で、手がかりが少ない問題を先に解かせました。グループでは解けませんでしたが、そのあとの個別の課題では、整った問題から始めた群を上回りました。

    この現象を、生産的失敗と呼びます(論文要旨)。

    一方、ワークドエグザンプル効果は、解き方を全部示した例題を学んだ初学者が、自力で解いた学習者よりあとの成績が高いという、繰り返し確認された結果です。初学者が手がかり無しに解こうとすると、作業記憶(考えを一時的に保持する容量)が使われ、解法の規則が長期記憶に入りにくい、と説明されています(NSW教育省CESEの解説)。

    この二つの結果は、一見すると食い違います。違いを分ける条件を、今回の資料では確かめられていません。

    私の仮説ですが、学習者の予備知識の量と、試行のあとに指導や答えが来るかどうかが関わっているように見えます。

    参考情報・参考書籍(PR)

    本記事をより深く理解するために、概念マップスライドを作成しました。こちらをみることで理解の補助になるはずです。

    ピーター・ブラウン、ヘンリー・ローディガー、マーク・マクダニエル著、依田卓巳訳『使える脳の鍛え方 成功する学習の科学』を紹介します。学習の科学という題が、想起や生成、試行を扱うこの記事と重なるためです。

    関連記事

    【まとめ】 聞く前に一行書く、小さな実験へ

    画像
    効果は筆者が確かめたものではなく、研究から組んだ試し方

    「AIを使うか使わないか」より先に、「聞く前に自分の案があるか」を見直すことが、次の一歩です。

    次のAIへの質問で、次の3つを試せます。効果は私が確かめたものではなく、上の研究から組んだ試し方です。

    1. □ 質問を送る前に、自分の答えか仮説を一行だけ書く

    2. □ 答えを受け取ったら、自分の案と違った点を一つ言葉にする

    3. □ 数日後に、AIを見ずに同じ内容を自分の言葉で説明してみる

    最初の手がかりがまったく無い話題では、先に解説や例題を読むほうが合う場合があります。その場合も、読み終えたあとに、閉じて思い出す練習を足せます。

    参考情報

     
     
    海外でバズった最新テック関連情報をわかりやすく整理します! スキの数やページビューが多いなどの反響が多いものがあれば、実際の環境で操作した結果や手順などを共有する記事も作成したいとも思ってます! とりあえずこれを見ておけばディープな最新情報もキャッチアップ!できるものを目指します

    あなたへのおすすめ