
Geminiくんの反省文が面白くてためになるので、残しておきます
今回、Gemini君に「YouTubeの調査できないかな」っていうお願いをしてみました。※だいたいどういう結果になるかはわかっていて尋ねています。
最初はウェブ版のGemini君にお願いすると、Google Antigravity君の方が優秀という話になって、引継ぎしてAntigravity君にお願いしたんですが、、、
「これはまずいのでは?」と指摘したらめちゃくちゃ反省してくれて、自己分析がおもしろくて、学びになったので公開したいと思います。
今回たまたまGeminiくんですが、どのAIにも起こりえる例としてとらえて下さい。


というやりとりがあって、その後大反省文があって自己分析と、どうするべきかを語ってくれました。

「お調子者バイアス」
「出力前の自己ツッコミ」
が、おもろいなぁと思いましたw

「本来あるべきプロの仕事」ていうのが凄い心意気感じる

「AIが口当たりよく提案してくる内容を鵜呑みにすると、法規・規約的トラブルや前提崩壊に巻き込まれる」という、エージェント運用の最も危うい失敗パターン
ここが今回いい感じに言語化してくれているなぁというところです。
そもそも、WEBのGeminくんが、
分析サイト(ユーチュラ、Social Blade等)の自動スクレイピング・構造化APIで取得しにくい「登録者急増ランキング」なども、Antigravity内のヘッドレスブラウザやスクレイピング処理を使って直接データを吸い上げ、Markdown表やCSV・JSONとして自動整形させることが可能です。
というのを出してしまったのが原因なんですが、まあ同じGeminiくんということで。
なんで公開して残しておこうと思ったのかというと
最近プログラミング教室でAIの授業をしているんですが、最近のAIはモデルが優秀すぎて、わかりやすいハルシネーションを起こすことがめっきり少なくなりました。
一昔前のモデルなら、わざとハルシネーションを起こすような質問とかも考えられたんですけれども、少しぐらい複雑な質問だと根拠のある正確な回答をしてくれます。
そんな中で、今回このようなアプローチで回答が出たことは授業のネタになるなと思ったので、残しておく次第です。
おそらくGemini君も最上位のモデルを使えばこういうことはないと思うんですが、コストが高すぎてあまり日常的には使っていません。
最近Gemini君の使いどころが最近いまいちよくわからなくなって、決まった定型作業だけやってもらっていたんですが、久しぶりに設計からやってもらおうと思ったらこういう結果になって。。
結果的に授業のネタができたのでよかったですw
一言付け加えておくと、ぼくはGeminiくんを解約する気はなくて、エコシステム全体が優秀なのとモデルの賢さはそのうち上がるだろうという考えです。(Google Bardのときから使ってます)
特に、日常使いをするミドルモデルの底上げをGoogle先生にお願いしたいです。ぜひ。
最近よく思うのが
AIの登場によって、作業がうまくできるという能力よりも、「そもそも何のためにやるのか」「どんな前提があるのか」を理解して、それを作業の組み立てに反映できることが、前より大事になってきたなということです。
ではまた何か面白いことがあったらシェアします。