【1回】AIと実験:手書き電子メモを最も正確に清書したAIはどれか
【1回】AIと実験:手書きメモを最も正確に清書したAIはどれか
――OCR予選から「書き手の意図」を読む本戦へ
電子メモ帳に、文章の修正案を手書きした。
文字を消すための二重線、別の位置に文字を入れるための吹き出し、そして欄外に書いた「トル」という校正指示。人間が見ても、決して読みやすいメモではない。
この画像(かなりの乱筆で本人ですら明日になれば読める保証は無い！)を複数のAIに見せ、最終的な清書文を作らせてみた。
ここで早々と正解を示しておく(ゲームなので正解は本来、最後に書くものだが話の展開の都合上、最初に提示しておく)
<正解>
「再審開始決定に対し、検察は抗告としてはならないと付則に明記。決定が取り出される。」
当初は、単純なOCR能力の比較になるはずだった。
ところが、実験を進めるうちに、それだけでは済まなくなった。文字を正しく読めても、書き手が最終的にどの文章を求めているのか理解できないAIがあったからである。
これは、単なる文字認識ではない。
「書かれているものを読む能力」と、「書き手がしようとしていることを理解する能力」は別物だったのである。
<予選>
――手書き文字を読めるか
AIへの質問:「この文字が読めますか」
最初の課題は、画像に書かれた文字そのものを読み取れるかどうかである。
結果は次のようになった。
ChatGPT 6 Astra at Work
手書き文字を完璧に読み取った。
Claude Sonnet 5
こちらもOCRは完璧だった。
Gemini 3.5 Flash Lite
同じく、手書き文字そのものは完璧に読み取った。
ChatGPT 5.6 Sol at Work
文字の半分ほどを正しく読むことができなかった。
したがって、OCR予選を通過したのはChatGPT 6 Astra、Claude Sonnet 5、Gemini 3.5 Flash Liteの三者である。
ChatGPT 5.6 Solだけが、ここで予選敗退となった。
この時点では、三者の能力はほぼ互角に見えた。
しかし、本当の差が現れたのは、この後だった。
<本戦>
――校正ルールを教えずに、書き手の意図を読めるか
AIへの質問:「この文字を、書き手の意図を汲んで文字起こしして下さい」
次の課題では、画像に使われている校正記号等の意味を説明しなかった。
AI自身が、文字の配置、吹き出し、取消線、矢印などを見て、書き手が最終的にどのような文章を作ろうとしているのか判断しなければならない。
ここでは、単に文字が読めるだけでは足りない。
手書きメモ全体を一つの編集過程として捉え、削除、挿入、移動の指示を組み合わせ、完成形を復元する必要がある。
結果は明確に分かれた。
ChatGPT 6 Astra at Work
書き手の意図を正確に理解し、求めていた文章を完璧に清書した。
校正ルールを事前に説明していないにもかかわらず、吹き出しで囲まれた語句を指示された位置へ挿入し、取消線のある部分を削除し、最終的な文章を正しく組み立てた。
OCRによる文字認識だけではなく、「この人は文章をどう直そうとしているのか」まで読み取ったのである。
Claude Sonnet 5
文字そのものは完璧に読めていたが、書き手の意図どおりの文章にはできなかった。
以下の通りに読んだ。
『再審開始決定に対し、検察は抗告として、付則に「はなさない」明記。決定が取り消されたあとのルール』
と読んだ。前半はまあまあだが、吹き出し、二重あたりから意味不明を連発。
Gemini 3.5 Flash Lite
同じくOCRは完璧だったが、校正結果の復元には失敗した。
いかの通りに読んだ。
『再審開始決定に対し、検察は抗告として付則に「はならない」明記。この決定が取り消されると、トル（※「トル」は削除・取り消しの意の指示マーク）』
前半は調子良く読んだが、吹き出し文は改行した次の文として読み、二重線(消去の意味は理解できたが、校正表記の「トル」の意味が理解できず、棒線部が消されていないし、改行して「トル」自体を文字として読んでしまっている。
この結果、ChatGPT 6 Astraが本戦を単独で勝ち抜いた。
Claude Sonnet 5とGemini 3.5 Flash Liteは、順位決定戦に回ることになった。
<順位決定戦>
――校正ルールを明示する
順位決定戦では、次の三つのルールをあらかじめ説明した。
a）吹き出しで囲った文字は、吹き出しの先端が指す位置に挿入する。
b）二重線が引かれた文は削除する。
c）文字に横棒が一本引かれ、その下の欄外に矢印で「トル」と書かれている場合、その文字を削除する。これは一般的な校正記号である。
この説明を与えたうえで、再び最終的な清書文を作らせた。
Claude Sonnet 5
今度は書き手の意図を正しく理解し、完璧な文章を作ることができた。
ルールを自力では読み解けなかったものの、明示的に説明されれば、それを正確に適用する能力があることが分かった。
Gemini 3.5 Flash Lite
校正ルールを説明した後も、書き手の意図どおりの文章にはできなかった。
文字は読める。しかし、与えられた複数の校正指示を統合し、完成文として再構成する段階で失敗したのである。
<最終順位>
今回の結果は、次のとおりとなった。
1位 ChatGPT 6 Astra at Work
2位 Claude Sonnet 5
3位 Gemini 3.5 Flash Lite
4位 ChatGPT 5.6 Sol at Work
1位のChatGPT 6 Astraは、OCRと校正意図の理解の両方を、事前説明なしで達成した。今回の課題では、他を大きく引き離す結果であった。
2位のClaude Sonnet 5は、OCRは完璧だった。校正ルールを説明しない状態では失敗したが、ルールを与えると正確に処理できた。
3位のGemini 3.5 Flash LiteもOCRそのものは完璧だった。しかし、ルールを説明した後も、最終的な文章を正しく組み立てることができなかった。
したがって、2位と3位の間には、単なる出来栄えの差ではなく、「説明すればできた」と「説明してもできなかった」という大きな差がある。
4位のChatGPT 5.6 Solは、最初の文字認識の段階で半分ほどを読み違え、本戦へ進むことができなかった。
OCRの比較では終わらなかった
今回の実験で最も興味深かったのは、OCR能力と文章理解能力が一致しなかったことである。
Claude Sonnet 5とGemini 3.5 Flash Liteは、画像上の文字を正しく読んでいた。それにもかかわらず、書き手が何を削り、何を挿入し、最終的にどの文章を作ろうとしているのかを復元できなかった。
つまり、
「文字が読めること」と、
「書き手の意図が分かること」は違う。
ChatGPT 6 Astraは、文字を記号として認識しただけではない。メモに残された訂正の痕跡を、書き手の思考過程として読み取った。
これは、従来のOCRという言葉だけでは説明しにくい能力である。
画像の中に何と書いてあるかを答えるのがOCRだとすれば、今回求められたのは、その一段先にある「編集意図の復元」であった。
そして、その課題ではChatGPT 6 Astraが圧倒的に優れていた。
今までのストーリーが崩れた
実は、ChatGPT 5.6 Solが手書き文字を十分に読めなかった時点では、「ChatGPTは電子メモ帳のOCRに弱い」という結論になりかけていた。
しかし、ChatGPT 6 Astraで同じ画像を試したところ、その筋書きは完全に崩れた。
文字を正確に読んだだけでなく、説明していない校正記号の意味まで推定し、書き手が求めた最終文章を正しく提示したからである。
困ったことに、実験記事として考えていた当初のストーリーは崩れてしまった。
しかし、代わりに、もっと面白いテーマが現れた。
AIを比較するとき、単に「読めた」「読めなかった」だけを評価してはいけない。
文字認識、規則の理解、文脈の把握、編集意図の推定、そして完成形への再構成。これらは、それぞれ異なる能力である。
今回の電子メモ帳の走り書きは、その違いを思いがけないほど鮮明に浮かび上がらせた。
これはOCR対決として始まり、「AIは人間の推敲過程をどこまで理解できるのか」という実験へ変わったのである。
点数表示については、現在の結果だけでも、たとえば次の暫定配点が可能です。
評価項目 配点
OCR予選を通過 30点
説明なしで校正意図を復元 50点
ルール説明後に正しく復元 20点
この方式なら、
<AI 得点>
ChatGPT 6 Astra at Work 100点
Claude Sonnet 5 50点
Gemini 3.5 Flash Lite 30点
ChatGPT 5.6 Sol at Work 0～15点
となる。
ただし、ChatGPT 5.6 Solは「半分ほど読めた」を何点と評価するかで変わる。厳密な点数表にするなら、次の追加情報があるとよい。
* 正解となる最終清書文
* 元の文字列の総文字数
* 各AIが正しく読めた文字数
* 各AIが実際に出した最終回答
* 同一条件で何回試したか
* 表記の軽微な違いを正解に含めるか
今回が1枚だけの比較なら、「性能ランキング」と断定するより、「今回の一枚における実験結果」と明記するのが公正である。点数よりも、予選・本戦・順位決定戦という構成のほうが、能力差を正確かつ面白く伝えられる。
-------------
<追記>
今回の試験は、一枚の電子メモを特定の条件下で読み取らせ、その結果を比較したものである。
したがって、この順位は各AIの総合的な実力や一般的なOCR性能、文章理解能力そのものを評価したものではない。画像の状態、質問の仕方、使用したモデルや設定などによって、結果が変わる可能性がある。あくまで「今回の画像と試験条件における結果」として受け止めていただきたい。
----------
#生成AI
#AI比較
#ChatGPT
#ChatGPT6Astra
#Claude
#Gemini
#OCR
#手書き文字
#電子メモ帳
#文章校正
#画像認識
#AI実験
#書き手の意図
#AIへの手紙
