WebニュースをGoogle Geminiで画像化する実験｜文章の視覚化と情報アクセシビリティの検証【マグロの食中毒の事例】
A/Bテスト：「情報が社会に伝播した場合／伝播しなかった場合」
B：知識が広がらず、同じ管理不備が残り、食中毒につながる
要約をAIで視覚化
次の画像は、要約における背景、方法、結果、考察、結論をGoogle Geminiで視覚化したものです。画像から情景を感じ取ってください。
✅この記事の要約
要約：
【背景】
Webニュースは文字を中心に情報を伝達するため、文章から出来事や状況を情景として把握することが難しい場合がある。そこで、生成AIによる画像化を用いた情報アクセシビリティの向上を検討した。
【方法】
宮城県利府町で発生したマグロ丼による食中毒に関するWebニュースを対象とし、全文、タイトル、各文、複数文の組み合わせをGoogle Geminiに入力して画像を生成した。生成画像と元の文章を対応させ、画像から情報や情景を読み取れるかを確認した。
【結果】
タイトルおよび75文字の1文目では、マグロ丼、飲食店、ショッピングモール、頭痛、発熱などの情報が比較的明確に画像化された。一方、110文字の2文目や複数文、全文では、文章と画像の対応が曖昧になる例が確認された。
【考察】
今回の結果から、入力する文章量が増えると、複数の情報が画像内でまとめて表現され、元の文章との対応が曖昧になる可能性が示された。また、画像のみでは人数や日付などの正確な情報を十分に伝達できなかった。
【結論】
本実験系では、約75文字を画像生成に入力する文章量の暫定的な上限値とすることで、文章と画像の対応を比較的明確にできる可能性が示された。また、Webニュースのテキストに対応する情景画像を付加することは、文字情報を補完し、読者の視覚的な内容把握を補助する方法として有用であると考えられる。
🎵RS2R: 七英雄バトル
研究の背景
Webニュースは、文字を中心として情報を伝達する媒体であり、
ニュースの内容を正確に理解するためには、
読者が文章を読み、その意味を頭の中で構成する必要があります。
一方で、文章から内容や状況を読み取り、
出来事の全体像をイメージすることには、
読者によって差が生じる可能性があります。
特に、食中毒、災害、事故、行政処分などのニュースでは、
「どこで」「何が起き」「誰が影響を受け」「その結果どうなったのか」といった複数の情報を文章から読み取り、
頭の中で情景として構成する必要があります。
そのため、文字情報だけでは、
ニュースの内容を直感的に把握することが難しい場合があります。
そこで筆者は、Webニュースの文章を生成AIによって画像化し、
文章が示す「情報」と、
それによって想起される「情景」を画像として提示することで、
読者がニュースの内容を感覚的に把握しやすくなるのではないかと考えました。
本研究では、宮城県利府町で発生したマグロ丼による食中毒に関するWebニュースを対象として、ニュースの全文、タイトル、各文、および複数の文を組み合わせた文章をGoogle Geminiに入力し、それぞれを画像化しました。
さらに、生成された画像と元の文章を対応させ、
画像から元の文章が示す内容や情景をどの程度読み取ることができるかを筆者が確認しました。
この実験を通じて、文章の長さや情報量が生成画像の表現にどのような影響を与えるのかを検討するとともに、Webニュースにおいて、文字情報と画像による情景表現を組み合わせることが情報アクセシビリティの向上につながる可能性について検討することを目的としました。
研究方法
Webニュースを可視化することで、内容を直感的に読者に伝えることを目的として、次の手順で文章から画像を作りました。
使用したWebアプリケーション
Google 社製Google Gemini
画像の作成条件
全文
タイトルのみ
1文目のみ
2文目のみ
3文目のみ
1文目+2文目
1文目+2文目+3文目
実験手順
上記5条件の文章を、筆者が開発した画像生成プロンプトに入力してGoogle Geminiで画像化しました。
画像化したものを文章と対応させて、画像を見る事で文章の国語辞書的な意味が感覚的に理解できるかを筆者が確認しました。
画像は、Google Geminiの操作画面です。
マグロのヒスタミン由来の食中毒に関するWebニュース
タイトル：「発熱や頭痛の症状」飲食店でマグロ丼食べた13人が食中毒 店を3日間の営業停止処分＜宮城＞
8/28(金) 17:22配信
1文目：県によりますと、8月27日、利府町のショッピングモールに入る飲食店でマグロ丼を食べた3グループの計13人が、その後、発熱や頭痛などの症状を訴えました。
２文目：県は、患者に共通する食事がこの店の食事のみに限られていることなどから、この店で提供した食事を原因とする食中毒と断定し、8月28日から3日間の営業停止処分としました。
3文目：13人は、いずれも快方に向かっているということです。
実験結果
Google Geminiで作成された各画像は次の通りです。
全文
「発熱や頭痛の症状」飲食店でマグロ丼食べた13人が食中毒 店を3日間の営業停止処分＜宮城＞
県によりますと、8月27日、利府町のショッピングモールに入る飲食店でマグロ丼を食べた3グループの計13人が、その後、発熱や頭痛などの症状を訴えました。
県は、患者に共通する食事がこの店の食事のみに限られていることなどから、この店で提供した食事を原因とする食中毒と断定し、8月28日から3日間の営業停止処分としました。
13人は、いずれも快方に向かっているということです。
全文をプロンプトに入力して作成された画像
画像から読み取れる情景
場所はショッピングモール。
薄暗い照明とひび割れの表現（良くないことが起きた）。
案内人の紫髪のお姉さんが暗い表情でうつむき、周りの人々は頭に手を添えてうつむいている様子。
マグロの絵がある。
全文から画像化したものからは、ショッピングモール内で良くない出来事が起きたことが読み取れました。マグロの絵があることから、マグロに関する話題であることが推察されます。
タイトルのみ
「発熱や頭痛の症状」飲食店でマグロ丼食べた13人が食中毒 店を3日間の営業停止処分＜宮城＞
タイトルをプロンプトに入力して作成された画像
画像から読み取れる情景
場所は飲食店。
マグロ丼に関する。
人々は頭に手を添えて薄暗い場所でうつむいている様子（頭痛？）。
暖簾（のれん）のカギアイコンに赤いバツ印がついている（営業停止？）。
日本の地形からは場所の特定はできなかった。
画像から、飲食店でマグロ丼を食べた人が食中毒で頭痛などの症状が出たことが推察されました。また、暖簾のアイコンから、飲食店が営業停止になったことも推察されました。
1文目のみ
県によりますと、8月27日、利府町のショッピングモールに入る飲食店でマグロ丼を食べた3グループの計13人が、その後、発熱や頭痛などの症状を訴えました。
画像から読み取れる情景
場所はショッピングモール内。
マグロ丼から黒くよどんだ線で鮮度が悪いことが表現されている。
マグロ丼を注文した人々は頭に手を添えて顔が赤くなっている（頭痛と発熱）。
この画像からは、ショッピングモール内でマグロ丼を食べた人たちが、頭痛と発熱の症状が出たことが読み取れました。
2文目のみ
県は、患者に共通する食事がこの店の食事のみに限られていることなどから、この店で提供した食事を原因とする食中毒と断定し、8月28日から3日間の営業停止処分としました。 13人は、いずれも快方に向かっているということです。
画像から読み取れる情景
飲食店（店名は仮名の月見草）が営業停止になっている。
人々はクリニックに出入りしていて、明るい光がさしている様子。
飲食店が営業停止になっていてクリニックを受診した人々は快方に向かっていることが推察されました。この画像からは、食中毒が起きたことは読み取れませんでした。
3文目
13人は、いずれも快方に向かっているということです。
画像から読み取れる情景
画像中の人数は12人（案内人を含む）であり、ニュースの13人は反省されていない。
明るい空と明るい光が差し込んでいる情景で人々に良いことが起きている様子。
人々が快方に向かっていることは読み取ることができました。
1文目+2文目
県によりますと、8月27日、利府町のショッピングモールに入る飲食店でマグロ丼を食べた3グループの計13人が、その後、発熱や頭痛などの症状を訴えました。
県は、患者に共通する食事がこの店の食事のみに限られていることなどから、この店で提供した食事を原因とする食中毒と断定し、8月28日から3日間の営業停止処分としました。
画像から読み取れる情景
ショッピングモール内の海鮮系飲食店が営業停止になっている様子。
店の入り口には3、砂時計、魚のバツ印等のアイコンがある。
店の前におなかと頭に手を添えていて、表情が暗い人たちがいる（頭痛や腹痛？）。
県が行政処分として営業停止にした表現がある（盾、鍵、青い光）。
暗い線の中にマグロ丼や菌などのアイコンがあり、食中毒を連想させる描写がある。
この画像からは、ショッピングモール内の飲食店で食中毒が起きたこと、および県（行政）が営業停止処分をくだして飲食店が営業停止になったことが読み取れました。
1文目+2文目+3文目
県によりますと、8月27日、利府町のショッピングモールに入る飲食店でマグロ丼を食べた3グループの計13人が、その後、発熱や頭痛などの症状を訴えました。
県は、患者に共通する食事がこの店の食事のみに限られていることなどから、この店で提供した食事を原因とする食中毒と断定し、8月28日から3日間の営業停止処分としました。
13人は、いずれも快方に向かっているということです。
画像から読み取れる情景
場所はショッピングモールで薄暗い。
マグロ屋という店名の飲食店にマグロ丼の張り紙があり、マグロ丼が店の前に配置されている。
8月28日から8月30日まで営業停止と張り紙がシャッターに貼られており、飲食店は営業停止になっている状態（営業停止）。
お店の前にいる人々は頭に手を抱えているが、頭痛の様子は読み取ることは出来ず、困っている様子にもみえる。
地面から植物が生えており、明るい光がさしている（良い方向へ転換）。
ショッピングモールのマグロ丼を提供する飲食店が、8月28日から8月30日まで営業停止になっていることが読み取れました。薄暗い空間に植物と明るい光がさしている描写から、事態が好転したことが推察されます。
考察
1.画像生成プロンプトに入力する文字数が画像表現に及ぼす影響
Google Geminiに入力するプロンプトに関する考察です。
今回のWebニュースの1文の文字数は次の通りでした。
全文の文字数（記号と句読点を含む）；230文字
タイトルの文字数（記号を含む）；45文字
1文目の文字数（句読点を含む）；75文字
2文目の文字数（句読点を含む）；110文字
3文目の文字数（句読点を含む）；26文字
1文目と2文目の文字数（句読点を含む）；158文字
1文目と2文目と3文目の文字数（句読点を含む）；185文字
タイトルのみと1文目のみを画像化したものは、比較的文の内容を表現されていることが確認されました。対して、2文目のみ、1文目と2文目と3文目、全文をプロンプトに入力して作成された画像は、文に対してあいまいさが多く表現されていることが確認されました。
この知見から、文の内容を画像でより正確に表現するためには、75文字を入力上限値として暫定的に設定することが必要であると考えられます。この75文字は、最適な値ではないので、今後も実験を繰り返して画像生成に最適な文字数を導き出すことが求められます。
2.ニュースなどの文字情報をAIで視覚化する試み
今回の実験から、文字情報に対応する画像だけで詳細かつ正確にニュースを伝えることは難しいことが確認されました。しかし、文章に対応した画像があることで、読者が文章を読む前に感覚的に内容を把握することが容易になると考えられます。今後は、筆者が開発したプロンプトを改良するとともに、多くの実施例を積み上げて、多様な人が情報と情景を感覚的かつ正確に理解できる記事を執筆できるよう実験を続ける予定です。
情報
じょう‐ほう〔ジヤウ‐〕【情報】
１ ある物事の内容や事情についての知らせ。インフォメーション。「事件についての情報を得る」「情報を流す」「情報を交換する」「情報がもれる」「極秘情報」
２ 文字・数字などの記号やシンボルの媒体によって伝達され、受け手に状況に対する知識や適切な判断を生じさせるもの。「情報時代」
３ 生体系が働くための指令や信号。神経系の神経情報、内分泌系のホルモン情報、遺伝情報など。
４ 中等教育の教科の一。情報技術（IT）や情報化社会のモラルなどを身につけることを目標とする。情報科。
[類語]（1）（2）報道・報知・知らせ・通信・広報・一報・特報・速報・急報・ジャーナリズム・マスコミ・マスコミュニケーション・ニュース・インフォメーション・ノウハウ・データ
情景
じょう‐けい〔ジヤウ‐〕【情景／状景】
心にある感じを起こさせる光景や場面。「幼いころの―を思い浮かべる」
[類語]光景・シーン・場景・全景・パノラマ・前景・近景・遠景・後景・背景・借景・バック
結論
本実験系において、Webニュースにおいてテキストによる情報伝達に加えて、対応する情景を画像として提示することには、読者がニュースの内容を視覚的に把握することを補助する有用性があると考えられます。
本研究における画像化は、文字情報を画像で置き換えるものではなく、文字によって伝達される正確な情報に、画像による情景情報を付加する方法として位置づけることができます。
参考情報
執筆者：東北イタコ（Tohoku I-ST）
以上です。
いいなと思ったら応援しよう！
いただいたチップは、地域の外猫たちの見守り活動に活用します🐾
具体的には、毎日の食事と衛生管理の備品の購入に使います。
少額でもたいへん助かります。