見出し画像

GTPimage2とWan2.2/LTX2.3でアニメ１話のコンビニでのあいさつシーン動画ローカル生成してみた結果

地雷嫌よいたろう

NanobananaProで動画のもととなる、つまりイメージtoVideoの画像を作っていたのですが、GTPimage2.0の登場で、なんか作り直したくなって、作り直しています。
だって、画像の描きこみのレベルが全く違うので、どうしてもそういうきになってしまったのです。

コンビニに入ってきたときのシーンの画像ですが、コンビニの描きこみ自体が違い過ぎるのです。
(こちらのラノベ１話のアニメ化のための画像)

nanobanana

これは実写風に作った(実写で作って人物をアニメ化した)ので、結構いい感じなんですが…普通にアニメで作ると

nanobanana

geminiでプロンプトを作っnanobanana proでつくると、こんな感じです。
一方GTPで、プロンプトを作ってGTPimage2.0でつくるとこんな感じ…
(どちらもラノベを読み込ませてシーンを作ってプロンプト出してます)

GTPimage2.0

こんなに違ってしまうと、さすがに動画自体を作り直したくなってしまうのですよね。

ただ、どちらの場合も、とっても苦労したのが、コンビニのレジの位置。
nanobananaでもGTPimage2.0でも、同じような弱点がでました。

意外とレジをコンビニ内から見た画像生成は画像生成AIには高難易度か？

ぱっとみではも築きにくいかな？

nanobanan

レジの後ろ、理日の中に商品棚が並んでしまうのです。
レジのなかは、たばこや電子レンジで、商品棚は無し、といってもなかなかうまくいかず、納得できないので、壁だけとかにしてしまいたくなってしまいます。

GTPimage2.0でもやはり同じようなことがおきます

GTPに文句を言うと…「コンビニの画像背景ですが、レジの後ろに、客が立ちいれる商品コーナーがあるのは変に感じませんか？」

「思考時間: 5s

はい、少し変です。レジのすぐ後ろが客用の商品棚・飲料棚に見えるため、神城が客用通路側に立っているような配置になっています。
自然なコンビニ店内なら、レジの後ろは基本的にスタッフ専用です。次は、神城の背後：壁面のたばこ棚、伝票棚、バックヤード扉、スタッフ用備品
客用の商品棚：尊のいるレジ前・右側・奥側
レジ：入口の横にあり、尊が客用通路からカウンターへ近づく
という構図に直すのが自然です。今回の画像は雰囲気と二人の表情はよいですが、店内導線は修正したほうがいいです。」

chatGTP5.5

と返事がきます。めんどうなので、「修正したものを生成してくれますか」とだけ言ったら

GTPimage2.0

おっと、意外と一発でだしてきくれました。

おおNanobananaより苦労しないで生成していけるかなと思いましたが…

またレジの背景がおかしすぎる画像を出してきました(ヒロインはとっても私には魅力的に描いていると思っているのですが)

「神城の背景ですが、レジの中に売り場や冷蔵庫が見えるのは不自然ではないですか？」とまた文句を言ってみます。

思考時間: 6s

はい、不自然に見えます。ご指摘どおりです。
この構図は「客側の尊が、レジ越しに神城を見る」視点なので、神城の背後にあるべきなのは基本的にレジ内のスタッフ専用スペースです。
今の画像では、神城の背後に一般客が入る売り場や冷蔵ケースらしきものが見えており、レジの配置として少し混乱します。神城が売り場の途中に立っているようにも見えてしまいます。

修正版では、神城の背後を次のようにすると自然です。背後はレジ内の作業台・バックカウンター
コーヒーマシン、ホットスナック保温ケース、レジ袋や備品棚
タバコ棚風の小さな商品棚は可。ただし読める商品名や文字はなし
スタッフ通路、バックヤードへ続く扉
一般客用の飲料冷蔵庫、菓子棚、雑誌棚などは神城の真後ろに置かない
売り場を入れるなら、画面端にぼかして少しだけ見せる程度


つまり、神城の後ろは「店内」ではなく、きちんとレジの内側に修正した方が、アニメとしての空間も自然になります。


前の画像と今作った画像をあえて　添付して(この方が理解が早い気がするので)、生成しなおさせます。

しかし、こんなの生成してきました

どう見ても、１枚目の生成とは、レジの位置がおかしいです

一枚目の生成では、出入り口がレジの右手だったのに、背後になっています。

再び指摘すると…何を答えずに作ってきました。

おいおいおいおいおいおいおいおい、おなじやんか

ちょっと怒りを抑えつつ、やはり文章で指示してやりましたよ、はい

もう背景を位置関係なくアップにして作らせることにしたのです。

すると

はい、これならレジの位置と入り口の関係を気にせずにすみますね。
次はバックヤードで、着替えるのシーンの画像生成
(原文のラノベはこちらで確認してね)

これが気に食わないのは、まあGTPにしたら、楽べのシーンから切り出したプロンプトで作っているので、作ってくれたプロンプト通りに生成したといと言えば正しいのですが…
不満点だらけです。

そこで、徹底的に教育します

「この画像だと、神城のロッカーを勝手に開けているヤバいやつに見えるよ、それと、ここはバックヤードのはずなのに、右にバックヤードの入り口が見えるよ、まるで店内のレジの後ろにロッカーがあるようだ。以下のように訂正して、ロッカーに扉はなく、ハンガーラックが横に伸びているだけ、そこに、誰もが上着をかけて、制服のエプロンをつけるための、ハンガーとエプロンがかかっている、神城のかかっているのは、制服のブレザーだけ、スカートやブラウスは脱着しないので(エプロンの下に着ているだろ)ハンガーにかかっているはずがない。また尊は、自分のパーカーをハンガーにかけて、白いTシャツの上に、コンビニのエプロンをつけるために着替えるのだから、ハンガーにかかったエプロンを取り出す画像か、自分のパーカーを脱いで、ハンガーにかけようとしている画像が適切、右側のドアは不要、背中側にドアがあると考えるべき、またコンビニではこんな大きなロッカーを置ける余裕はないので、ロッカーさえもいらない、ただのハンガーラックが壁の前に横に長く連なっていて、そこにハンガーにかかった、エプロンや社員のスーツの上着、神城のブレザーが並んでいる状態が正しい、生成しなおしてね」

これは、自身が大昔コンビニでバイトしたときのイメージなので、店舗によって違うだろうけどね

と生成されたのはこれ

おお、ちょっと自分のイメージに近くなった、一発で出してきてのは凄い。
これは採用だ…とおもったのだが

よくみると、神城の制服のリボンがある、中にベストもあるかも…
レジにいた神城はリボンもつけたままだったのだから、これはだめだ。

ということで、以下の修正を試みた

「神城は、リボンもしたままレジにいたはずなので、ブレザーのみと言ったよね？ベストとリボンがかかってない⁈それと、制服のブレザーだけど、白い線がふちに入っているのなんて、高校の制服でほとんど見たことがないので、消してね。以上の点をやり直して修正」

おお、直った…しかしかなんかブレザーが味気ない
白いラインがあった方がよかったかな…でそうすると、今後すべてのシーンで、ラインを入れないといけなくなるので、面倒だなと思って消したのだけど…と思いつつも、

謝る必要はないんだけど、つい、自分のミスを謝ってしまう…まあ日本人あるあるあだけどね

うん青いラインが入った…
だがここで一つ気になってくるのが、何度も修正をしていると、だんだん画質が荒くなるのだ。
これはNanobananaもそうだけど、どうも修正を重ねていくとなるようだ。

修正の最初の画像を添付して、作り直させた

あまり変わらない気がする…

次に気になったのが動画を作るとき、この画像から動画にするのは、ちょっと厳しい、パーカーを脱ぐところからの画像で会った方がおそらくうまくいくだろうと考えた

と新たな画像を生成させた

うまくいったかに見えたが、またリボンが復活してしまった^^;

あと、次の画像である

につなげるには、ここにエプロンがかかっていないとまずいことに気づいたのだ。
そこで

と指示すると

リボンが消えたが、ブレザーの青いふちが薄くなった。どうもリボンの色と連動しているようだ。もう白いラインのままにすればよかったかな…
問題点は、エプロンが一つ消えて、パーカーがかかってしまった。
別にこのまま、誰かの絵腋臭と考えればいいのだが、どうかかがつながらない

ちょっと怒りモードになる

そしたらこんな画像に…

いったいどうなってるんだ

と更に怒りモードで指示
ようやくちゃんとなった…

次のシーンに進む

気に食わない点は、もちろんある。
パーカーは脱いでいるのだ

うん時計が2つになってしまったがまあいいかな

次のシーンにすすんだ

またでた、レジの位置に結局なやまされるのだ
1枚目と修正の３枚目を添付して修正せる


背景を、たばこだけにして作ってきた、
続いて同じ背景で別のシーンを作る


うん、背景がたばこで安定だ。ただ兵庫とか勝手に入れてきてるのと、バックヤードのドアの位置が気になるが、どうせそこまでミニいだろうと気にしないことにした。

なんか途中名札の名前が違っていることに気づく
これは珍しいが気になるので修正させた


次のシーン、距離を詰める

別の回想シーンの画像を作ったが
なんと、ちょっと驚いた

こんどは最初の画像の入り口の位置、バックヤードらしきドアの位置、そして、修正後の理事後がたばこという画像にしてきた。
１枚目のレジ後ろと違うのだが…
回想シーンなのでまあいいだろう

デザートがおいしそうに見えるのはGTPimage2.0だよね？

ここでもう一つ、NanobananaProでなくて、GTPimage2.0にしたくなる画像をみておいてもらいましょう。

デザートコーナーの画像を見てほしい

nanobanana

Nanobananも悪のないのだが…

nanobanana

同じアニメ調でもこの違いで作られると、おいしさが違い過ぎる

GTPimage2.0

拡大

GTPimage2.0

作った画像をComfyUI Wan2.2とLTX2.3でローカル動画生成

comfyUIが更新されてからwan2.2の動画生成にすごく時間がかかるようになってちょっと困り気味

プロンプト
「静まり返ったコンビニ店内では、青い「24Mart」のエプロンを身につけた店員の上白がレジの前に立っている。男性パートの同僚であるタケルが自動ドアから入ってくるなり、パートスタッフ間の慣例に従って「おはよう」と彼女に声をかける。レジにいる上白は、少し驚いた様子で顔を上げ、優しい笑顔で「おはよう」と返した。その青年はレジを通り過ぎ、画面に向かってまっすぐ近づいていき、やがて画面は彼のパーカーの胸元で完全に覆い尽くされた。」
1.LTX2.2 短時間で２０秒生成できるからいいんだけど顔が違うんだよなあ
2.LTX2.3 やはり顔が違うし、勝手に別の人物が出てきたりする…
3.Wan2.2が顔的に理想通りなんだけどなあ…
実際の動画はこちら↓

https://youtu.be/3_w-O1FsWAg


LTX2.3は数分で生成できるので、時には２０秒３０秒でも作れるので、リップシンク歌動画にはいいのですが、動きがあると、顔がぶれます。あと2.3になってから画像に無い人を勝手に登場せるるのがなんとも…。

と考えていたら、comfyUI公式テンプレートLTX2.3よりも、RuneXXのLTX-2.3 FMLF2V Guider版とかがいいようです。
https://huggingface.co/RuneXX/LTX-2.3-Workflows
次はこれを導入して使ってみようかと思います。

これは、キャラクターの顔が変わってしまわないように、3枚の画像を入れるもらしいです。

追伸-おいおいおいGTPimage2さんよ、ヘッダーの方がいいじゃんか

最後に作った記事のヘッダーだが、コンビニのレジのイメージ画像が、ぜんぜん今まで作ったのよりいいんで、どういうこっちゃとなったぞ！

みてこれ、このだよ、このコンビニレジのイメージがほしかったんだよ、なんでヘッダー画像作らせたらこうなるんだよ、😡





いいなと思ったら応援しよう！