見出し画像

【JoyAI Image Edit Plus】画像編集AIをComfyUIで赤枠編集 全7パターンを試してみた

こんにちは、かみもとです!

前回・前々回に引き続き、画像編集モデルの JoyAI Image Edit Plus をローカルのComfyUIで動かして、色々な編集を試してみました!

今回は元画像に赤枠を追加して、画像を合成してみるテストです。

各項目は、次の順番で掲載しています。

  • 実際に使用したプロンプト

  • 元画像・参照画像・変換後画像を並べた比較画像

  • 変換後画像の拡大版

  • 画像についての考察

実行環境

  • OS: Windows11 Pro

  • CPU: Core i3 12100F

  • MEM: DDR4 48GB

  • GPU: RTX4070 12GB

赤枠による空間指示

画像へ赤い枠を描き、その場所を編集対象や配置先として指定するテストです。

JoyAI Image Editの公式モデルカードでも、物体移動には「赤枠へ移動し、最後に赤枠を消す」という形式が紹介されています。今回は人物移動、小物配置、物体削除、文字入力、複数画像の配置まで広げました。

1. 赤枠へ人物を移動する

プロンプト

Image 1 contains one red rectangular placement guide on the right. Move the existing woman completely into that red rectangle. Scale her down as needed so her complete body fits inside the rectangle and her feet meet the floor naturally. Preserve her exact identity, face, hairstyle, white blouse, black skirt, book, body proportions, anime style, lighting, and room. Remove her original instance and reconstruct the background where she originally stood, so exactly one woman remains. Remove the red guide from the final image.(画像1の右側には、1つの赤い長方形の配置ガイドが含まれています。既存の女性をその赤い長方形の中に完全に移動させます。彼女の全身が長方形の中に収まり、足が床に自然に接するように、必要に応じて縮小します。彼女の正確な身元、顔、髪型、白いブラウス、黒いスカート、本、体型比率、アニメスタイル、照明、部屋を保持してください。元いた場所から彼女を削除し、彼女が元々立っていた背景を再構築して、ちょうど1人の女性だけが残るようにします。最終画像から赤いガイドを削除してください。)

比較結果(元画像と変換後)

変換後画像

考察

ちゃんと指示通り、赤枠に人物を移動できていますね!ちょっと赤枠が狭かったのか、キャラクターが細長くなってしまいましたが。

人物がいなくなった空間の背景も自然に追記されていますし、移動後の人物にも一応影が追記されています。

引きの構図になっているのは、人物を移動した時に遠近法的にそのままだと違和感があったからでしょうね。もう少し赤枠を広げれば、自然な合成絵になったと思います。

2. 赤枠へ小物を配置する

プロンプト

Image 1 contains one small red rectangular placement guide on the lower-left floor. Place exactly one small royal-blue gift box with a gold ribbon entirely inside that red rectangle, resting naturally on the floor with the correct perspective and a contact shadow. Do not move or alter the woman, her identity, pose, clothes, book, or the room. Remove the red guide from the final image and add no other objects.(画像1の左下の床には、1つの小さな赤い長方形の配置ガイドが含まれています。金のリボンが巻かれた小さなロイヤルブルーのギフトボックス1つを、その赤い長方形の中に完全に配置し、適切な遠近感と接地の影を伴って床に自然に置きます。女性、彼女の身元、ポーズ、衣服、本、または部屋を移動したり変更したりしないでください。最終画像から赤いガイドを削除し、他の物体を追加しないでください。)

比較結果(元画像と変換後)

変換後画像

考察

なぜオフィスにクリスマスプレゼントなのかという疑問は置いておき、こちらも赤枠に配置という指示を正しく反映してくれています。優秀。

すごいのは、床の反射にプレゼントが映り込んでいるんですよね!単に切り貼りしただけではないのが分かります。

3. 赤枠内の物体を消す

プロンプト

The red rectangle in image 1 marks the folding fan to remove. Erase the entire folding fan, including its ribs, leaf, handle, and tassel. Reconstruct the circular window and background behind it cleanly. Preserve the woman's exact identity, face, hairstyle, outfit, pose, and hand; make the now-empty hand look anatomically natural. Remove the red guide from the final image. Change nothing else.(画像1の赤い長方形は、削除する扇子を示しています。骨、扇面、持ち手、タッセルを含め、扇子全体を消去します。その背後にある丸窓と背景をきれいに再構築します。女性の正確な身元、顔、髪型、服装、ポーズ、手を保持し、何も持っていない手を解剖学的に自然に見せます。最終画像から赤いガイドを削除してください。それ以外は何も変更しないでください。)

比較結果(元画像と変換後)

変換後画像

考察

これは残念ながら失敗。赤枠内の扇子を消せませんでした。消去タスクが苦手なのか、あるいは扇子という概念が分からないのか。。

4. 赤枠へ文字を書く

プロンプト

Write the exact uppercase Latin text "JOYAI-IMAGE-EDIT" centered inside the red rectangle in image 1. Use one line of bold, clean, black sans-serif lettering, with every hyphen and letter spelled exactly J-O-Y-A-I hyphen I-M-A-G-E hyphen E-D-I-T. Remove the red guide from the final image after placing the text. Preserve the woman, book, office room, composition, and anime style exactly; change nothing else and add no other text.(画像1の赤い長方形の中央に、正確に大文字のラテンテキスト「JOYAI-IMAGE-EDIT」を書きます。すべてのハイフンと文字が正確にJ-O-Y-A-I-ハイフン-I-M-A-G-E-ハイフン-E-D-I-Tと綴られた、太字できれいな黒のサンセリフ文字を1行で使用します。テキストを配置した後、最終画像から赤いガイドを削除します。女性、本、オフィスルーム、構図、アニメスタイルを正確に保持します。他には何も変更せず、他のテキストを追加しないでください。)

比較結果(元画像と変換後)

変換後画像

考察

文字入れもできます。日本語はどうせ無理だろうと思い英語で。デザインも指定した通りになっています。おしゃれな雑誌風もうまくできるかもしれません。

ただ、文字入れだけなら専用ソフトを使う方が楽な気もしますが。

5. 背景の赤枠へ人物を合成して立たせる

プロンプト

Use image 1 as the background and placement guide. Use image 2 only as the person identity and appearance reference. Insert exactly one full-body version of the woman from image 2 standing upright and naturally entirely inside the tall red rectangle in image 1, with both feet on the park path. Match the background perspective, scale, daylight, and contact shadow while preserving her face, hairstyle, white blouse, black skirt, and anime style. Do not copy the room or book from image 2. Remove the red guide from the final image.(画像1を背景および配置ガイドとして使用します。画像2は人物の身元および外見の参照のみとして使用します。画像1の背の高い赤い長方形の中に完全に収まるように、両足を公園の小道につけてまっすぐ自然に立っている画像2の女性の全身バージョンを1つだけ挿入します。彼女の顔、髪型、白いブラウス、黒いスカート、アニメスタイルを保持しながら、背景の遠近感、スケール、日光、接地の影を合わせます。画像2から部屋や本をコピーしないでください。最終画像から赤いガイドを削除してください。)

比較結果(元画像・参照画像・変換後)

変換後画像

考察

こちらも指示通り、赤枠に人物を立たせることができています。

残念な点は合成感があるのと、影が追記されていない点ですね。別のトライでは影も追記されていることがあったので、シード次第かも。

6. 横長赤枠へ人物を合成して寝転がせる

プロンプト

Use image 1 as the background and horizontal placement guide. Use image 2 only as the person identity and appearance reference. Insert exactly one full-body version of the woman from image 2 lying down naturally on her side entirely inside the wide red rectangle on the paved plaza, with her head toward the left and feet toward the right. Preserve her face, hairstyle, white blouse, black skirt, body proportions, and anime style. Match perspective, daylight, ground contact, and shadows. Do not copy the room or book from image 2. Remove the red guide from the final image.(画像1を背景および横方向の配置ガイドとして使用します。画像2は人物の身元および外見の参照のみとして使用します。舗装された広場にある広い赤い長方形の中に完全に収まるように、頭を左側に、足を右側に向けて、横向きに自然に寝そべっている画像2の女性の全身バージョンを1つだけ挿入します。彼女の顔、髪型、白いブラウス、黒いスカート、体型比率、アニメスタイルを保持してください。遠近感、日光、接地感、影を合わせます。画像2から部屋や本をコピーしないでください。最終画像から赤いガイドを削除してください。)

比較結果(元画像・参照画像・変換後)

変換後画像

考察

絶対無理だろうと思ってやった実験でしたが、ちゃんと寝かせてくれました。影も今度は追記してくれています。

ただ、遠近感がおかしく鎌倉の代物的な感じになっているのと、顔が崩れてしまっている点がマイナス。ヤムチャしやがって・・。

7. 2つの赤枠へ人物と小物を合成する

プロンプト

Use image 1 as the background with two placement guides, image 2 only as the person reference, and image 3 only as the bag reference. Place exactly one full-body version of the woman from image 2 standing naturally entirely inside the tall red rectangle on the right, with her feet on the promenade. Place exactly one chestnut-brown leather satchel from image 3 entirely inside the small red rectangle on the left, resting separately on the ground. Preserve the woman's identity, face, hairstyle, white blouse, black skirt, and anime style. Match the sunset lighting, perspective, scale, and contact shadows for both inserted subjects. Do not copy either source background. Remove both red guides from the final image.(2つの配置ガイドがある画像1を背景として、画像2を人物参照のみとして、画像3をバッグ参照のみとして使用します。右側の背の高い赤い長方形の中に完全に収まるように、両足を遊歩道につけて自然に立っている画像2の女性の全身バージョンを1つだけ配置します。左側の小さな赤い長方形の中に完全に収まるように、画像3のチェスナットブラウンのレザー製サッチェルバッグ1つを地面に独立して置きます。女性の身元、顔、髪型、白いブラウス、黒いスカート、アニメスタイルを保持してください。挿入された両方の被写体に対して、夕日の照明、遠近感、スケール、接地の影を合わせます。どちらの元画像の背景もコピーしないでください。最終画像から両方の赤いガイドを削除してください。)

比較結果(元画像・参照画像・変換後)

変換後画像

考察

元絵3枚に赤枠と追記して指示する難しいタスクですが、指示通り対応してくれました。合成感は否めませんが。カバンでっか。

赤枠で指示しない方が自然に合成はできそうですね。

赤枠なしで合成した例

まとめ

今回は、JoyAI Image Edit Plusを使って、赤枠指示での画像編集・合成をトライしました!

プロンプトだけでは細かい位置を指示しにくいですが、赤枠を使うことで明示することができる点がメリット。

一方で合成後の品質という面では赤枠指示なしで画像合成させた方が自然になることも分かりました。赤枠指示すると必ずその枠内に収めるという制約が強すぎて、違和感が出るのだと思います。

個人的には時と場合によって使い分けるのが良いかなーと思います。

  • 普段:赤枠なしで合成・編集

  • どうしても指示通りの位置に合成できない場合:赤枠指示を試す

個人的にはJoyAI Image Edit Plus、面白いモデルだと思います!できればもっと高速に生成できると嬉しいんですが・・。1回2〜5分は長い。今後に期待!


最後まで読んでいただき、ありがとうございました!

もし今回の検証が「参考になった」と感じていただけたら、スキを押していただけると今後の励みになります!

今後もローカル画像生成、音声生成、LLMなど、実際に動かして分かったことをまとめていきますので、フォローもぜひよろしくお願いします!

いいなと思ったら応援しよう!

かみもと|ローカルAI生成 若輩者ですが、サポートいただけると、もっとがんばって記事作成します!