メインコンテンツへスキップ

AI-ToolkitでZ-Image Turbo用の顔LoRA作成 結果発表!

    結果発表ーっ!
    (ダウンタウンの浜ちゃんの声で脳内再生してください。)

    AI-Toolkitを使用して作成した、Z-Image Turbo用の顔LoRAを、実際に適用してComfyUI環境のZ-Image Turbo生成した結果です。

    こちらの記事も合わせてご覧ください。


    元になった画像はこちらです。

    画像
    ※ChatGPTで生成した架空の人物です


    Z-Image Turboのbf16モデルを使用して、結果比較用の画像を生成しました。

    Z-Image Turboの使い方は、こちらを参考にしてください。


    Kサンプラーの設定は以下の通りです。
    シード: 0
    生成後の制御: fixed
    ステップ: 8
    cfg: 1.0
    サンプラー名: euler_ancestral
    スケジューラ: beta
    ノイズ除去: 1.0

    画像サイズは1280x1280です。

    LoRA学習用の画像30枚を生成するために使用したプロンプトを、今回は、Z-Image Turboで画像を生成するプロンプトに使用しました。

    /*  1. 正面、真顔、顔アップ、黒髪ショートヘア、白Tシャツ、シンプル背景        */ A high-quality photo capturing the face of the woman in a strict close-up framing (70-80% of the frame). She looks directly at the camera with a neutral, calm expression. She has short black hair, wearing a simple white t-shirt. Natural, soft light against a plain background.
    /*  2. わずかな右斜め、かすかな微笑み、顔アップ、金髪セミロング、カフェ       */ A close-up photo of the woman, turned slightly to the right, with a soft, slight smile. Her hair is now shoulder-length blonde, and she is wearing a simple grey knit sweater. The background is a softly blurred interior of a sunlit cafe.
    /*  3. 右向き、真顔、顔アップ、赤髪ロング、ポニーテール、公園                 */ A detailed face shot of the woman in profile, looking to the right with a neutral expression. She has long, dark red hair tied into a high ponytail. She wears a simple blue denim shirt. Blurred greenery in the background (outdoors).
    /*  4. 左向き、かすかな微笑み、顔アップ、ダークブラウンのボブカット、オフィス */ A close-up photograph capturing the woman from a slight left-side angle, showing a soft, gentle smile. Her hair is cut into a dark brown bob. She wears a light-striped blouse. The blurred background is a modern office environment.
    /*  5. 上向き、真顔、顔アップ、ピンク髪ロング、夜の街                         */ A low-angle shot looking up at the face of the woman. She looks up with a serious, neutral expression. She has long pink hair, wearing a black hoodie. The background shows blurred city lights at night.
    /*  6. 正面、真顔、バストアップ、黒髪ロング、お団子ヘア、リビング             */ A bust-up shot of the woman, looking directly at the camera with a calm, neutral expression. Her dark hair is styled into a bun. She wears a simple grey t-shirt. The background is a gently blurred cozy living room.
    /*  7. 正面、かすかな微笑み、バストアップ、シルバーヘア、図書室               */ A bust-up photograph capturing the woman in soft focus. She has a faint smile. Her hair is short and silver-grey. She wears a white blouse. The background is a library with blurred wooden bookshelves.
    /*  8. 右向き、真顔、バストアップ、茶髪ツインテール、スタジオ                 */ A bust-up photo of the woman from a three-quarter right-side angle. She has a neutral expression. Her hair is tied into medium-length brown pigtails. She wears a light grey sweatshirt in a simple studio setting.
    /*  9. 左向き、かすかな微笑み、バストアップ、ロングヘア、ウェーブ、庭         */ A bust-up photograph of the woman from a left-side profile angle. She has a subtle smile. Her long, dark brown hair has soft waves. She wears a simple light blue dress. The background is a lush, blurred garden in the afternoon.
    /* 10. 下向き、真顔、バストアップ、緑髪ショート、レザージャケット             */ A photograph from a slight high-angle, looking down at the bust-up of the woman. She has a neutral, focused expression. Her hair is short and forest green. She is wearing a black leather jacket against a concrete wall.
    /* 11. 正面、真顔、上半身、青髪ミディアム、白Tシャツ、キッチン                */ An upper-body shot (waist-up) of the woman, looking directly at the camera with a neutral expression. Her hair is medium-length, wavy blue. She wears a simple white t-shirt and a dark cardigan. The background is a softly blurred modern kitchen.
    /* 12. 左向き、かすかな微笑み、上半身、オレンジヘア、ベリーショート、ジム     */ An upper-body shot capturing the woman from a three-quarter left-side angle. She has a soft smile. Her hair is an orange pixie cut. She wears black athletic wear and a sports bra. The blurred background is a gym.
    /* 13. 正面、かすかな微笑み、ドアップ、パープルヘア、編み込み                 */ An extreme close-up shot focusing tightly on the face of the woman. She looks at the viewer with a gentle smile. Her dark hair is styled with complex purple braids. Natural light, simple background.
    /* 14. わずかな右斜め、真顔、ドアップ、アッシュグレーヘア、都会の風景         */ A tight face shot of the woman from a subtle right angle, maintaining a neutral expression. Her hair is short and ash grey. She wears a black t-shirt against a blurred, busy urban landscape in daylight.
    /* 15. 下向き、真顔、ドアップ、ライトブルーヘア、ロング、セーター             */ A detailed high-angle close-up looking down at the face of the woman. She looks forward with a serious, calm expression. Her hair is long, straight light blue. Soft natural light, blurred background.
    /* 16. 正面、かすかな微笑み、バストアップ、カーリーヘア、ブラウン、室内       */ A bust-up shot of the woman looking at the camera with a gentle smile. Her hair is short and curly, brown. She wears a warm-toned knit top in a cozy, sunlit room.
    /* 17. 右向き、かすかな微笑み、上半身、金髪、サイドポニー、田舎の景色         */ A waist-up shot of the woman from a three-quarter right-side angle, showing a subtle, happy smile. Her blonde hair is tied into a side ponytail. She wears a floral sundress. The background is a gently blurred rural landscape.
    /* 18. 見下ろす、正面、真顔、全身、黒髪ロング、ストリート                     */ A full-body photograph from a slight high-angle, looking down at the woman. She looks forward with a serious, neutral expression. Her hair is long, straight black. She wears a denim jacket and dark pants against a blurred street background.
    /* 19. 正面、歯が見える笑い、ドアップ、黒髪ロング、ストレート                 */ A tight face shot (70-80% of the frame) of the woman, looking directly at the camera with a wide, open-mouthed smile, showing teeth. Her long black hair is straight and styled simply. Soft, bright light against a plain background.
    /* 20. わずかな右斜め、歯が見える笑い、ドアップ、金髪ショート、ビーチ         */ A close-up shot capturing the woman from a slight right angle, smiling broadly with teeth visible. Her short blonde hair is messy from the breeze. She is on a sunlit beach with a blurred ocean background.
    /* 21. 右向き、歯が見える笑い、ドアップ、赤髪ボブ、フェス                     */ A detailed face shot of the woman from a three-quarter right profile angle, showing a joyful, wide smile with teeth. Her hair is dark red, cut in a bob. The background is a blurred outdoor music festival with crowd elements.
    /* 22. 正面、歯が見える笑い、バストアップ、茶髪ポニーテール、パーカー         */ A bust-up photograph of the woman looking at the camera with a genuine, beaming smile showing teeth. Her brown hair is in a ponytail. She wears a simple grey hoodie against a soft, simple background.
    /* 23. 正面、歯が見える笑い、バストアップ、シルバーヘア、カーリー、パーティー */ A bust-up shot of the woman smiling joyfully at the camera with teeth visible. Her hair is short, curly silver-grey. She wears a simple black dress in a festive, blurred indoor party setting with lights.
    /* 24. 左向き、歯が見える笑い、バストアップ、ピンク髪ロング、柔らかい光       */ A bust-up photograph of the woman from a three-quarter left-side angle, smiling broadly and happily with teeth shown. Her long pink hair is styled with soft waves. Natural, soft light, plain background.
    /* 25. 正面、歯が見える笑い、上半身、緑髪ショート、カジュアル室内             */ A waist-up shot of the woman looking at the camera with a joyful, wide smile showing teeth. Her hair is short and vibrant green. She wears a plaid shirt in a casual, softly blurred living room.
    /* 26. 見下ろす、正面、歯が見える笑い、全身、青髪ミディアム、公園             */ A full-body photograph from a slight high-angle looking down at the woman, smiling broadly and happily at the camera with teeth shown. Her hair is medium-length blue. She wears a simple white t-shirt and jeans in a grassy park.
    /* 27. 正面、大笑い、ドアップ、黒髪ロング、お団子、幸せな表情                 */ A tight face shot (70-80% of the frame) of the woman looking directly at the camera, laughing uncontrollably with her mouth wide open and eyes crinkled. Her hair is styled in a bun. White blouse, warm light.
    /* 28. 左向き、大笑い・目を閉じる、ドアップ、金髪セミロング、楽しい会話       */ A detailed close-up shot capturing the woman from a three-quarter left angle. She is laughing hysterically with her eyes completely closed and mouth wide open. Her shoulder-length blonde hair is loose. Blurred background of a happy social gathering.
    /* 29. 正面、大笑い、バストアップ、茶髪ツインテール、パーカー                 */ A bust-up photograph of the woman beaming at the camera while laughing heartily, mouth wide open. Her brown hair is in pigtails. She wears a light blue hoodie in a simple, brightly lit room.
    /* 30. 右向き、大笑い・目を閉じる、上半身、赤髪ロング、カジュアル屋外         */ A waist-up shot capturing the woman from a three-quarter right angle, laughing with intense joy, mouth wide open and eyes tightly shut. Her long red hair falls loose. Blurred casual outdoor setting in the afternoon.


    まずは、LoRA無しです。
    人種や年齢をプロンプトに書いていないためか、髪の色に合わせて、金髪は欧米人、シルバーの髪は年配の女性の画像が生成されました。
    z_00030_はプロンプトは右向きなのに、画像は左向きになってますね。
    時々、このようにプロンプトと違うことがあります。

    画像


    続いて、3000stepsのLoRA「zit_lora_test01_v1.safetensors」を、強度0.8で適用して生成した画像です。
    服の色など、LoRA無しの画像と変わっていたり、元の画像の顔にあまり似てないのもチラホラありますが、全体的には、なかなかいい感じに似てると思います。

    画像


    続いて、2750stepsのLoRA「zit_lora_test01_v1_000002750.safetensors」を、強度0.8で適用して生成した画像です。
    なぜか、z_00014_の顔の向きが変わっちゃいました。
    その他、z_00021_の服のデザインが、3000stepsのLoRAと違ってます。

    画像


    続いて、2500stepsのLoRA「zit_lora_test01_v1_000002500.safetensors」を、強度0.8で適用して生成した画像です。
    z_00014_の顔の向きは3000stepsのLoRAと同じになりました。
    z_00021_の服が、3000steps、2750steps、2500stepsのLoRAと全部違うデザインになってしまいました。
    z_00015_の服の色が、3000steps、2750stepsのLoRAと違う色になってしまいました。
    服のデザインがstepsによって変わる原因は、まだ探ってみる余地はありそうです。

    画像


    最後に、比較のため、再び元の画像を載せておきます。
    いまいち似てない画像もいくつかありますが、上出来ではないでしょうか。
    あとは、読者様のご判断におまかせします。

    画像
    ※ChatGPTで生成した架空の人物です

    以上、架空の俺の嫁!
    もとい、結果発表でした!


     
     
    本業はFPGA設計などのハードウェアエンジニアです。 趣味で生成AIやってます。

    あなたへのおすすめ