メインコンテンツへスキップ

AI-ToolkitでZ-Image Turbo用の顔LoRA作成 その2 LoRA学習実行編

    AI-Toolkitを使用して、Z-Image Turbo用の顔LoRAを作成する手順を説明します。

    まだAI-Toolkitをインストールしてない方、LoRA学習用の画像を用意できていない方は、こちらの記事も参考にしてください。



    はじめに・注意事項

    本記事は、AI画像生成における顔LoRA作成の技術的な解説を目的としています。

    実在する人物の顔写真を使用する場合は、必ず本人の許可を得た画像のみを使用してください。

    また、第三者へのなりすまし、誹謗中傷、ディープフェイク、権利侵害、公序良俗に反する用途など、他者に迷惑や被害を与える目的での利用は絶対に行わないでください。

    使用するモデル・サービスの利用規約や、各国の法律を確認したうえで、自己責任でご利用ください。

    学習元画像の著作権にもご注意ください。
    芸能人写真・有料写真集・転載画像など、著作権や利用権に問題のある画像の使用にもご注意ください。



    AI-Toolkitをスタートする前に、学習用の画像と、キャプションを記載したテキストファイルを、所定のフォルダに入れます。
    AI-Toolkitの「Datasets」というメニューからでもできますが、私がやってみた感じでは、エクスプローラーの方がやりやすかったので、「Datasets」メニューの説明は省略します。

    AI-Toolkitをインストールした環境の「AI-Toolkit」フォルダの下に「datasets」フォルダを新規作成します。
    ※すでにフォルダがある場合は作成不要です。

    「datasets」フォルダの下に、学習用の画像と、キャプションを記載したテキストファイルを入れるフォルダを、新規作成します。
     例) 「zit_lora_test01」
    自分で管理しやすいフォルダ名にしておくと良いと思います。

    「zit_lora_test01」フォルダに、学習用の画像30枚と、キャプションを記載したテキストファイル30個、合計60個のファイルを入れます。
    画像ファイル名とテキストファイルは、1対1で、拡張子を除いたファイル名(basename)が、同じになるようにしてください。

    画像


    datasetsの準備ができたら、AI-Toolkitをインストールした環境の「Start-AI-Toolkit.bat」をダブルクリックして実行します。

    画像


    AI-ToolkitのDashboardから、「+ New Job」をクリックします。

    画像


    以下、設定する項目を説明します。

    画像

    ①Job

    Training Name
    LoRAのファイル名になるので、管理しやすい名前にします。
    学習に使用するDatasetが一目で分かる名前にすると、管理しやすいと思います。
     例)「zit_lora_test01_v1」

    Trigger Word
    画像を生成する際に、プロンプトに入れてLoRAを効かせるためのワードです。
    トリガーワードが無くてもLoRAは効くのですが、とりあえず設定します。
    一般的な名詞でない、他と被らないワードを設定します。
     例)「chatgpt_girl」

    ②Model

    Model Architecture
    「Z-Image Turbo (w/ Training Adapter)」を選択します。

    Name or Path
    モデルを、HDDなどのストレージにダウンロード済みの場合は、フォルダ名をフルパスで設定します。
    ダブルクォーテーションはつけないでください。
     例)「E:\AI-Toolkit\models\Z-Image-Turbo」
    ダウンロードをツールにおまかせする場合は、デフォルト設定の「Tongyi-MAI/Z-Image-Turbo」でOKです。

    Training Adapter Path
    トレーニングアダプターを、HDDなどのストレージにダウンロード済みの場合は、ファイル名をフルパスで設定します。
    ダブルクォーテーションはつけないでください。
     例)「E:\AI-Toolkit\models\zimage_turbo_training_adapter\zimage_turbo_training_adapter_v2.safetensors」
     ※v1とv2がありますので、v2を設定してください。
    ダウンロードをツールにおまかせする場合は、デフォルト設定の「ostris/zimage_turbo_training_adapter/zimage_turbo_training_adapter_v2.safetensors」でOKです。


    画像

    ③Quantization

    Transformer
    「- NONE -」に設定します。
    ChatGPTに尋ねたところ、「float8 (default)」にすると、生成される画像の品質が下がるらしいです。
    OOM(Out of Memory)で落ちる場合は、「float8 (default)」に戻してみてください。

    Text Encoder
    グラフィックボードのVRAMが12GB~16GBの場合は、「float8 (default)」のままで良いです。
    ChatGPTに尋ねたところ、VRAMが24GBなど、余裕がある場合は「- NONE -」に設定すると、プロンプトの理解力が上がるらしいです。

    ④Target

    Linear Rank
    「16」に設定します。

    ⑤Save

    Max Step Saves to Keep
    250ステップごとにLoRAを保存するので、そのうち、最後から何個残すかを設定します。
    デフォルトの「4」で3000ステップ実行した場合、3000、2750、2500、2250、2000ステップのLoRAが保存されます。
    「6」で3000ステップ実行した場合、3000、2750、2500、2250、2000、1750、1500ステップのLoRAが保存されます。


    画像

    ⑥Training

    Steps
    画像の枚数x100に設定します。
    今回は、デフォルトの「3000」でOKです。

    Text Encoder Optimizations
    「Cache Text Embeddings」をONにします。


    画像

    ⑦Advanced

    「Do Differential Guidance」をONにします。


    画像

    ⑧Datasets

    Dataset 1
    Target Dataset

    プルダウンメニューから、学習用の画像30枚とキャプションファイル30個を入れた、フォルダ名を選択します。
     例)「zit_lora_test01」

    Resolutions
    「512」のみON、その他はOFFにします。


    画像

    ⑨Sample
    学習スタート前と250ステップことに自動で生成される、サンプル画像のサイズを設定します。
    Width「512」
    Height「512」

    以上の設定が終わったら、右上の緑色のボタン「Create Job」をクリックします。


    Dashboardに戻ったら、左メニューの「Queue」をクリックすると、以下の画面になります。
    「zit_lora_test01_v1」の三角のボタンをクリックします。

    画像

    QueueにJobが追加されますので、緑色の「START」ボタンをクリックします。

    画像

    実行中は、このような画面になります。
    目玉マークをクリックすると、Dashboardに戻り、実行中のログを見ることができます。

    画像
    画像

    私のPC環境(Windows 11 Pro、Ryzen 5 7500F、RTX 5060 Ti 16GB、メインメモリ64GB)の場合、トレーニングが 約1.70s/it 以下で進んでいれば順調です。

    PC環境によってトレーニングのスピードは変わりますが、極端に遅い場合は、ComfyUIなど、VRAMを占有するアプリが起動したままになっていないか、画像サイズ設定が512x512以外もONになっていないかなど、確認してみてください。


    ※補足
    中断してやり直すと、AI-Toolkitのターミナルが消えて、再実行できなくなる場合があります。
    その場合は、まず、Ctrl+Shift+Escを押してタスクマネージャーを開きます。
    検索窓に「node」と入力して、「Node.js JavaScript Runtime」を絞り込み、右クリックして「タスクの終了(E)」を選択します。
    「Node.js JavaScript Runtime」が2つある場合は、2つとも終了します。
    その後、AI-Toolkitを起動すれば、再実行できるようになります。

    画像

    やり直す場合、途中まで出力されたファイルは、フォルダごと削除してOKです。
    この記事の設定の場合、「AI-Toolkit\output」の下にある「zit_lora_test01_v1」フォルダを削除します。
    出力されたファイルをフォルダごと削除しても、AI-ToolkitのJob設定は残っています。


    STARTから、約1時間半で完了しました。

    画像

    左メニューの「Queue」をクリックすると、STATUSがcompletedになっています。

    画像


    「AI-Toolkit\output\zit_lora_test01_v1」フォルダに、LoRAが出来上がっています。
    3000 stepsトレーニング完了したものが「zit_lora_test01_v1.safetensors」です。

    画像


    「AI-Toolkit\output\zit_lora_test01_v1\samples」フォルダに、トレーニング前(LoRA無し)のサンプル画像と、各250 stepsごとのLoRAを適用して生成されたサンプル画像があります。
     トレーニング前10枚 + 250 stepsごと(3000 / 250 = 12) x 10枚 = 130枚

    トレーニング前(LoRA無し) ~ 250 steps ~

    画像

    (中略) ~ 2750 steps ~ 3000 steps

    画像

    3000 steps完了後のLoRAを適用したサンプル画像は、チェスをしている女性の画像が、LoRA無しのサンプル画像から変わりすぎている(右手が上がってない、服の色が違う)ので、2750 steps、または、2500 stepsあたりのLoRAを使った方が良いかもしれません。

    出来上がったLoRAを、Z-Image Turboに適用して画像生成した結果は、また別の記事でご紹介します。


    2026/6/1 追記
    こちらの記事に、LoRA無しと、LoRA有り(3000 steps、2750 steps、2500 steps)の、Z-Image Turboで画像生成した結果をまとめました。


     
     
    本業はFPGA設計などのハードウェアエンジニアです。 趣味で生成AIやってます。

    あなたへのおすすめ