メインコンテンツへスキップ
見出し画像

画像生成AIで自分の絵柄のイラストを出力する

    そうだ、LoRA学習してみよう!

    自分のイラストをLoRA学習すると、画像生成AIで自分の絵柄のイラストを生成できるようになるらしい。

    ということは、自分の性癖みたいなのを盛り込んだ手描きイラストをLoRA学習すれば、自分の癖が入ってるイラストを出し放題になるってことですよね。それって最高かも。

    でも、LoRA学習するためには、同じキャラクターの別構図で描かれたイラストを20枚とか用意して、AIに学習させる必要があるらしいです。なかなか同じキャラを20枚も描いてないです。

    仕方ないから自力で別アングルの絵を描こうかなと思ってたら、ちょうど最近ChatGPTさんがバージョンアップして、ChatGPTさんが別構図のイラストを作ってくれるようになりました!これ、私のためにバージョンアップしてくれたんですね!ありがとね!ChatGPTさん。AIなんか大っ嫌いとかいっぱい言っちゃってごめんね。

    私のLoRA学習のイメージ

    ①自分のイラストを食わせてLoRA学習させる

    画像
    LoRA学習するよ!

    ②自分の萌えイラストを連続発射できるマシンガンになる

    画像
    画像生成AI = マシンガン?

    上記の認識ですが、認識合っておりますでしょうか?
    早く、萌える焼夷弾をSNSのタイムライン上に撃ち込みまくりたいですね!


    LoRA学習の手順

    以下の記事を参考にして進めました。わかりやすくてまとまっていて大変助かります!ありがとうございます!


    LoRA学習の元となる絵を用意した

    画像

    今回は絵柄LoRAではなく、キャラクターLoRAにしたいです。そのため、同じキャラだけ描いた絵を元にします。
    自分で描いた絵2枚を元に、左右反転したり回転したり顔だけ切り抜いたりして、水増ししました。また、ChatGPTさんにお願いして別アングルの絵を生成してもらって、それを修正した絵も追加しました。全部で15枚です。足りているか微妙ですが、とりあえずこれで試してみましょう。

    エラーが発生…

    kohya_ssでLoRA学習を開始したタイミングで、以下のエラーが発生して止まってしまいました。

    PermissionError: [Errno 13] Permission denied: '/config_lora-20250407-090601.toml'

    Permission deniedなので、そのファイルにアクセスする権限が無くてエラーになったんだと思います。でも、なぜこんなことになるのでしょうか。パスが「/」だけなので、ルートディレクトリにファイルを書き込もうとしてエラーになっているっぽい。

    単に出力先のディレクトリを指定してなかっただけでした…

    画像

    上の、「Output directory for trained model」を指定してあげたら、エラーは解消しました。

    画像

    コンソール出力を見て見ると、Output directoryに指定したパスからの相対パスで、ファイルを出力しているようです。Output directoryを指定しないとルートディレクトリに書き込もうとして権限エラーが発生していたわけですね。

    ベースとなるモデル

    学習のベースとなるモデルには、「zukiCuteILL」というモデルを使用しました。私の絵って、割と目がデカくてプリキュアとか低学年向け少女漫画とか漫画タイムきららとかに近い絵柄だと思ってます。最近の流行りではない絵柄なので、一般的なAIのモデルはそんな感じの絵は出しにくいと思います。そういう絵が出せるモデルを探してベースにした方がいいんでしょうけど、なかなか良いのが見当たりませんでした。ですが、見つけた中では割とかわいい感じのそっち系に近い絵を出せるモデルを使いました。

    LoRA学習中…

    画像
    LoRA学習中…なげぇ

    すっごい時間がかかりますね…いつになったら終わるんだろう?1575ステップ中、24ステップまで今は進んでいるみたいです。
    既に15分ぐらいは待っている気がしますので、このままのペースで進むとすると16時間ぐらいかかるのかな?そんなにかかるものなのだろうか…
    さすがに時間がかかりすぎなので、学習を中止してパラメータ設定を見直します。

    パラメータを見直す

    ネット上のいろんなサイトのいろんな情報を元に、パラメータを設定したのですが、パラメータの数が猛烈に多いので、何が何だか正直よくわかりません。数えてないですがパラメータを入れる項目は余裕で100個ぐらいはありそう。
    ここはいったん、パラメータのプリセットの値をそのまま使用してみます。「SDXL - LoRA adafactor v1.0」のプリセットを選択すると、各パラメータが自動で入ります。まあ、プリセットなんだからそれなりに妥当な値になってるんじゃないか、という期待です。

    画像
    プリセットの値を使ってみる

    再度、LoRA学習を実行してみる…

    画像
    今度は進みが良さそう

    今度は、5分で10%程度進んでいるようですので、50分ぐらいで終わりそうです。これなら多分、普通ぐらいの時間なんじゃないかなぁ…
    プリセットのパラメータ値だと、とりあえずは良さそうな感じです。

    なんでそこまでしてLoRA学習したいか

    AIイラストにはない個性を入れたいからです。

    AIイラストが世に氾濫してますので、多分みなさんAIイラストは見慣れちゃってるんですよね。AIイラストの出始めは目新しい感じだったんですが、今は目新しさはないかな。

    AIイラストの絵のキャラクターの顔は、かなりバランスが取れていると思います。顔パーツのバランスを取るのは、美しい顔にする上で大事なポイントです。なので、AIイラストの顔は美しい。

    平均顔が美人になるのと同じ理屈で、大量のイラストを学習して生成されたAIイラストの顔は平均的にバランスが取れた美人です。人間は、平均的で整っている顔を美しいと思うようです。それは、本能的な性質のようです。一説には、優秀な子孫を残すために、遺伝的に健康かどうかをバランスが取れた顔で見分けている。なのでバランスの取れた顔を好むらしいです。

    しかし、AIイラストの顔は美人すぎて、何も引っかかりが無いとも思います。

    手描きイラストの顔には個性がある

    普通の手描きイラストだとパッと見ただけで、ああ、この絵は〇〇さんが描いた絵だな~!ってわかったりするものです。特に顔に特徴が出ます。工夫がないポン出しAIイラストだとそのようなことがない。何もクセが無いので、みんな同じ顔に見える。雑味ゼロ。超純水を飲まされている感じ。飲んだことないけど。不純物(ミネラル)が入ってるからこそ水はおいしいんじゃないかなぁ。

    なので、AIイラストにあえて私のクセを入れていくことで、ちょっとした引っかかりを作りたいわけです。私という不純物を足すのです。

    そんなどうでもいいことを書いているうちに学習が終わりました…

    待っている間、暇だったんですよ…

    画像
    Training has ended.だそうです


    さっそく、できあがったsafetensorsファイルを使ってみよう!

    画像
    これがLoRA学習した結果らしい


    LoRAを使ってイラスト生成してみた…

    画像
    AI生成した絵です

    んー、普通のAIイラストって感じですよねぇ。絵柄は私の絵にあまり寄っていない。これだったらLoRAとか使わずに、単にプロンプトのみで出せるんじゃない?まあ、可愛いしキャラの特徴は出てますが。

    画像
    私が描いた絵です

    私が描いた絵です。比べると結構違うかな。やっぱり、AI絵の方が上手いんですけど、印象的なのは自分の絵のような気がする!
    (AIは、太ももの感じとか上手いよなぁ…)

    もう一回学習してみようか…

    学習回数が足りてないのだろうか。さっきは630ステップしか学習していない。もっと多くしてみよう!
    エポック数を30から一気に110まで増やしてみました。これだと、合計のステップ数が2970になるはずです。ネットで見ると、3000ステップぐらいが目安っぽいので。

    画像
    また待つのかぁ、長いなあ

    あー、待つのがだるぃなあ。あー、DALL-Eなぁ。もっとつよつよなグラボ欲しいなぁ。どっかにGeForce RTX5090落っこちてないかなぁ。

    2970ステップ学習した結果…

    画像

    なんか、思ってたんと違う結果になりました!これが過学習というやつでしょうか?少ない元絵で、学習させすぎなのかもしれませんね。


    ちょうどいい塩梅に学習する…

    なので、真ん中の1500ステップぐらいだとちょうどいいのかも!
    もう一回学習をやり直すか…と思ったんですが、そういえば途中経過を保存するような設定をしていたのを思い出しました。以下のように、エポック数が5進むごとにファイルを保存してあったようです。再学習する必要はなく、途中経過のファイルを読み込めばいいだけっぽい。

    画像
    これを使えばいいだけか

    1620ステップ学習した場合

    画像
    1620ステップ

    2430ステップ学習した場合

    画像
    2430ステップ

    2700ステップ学習した場合

    画像
    2700ステップ

    うーん

    髪型とかの再現性が、1620ステップ以降で良くなっています。私が描いたのと同じような描き方の髪になってます。でも、肝心の目があんまり似てこないんだよなぁ…お目目が小さめになります。これは何故なんでしょうね。
    そして、どれもいかにもAIっぽいイラストなんですよね。LoRA学習ってこんなものなんでしょうか?

    もうちょっと頑張りたい…

    どうしても顔をもうちょっと似せたい。
    そういえば、トリガーのキーワードに設定した「miimi」ってどこにも使ってなかった…。この子、猫野みぃみちゃんっていう名前なんです。LoRAを指定するプロンプトだけ指定して満足してました…
    要するに使い方を間違えてたわけです。
    学習時に設定したタグの「miimi」をプロンプトに指定すると、以下のようになりました!

    画像
    おおお

    これは、私の絵柄です!やっば!ちゃんと再現できてる!
    なんと、使い方間違えてただけでした。
    これだと、他のAIイラストに混じっても、結構印象に残る気がします!


    別のモデルをベースにLoRA学習してみた!

    Anima_pencil-XL-v5.0.0

    画像
    画像

    まつ毛がバッチバチになるのが特徴っぽい。繊細な塗り。

    CottonNoob

    画像


    WhiteFreesia v12

    画像
    画像

    ちんちくりんでかわいい。キャラクターLoRAだったので、同じキャラのまま服装を別にできる。


    Shiitake-Mix

    画像
    画像

    光の表現がきれいだね。


    どれがいいかなんて選べないよ…

    AnimaPencilの肉感的なのに繊細な塗り、zukiCuteの可愛さ、Shiitake-Mixの光の表現、どれも捨てがたい。

    じゃあ、混ぜればいいのか?

    Stable Diffusionには複数のモデルを混ぜ合わせて、マージモデルを作る機能があります。なら、お気に入りのモデルを混ぜちゃえばいいんじゃない?!
    以下、マージしたモデルでLoRA学習して生成したイラストです。いいかんじかもしれない。(たぶん、AnimaPencil45%、ZukiCute22%、Shiitake-Mix33%で混ざっていると思います)

    画像
    画像

    ブレンド割合を変えたモデル

    画像
    画像



    いろんなモデルをベースにLoRA学習してみましたが…

    どれ使っても、ちゃんと絵柄が反映されました。好みで選んでよさそう。
    でも、私の作ったLoRAを適用すると、主線が太くて黒々した感じになりますね…
    黒くて太い主線だと、ちょっと昔っぽくなりますね。元絵は色トレスしてないわけじゃないんですが、もっとしっかり色トレスした方がよさそう。後、LoRA適用すると細かいところが崩れがちになりました。多分、元絵のクオリティの問題でしょう。元絵をきれいに描き直すか修正するかした方がよさそう。


    課題はありますが…

    思ったより良い結果が得られました!
    いままでAIで生成すると、なんとなく私の絵じゃない感がしていたのです。それが払しょくできて、スッキリしました!
    これからはAI生成しても私の絵です!

    あなたへのおすすめ