メインコンテンツへスキップ
見出し画像

無料プロトタイル240枚をAIで自作ゲーム色に一括変換(ControlNetで形を壊さない)【実録#28・img2img】

    個人開発でゲームを作っていると、必ず一度はぶつかる壁があります。

    「無料アセットは最高に便利。でも、自分のゲームに置くと浮く」問題です。

    私はいま、アイソメ(斜め見下ろし)の索敵ゲームを個人開発しています。地形タイルに使ったのは、定番の無料素材 Kenney の isometric-miniature-prototype。プロトタイプ用の、のっぺりした単色オレンジのタイル群です。形は完璧。でも色が、世界観と合わない。

    私が作りたいのは、寒色の鉄とコンクリでできた諜報施設みたいな空気です。そこに明るいオレンジのプラモタイルが240枚並ぶと、どう頑張っても「テスト中の画面」にしか見えません。

    📌 この記事は、こういう人に向けて書いています。

    • 無料アセットを使っているが、世界観が浮いて困っている人

    • img2img(画像から画像生成)を試したが「変わらない/崩れる」で挫折した人

    • ComfyUI で一括バッチ処理をしたい人

    • 「アセットを買い直す」以外の選択肢が欲しい人

    結論から言うと、買い直さずに解決できました。AIのimg2imgで、240枚のオレンジタイルを、寒色の鉄・コンクリ材質へ一括変換したのです。しかも形は1pxも崩さずに。

    その鍵が ControlNet Canny で輪郭をロックする という、たった一手の発想転換でした。

    240枚を40分で「別の世界の素材」に変えた

    章扉カード01

    まず結果からお見せします。

    ビフォーは、単色オレンジののっぺりしたプロトタイル。アフターは、同じ形のまま、表面が寒色の鉄板とコンクリに変わったタイル。スイッチや目標は後からゴールドの差し色で光らせています。

    数字で言うと、こうです。

    • 対象: 60種 × 4回転 = 240枚

    • 処理時間: 1枚およそ10秒、全部で 約40分

    • 追加コスト: 0円(ローカルのComfyUIで完結。素材も無料)

    放置して40分。戻ってきたら、自分のゲームの世界観に染まったタイルが240枚そろっていました。

    「アセットを買い直す」でも「手で描き直す」でもなく、AIに材質だけ塗り替えさせる。これが今回の結論です。

    あなたも、便利だけど浮いてしまう無料アセットを、抱えていませんか?

    なぜ普通のimg2imgは失敗するのか

    章扉カード02

    最初から成功したわけではありません。むしろ最初は、典型的な失敗を全部踏みました。

    img2imgには、誰もがハマる二択のジレンマがあります。

    📌 denoise(変化の強さ)を下げると、何も変わらない。上げると、形が崩れる。

    私が最初にやったのは、無難に denoise 0.6 で回す方法でした。崩れるのが怖くて、変化を弱めに設定したのです。

    結果、ほぼ何も変わりませんでした。

    元のオレンジが latent(潜在空間)から抜けきらず、材質も色も元のまま。プロンプトで「寒色のスチール」と指定しても、薄くフィルタがかかった程度。これでは世界観は染まりません。

    では denoise を上げればいいのか。タイルでそれをやると、もっと深刻な問題が起きます。

    タイルは外形(シルエット)が1pxでも動くと、等角(アイソメ)でタイル同士が接合できなくなる のです。

    アイソメのタイルは、隣のタイルと菱形の辺でピッタリ噛み合うことで地面に見えます。AIが「ちょっといい感じに」輪郭を描き変えただけで、隣と1pxずれて隙間が空く。地面に線が走る。これはゲームとして致命的です。

    つまりタイルのimg2imgは、

    • 色を変えたい → denoise を上げたい

    • 形は1pxも動かせない → denoise を上げたくない

    という、真っ向から矛盾する要求を同時に満たさないといけない。ここで多くの人が諦めます。私も一度、諦めかけました。

    答えは「色と形を別々の担当に分ける」

    章扉カード03

    ここで発想を変えました。

    色(材質)と形(輪郭)を、同じ1つのノブで調整しようとするから矛盾する。ならば、別々の担当に分ければいい。

    • 形(輪郭)の担当 → ControlNet Canny

    • 色(材質)の担当 → denoise

    ControlNet Canny は、元画像のエッジ(輪郭線)を抽出して、生成中ずっと「この線からはみ出すな」と拘束し続ける仕組みです。これで輪郭が物理的にロックされます。

    輪郭がロックされていれば、形が崩れる心配はもうありません。だから denoise を思いっきり上げられる。

    そこで denoise を 0.6 から 0.85 まで引き上げました。すると、外形は1pxも動かないまま、表面の材質だけが完全に作り直されたのです。

    📌 ControlNetで形を固定 → だからdenoiseを上げても安全 → だから色を根こそぎ変えられる。

    これが今回いちばん伝えたい、img2imgの正しい分担です。「denoiseが低いと変わらない/高いと崩れる」のジレンマは、そもそも1つのノブで両方をやろうとしているから起きる。担当を分けた瞬間に消えます。

    img2imgで「うまくいかない」と感じている人は、変化の強さをいじる前に、形を別の手段で固定できないか考えてみてください。

    それでも残った3つの落とし穴

    章扉カード04

    ControlNet で大枠は解決しましたが、タイル特有の落とし穴がまだ残っていました。ここは正直、けっこう溶かしました。

    ひとつ目は 色被り。輪郭を固定して denoise を上げても、元のオレンジの色相が薄く残ることがありました。

    ふたつ目は 透過の消失。img2imgはVAEという仕組みを通る過程で、PNGのアルファ(透明部分)が消えてしまいます。タイルは透過が命なので、四角い背景がついたら使えません。

    みっつ目は 解像度。元タイルは小さく、そのままだとSDXLという生成モデルがうまく効きませんでした。小さい画像には、AIが「描き込む余地」がないのです。

    この3つを、それぞれ地道な前処理・後処理で潰しました。具体的な数値とコードは後半にまとめますが、考え方はこうです。

    • 色被り → 元画像を 脱色してから AIに渡す(明暗は残し、彩度だけ落とす)

    • 透過消失 → 中灰背景で処理し、出力を 元タイルのアルファで再マスク して透過に戻す

    • 解像度 → 処理時だけ 拡大 し、最後に縮小して戻す

    どれも「AIに渡す前」と「AIから受け取った後」の工夫です。生成そのものより、その前後のパイプラインで勝負が決まる、というのが今回いちばんの学びでした。

    ゴールドの差し色は「焼き込まない」と決めた

    章扉カード05

    もうひとつ、地味だけど効いた設計判断があります。

    スイッチや目標物といった「光らせたいオブジェクト」のゴールドの差し色を、AIで焼き込まなかった ことです。

    最初は「全部AIで仕上げたい」と思っていました。でも、一括バッチ処理の安定性を考えると、これは悪手でした。

    タイルごとに「ここは光らせて」と指定し分けると、プロンプトが複雑になり、240枚を同じ品質で通すのが難しくなります。1枚ずつ調整していたら、自動化の意味がありません。

    そこで割り切りました。

    📌 AI生成では全タイルを無彩色(寒色一色)に統一する。光る要素はゲームエンジン側で後から付ける。

    具体的には、ネガティブプロンプトで「オレンジ/イエロー」を弾いて、AIには徹底して無彩色のタイルだけ作らせる。そしてゴールドの発光は、ゲームエンジン側の色変調(modulate)と発光(glow)で表現する。

    こうすると、バッチ処理は単純化して安定し、しかも光り方はエンジン側でいつでも自由に調整できる。「AIにやらせること」と「エンジンにやらせること」の線引きが、運用の楽さを決めました。

    将来手のかからない方を選ぶ。これが私の基本方針です。

    この記事で手に入るもの

    章扉カード06

    ここまでが「なぜ動くのか」の話です。考え方は全部お見せしました。

    ControlNet Cannyで形をロックし、denoiseを上げて材質を作り直す。色被りは脱色で、透過はアルファ再マスクで、解像度は拡大で解決する。この設計を理解すれば、あとはAIに手伝ってもらいながら自分で組めるはずです。

    ただ、ゼロから組むと、私と同じように沼にハマります。

    • denoiseを何回も振り直して、どこが正解か分からなくなる

    • ControlNetのモデルの組み合わせで詰まる

    • 透過の再マスクで、合成の順番を間違えて背景が残る

    • バッチを回すたびにComfyUIの入出力フォルダがゴミだらけになる

    私はここに半日以上を溶かしました。後半では、その試行錯誤を全部スキップできるよう、推奨パラメータの実数値と、そのまま動くバッチスクリプト一式を置いておきます。

    有料部分の目次は、隠さず全部お見せします。

    • 🎯 推奨パラメータ全表(モデル・CFG・steps・サンプラー・denoise・脱色率の実数値)

    • 🎯 ハマりどころ全リスト(色被り・透過消失・解像度の具体的な対処)

    • 🎯 透過再マスクの正しい合成順(ここを間違えると背景が残る)

    • 🎯 ComfyUI APIで240枚を回すバッチスクリプト(Canny・脱色init・アルファ再マスク・入出力の重複掃除込み)

    • 🎯 自分の世界観に合わせるカスタマイズ3点

    自分でゼロから試行錯誤すると、丸一日は溶かします。この記事は、それを ¥500 で省略するものです。私が半日溶かしたパラメータ探索、透過再マスクの順番、SDXLが効かない解像度の罠、バッチ運用のゴミ掃除まで、全部置いておきます(コード一式も付属)。

    ◀ 前回: AIに「停止条件ファイル」を1枚渡したら、ゲームを39周“自走改善”した話【実録#27・ループ設計】

    📚 シリーズ全話はまとめマガジンへ

    https://note.com/lazy_engineer/m/m03a726b1673c

    💡 ここから先は有料です(¥500)
    無料アセットを「買い直さず」自分の世界観に染める、再現可能な手順とコード一式。img2imgで何度も振り直す前に、正解の数値を先に手に入れてください。

     
     
    ITエンジニア9年目 / AI自動化 / note副業実録 AIを使えば、もっと楽できると気づいた。 noteで月10万円を目指す過程を、売上スクショ付きで全部公開します。 うまくいかない月も、ちゃんと出します。 「重い副業はしたくない」エンジニア・IT系の人に届けたい。

    あなたへのおすすめ