
無料プロトタイル240枚をAIで自作ゲーム色に一括変換(ControlNetで形を壊さない)【実録#28・img2img】
個人開発でゲームを作っていると、必ず一度はぶつかる壁があります。
「無料アセットは最高に便利。でも、自分のゲームに置くと浮く」問題です。
私はいま、アイソメ(斜め見下ろし)の索敵ゲームを個人開発しています。地形タイルに使ったのは、定番の無料素材 Kenney の isometric-miniature-prototype。プロトタイプ用の、のっぺりした単色オレンジのタイル群です。形は完璧。でも色が、世界観と合わない。
私が作りたいのは、寒色の鉄とコンクリでできた諜報施設みたいな空気です。そこに明るいオレンジのプラモタイルが240枚並ぶと、どう頑張っても「テスト中の画面」にしか見えません。
📌 この記事は、こういう人に向けて書いています。
無料アセットを使っているが、世界観が浮いて困っている人
img2img(画像から画像生成)を試したが「変わらない/崩れる」で挫折した人
ComfyUI で一括バッチ処理をしたい人
「アセットを買い直す」以外の選択肢が欲しい人
結論から言うと、買い直さずに解決できました。AIのimg2imgで、240枚のオレンジタイルを、寒色の鉄・コンクリ材質へ一括変換したのです。しかも形は1pxも崩さずに。
その鍵が ControlNet Canny で輪郭をロックする という、たった一手の発想転換でした。
240枚を40分で「別の世界の素材」に変えた

まず結果からお見せします。
ビフォーは、単色オレンジののっぺりしたプロトタイル。アフターは、同じ形のまま、表面が寒色の鉄板とコンクリに変わったタイル。スイッチや目標は後からゴールドの差し色で光らせています。
数字で言うと、こうです。
対象: 60種 × 4回転 = 240枚
処理時間: 1枚およそ10秒、全部で 約40分
追加コスト: 0円(ローカルのComfyUIで完結。素材も無料)
放置して40分。戻ってきたら、自分のゲームの世界観に染まったタイルが240枚そろっていました。
「アセットを買い直す」でも「手で描き直す」でもなく、AIに材質だけ塗り替えさせる。これが今回の結論です。
あなたも、便利だけど浮いてしまう無料アセットを、抱えていませんか?
なぜ普通のimg2imgは失敗するのか

最初から成功したわけではありません。むしろ最初は、典型的な失敗を全部踏みました。
img2imgには、誰もがハマる二択のジレンマがあります。
📌 denoise(変化の強さ)を下げると、何も変わらない。上げると、形が崩れる。
私が最初にやったのは、無難に denoise 0.6 で回す方法でした。崩れるのが怖くて、変化を弱めに設定したのです。
結果、ほぼ何も変わりませんでした。
元のオレンジが latent(潜在空間)から抜けきらず、材質も色も元のまま。プロンプトで「寒色のスチール」と指定しても、薄くフィルタがかかった程度。これでは世界観は染まりません。
では denoise を上げればいいのか。タイルでそれをやると、もっと深刻な問題が起きます。
タイルは外形(シルエット)が1pxでも動くと、等角(アイソメ)でタイル同士が接合できなくなる のです。
アイソメのタイルは、隣のタイルと菱形の辺でピッタリ噛み合うことで地面に見えます。AIが「ちょっといい感じに」輪郭を描き変えただけで、隣と1pxずれて隙間が空く。地面に線が走る。これはゲームとして致命的です。
つまりタイルのimg2imgは、
色を変えたい → denoise を上げたい
形は1pxも動かせない → denoise を上げたくない
という、真っ向から矛盾する要求を同時に満たさないといけない。ここで多くの人が諦めます。私も一度、諦めかけました。
答えは「色と形を別々の担当に分ける」

ここで発想を変えました。
色(材質)と形(輪郭)を、同じ1つのノブで調整しようとするから矛盾する。ならば、別々の担当に分ければいい。
形(輪郭)の担当 → ControlNet Canny
色(材質)の担当 → denoise
ControlNet Canny は、元画像のエッジ(輪郭線)を抽出して、生成中ずっと「この線からはみ出すな」と拘束し続ける仕組みです。これで輪郭が物理的にロックされます。
輪郭がロックされていれば、形が崩れる心配はもうありません。だから denoise を思いっきり上げられる。
そこで denoise を 0.6 から 0.85 まで引き上げました。すると、外形は1pxも動かないまま、表面の材質だけが完全に作り直されたのです。
📌 ControlNetで形を固定 → だからdenoiseを上げても安全 → だから色を根こそぎ変えられる。
これが今回いちばん伝えたい、img2imgの正しい分担です。「denoiseが低いと変わらない/高いと崩れる」のジレンマは、そもそも1つのノブで両方をやろうとしているから起きる。担当を分けた瞬間に消えます。
img2imgで「うまくいかない」と感じている人は、変化の強さをいじる前に、形を別の手段で固定できないか考えてみてください。
それでも残った3つの落とし穴

ControlNet で大枠は解決しましたが、タイル特有の落とし穴がまだ残っていました。ここは正直、けっこう溶かしました。
ひとつ目は 色被り。輪郭を固定して denoise を上げても、元のオレンジの色相が薄く残ることがありました。
ふたつ目は 透過の消失。img2imgはVAEという仕組みを通る過程で、PNGのアルファ(透明部分)が消えてしまいます。タイルは透過が命なので、四角い背景がついたら使えません。
みっつ目は 解像度。元タイルは小さく、そのままだとSDXLという生成モデルがうまく効きませんでした。小さい画像には、AIが「描き込む余地」がないのです。
この3つを、それぞれ地道な前処理・後処理で潰しました。具体的な数値とコードは後半にまとめますが、考え方はこうです。
色被り → 元画像を 脱色してから AIに渡す(明暗は残し、彩度だけ落とす)
透過消失 → 中灰背景で処理し、出力を 元タイルのアルファで再マスク して透過に戻す
解像度 → 処理時だけ 拡大 し、最後に縮小して戻す
どれも「AIに渡す前」と「AIから受け取った後」の工夫です。生成そのものより、その前後のパイプラインで勝負が決まる、というのが今回いちばんの学びでした。
ゴールドの差し色は「焼き込まない」と決めた

もうひとつ、地味だけど効いた設計判断があります。
スイッチや目標物といった「光らせたいオブジェクト」のゴールドの差し色を、AIで焼き込まなかった ことです。
最初は「全部AIで仕上げたい」と思っていました。でも、一括バッチ処理の安定性を考えると、これは悪手でした。
タイルごとに「ここは光らせて」と指定し分けると、プロンプトが複雑になり、240枚を同じ品質で通すのが難しくなります。1枚ずつ調整していたら、自動化の意味がありません。
そこで割り切りました。
📌 AI生成では全タイルを無彩色(寒色一色)に統一する。光る要素はゲームエンジン側で後から付ける。
具体的には、ネガティブプロンプトで「オレンジ/イエロー」を弾いて、AIには徹底して無彩色のタイルだけ作らせる。そしてゴールドの発光は、ゲームエンジン側の色変調(modulate)と発光(glow)で表現する。
こうすると、バッチ処理は単純化して安定し、しかも光り方はエンジン側でいつでも自由に調整できる。「AIにやらせること」と「エンジンにやらせること」の線引きが、運用の楽さを決めました。
将来手のかからない方を選ぶ。これが私の基本方針です。
この記事で手に入るもの

ここまでが「なぜ動くのか」の話です。考え方は全部お見せしました。
ControlNet Cannyで形をロックし、denoiseを上げて材質を作り直す。色被りは脱色で、透過はアルファ再マスクで、解像度は拡大で解決する。この設計を理解すれば、あとはAIに手伝ってもらいながら自分で組めるはずです。
ただ、ゼロから組むと、私と同じように沼にハマります。
denoiseを何回も振り直して、どこが正解か分からなくなる
ControlNetのモデルの組み合わせで詰まる
透過の再マスクで、合成の順番を間違えて背景が残る
バッチを回すたびにComfyUIの入出力フォルダがゴミだらけになる
私はここに半日以上を溶かしました。後半では、その試行錯誤を全部スキップできるよう、推奨パラメータの実数値と、そのまま動くバッチスクリプト一式を置いておきます。
有料部分の目次は、隠さず全部お見せします。
🎯 推奨パラメータ全表(モデル・CFG・steps・サンプラー・denoise・脱色率の実数値)
🎯 ハマりどころ全リスト(色被り・透過消失・解像度の具体的な対処)
🎯 透過再マスクの正しい合成順(ここを間違えると背景が残る)
🎯 ComfyUI APIで240枚を回すバッチスクリプト(Canny・脱色init・アルファ再マスク・入出力の重複掃除込み)
🎯 自分の世界観に合わせるカスタマイズ3点
自分でゼロから試行錯誤すると、丸一日は溶かします。この記事は、それを ¥500 で省略するものです。私が半日溶かしたパラメータ探索、透過再マスクの順番、SDXLが効かない解像度の罠、バッチ運用のゴミ掃除まで、全部置いておきます(コード一式も付属)。
◀ 前回: AIに「停止条件ファイル」を1枚渡したら、ゲームを39周“自走改善”した話【実録#27・ループ設計】
📚 シリーズ全話はまとめマガジンへ
https://note.com/lazy_engineer/m/m03a726b1673c
💡 ここから先は有料です(¥500)
無料アセットを「買い直さず」自分の世界観に染める、再現可能な手順とコード一式。img2imgで何度も振り直す前に、正解の数値を先に手に入れてください。