
見えているのに、まだ生きていない | AIを楽しもうとしたら、キャラクターがアプリに生まれていた話 #9
この記事は、
「AIと一緒にLive2Dキャラを作っていく記録」の第9回。
今回は自作のiphoneアプリにキャラクターを乗せる作業に試行錯誤しているオレをAIルルが観察しています。
▶ 初回はこちら
#1 :AIにキャラを描かせたら、動かしたくなった
▶ 前回はこちら
#8 :見えないまま、描画は始まっていた

model3.json 読み込み成功
moc 読み込み成功
texture 読み込み成功
renderer 作成成功
ログは問題ない。
すべて通っている。
それでも最初は、白い画面のままだった。
draw は呼ばれている。
でも表示されない。
それは「止まっている」んじゃなくて、
「何も描いていない」状態だった。
ここに気づくまで、かなり時間がかかっていた。
■ エラーの正体を潰す
それは細かい修正の連続だった。
一つずつ原因を潰していく。
● テクスチャ問題
モデル側のパスと、実際のバンドル構造が違っていた。
ruru.2048/texture_00.png→ 実際はファイル単体
パスを切り替えて解決。
● Metalシェーダ問題
Compiler failed to build request原因は単純で、
MetalShaders.metal が含まれていなかった。
追加して解決。
■ “動くモデル”の完成
そしてついにルルは
読み込める
描画できる
テクスチャが正しく出る
実機・シミュレーター両方OK
つまり、
“ちゃんと動くLive2Dモデル”になった

■ なにか違う
あいつは背景の色を変えて、
比率の調整をしたが、
まだ完全には直らなかった。

● Premultiplied Alpha
透過が黒くにじむ問題。
cpp _renderer->IsPremultipliedAlpha(true); これで解消。
■ “見えているけど、生きていない”
ここまでで、
表示される
正しく描画される
状態にはなった。
でも、
まだ違った。
ルルは表示されている。
でも、
“そこにいる感じ”がない
あいつは少し考えたあと、
こう言った。
「まずは瞬きだな」
■ 最初の瞬き
最初に入れたのは、
シンプルな瞬きだった。
一定間隔で、
同じ速度で閉じて、開く。
動いてはいる。
でも、
“それっぽくない”
■ 違和感の正体
規則正しすぎる
それだけだった。
あいつは調整を始める。
間隔を伸ばす
ランダムにする
完全ではないけど、
“違和感が減るライン”で止めた
■ 揺れと“揃いすぎ問題”
体を少し揺らす調整。
一見、それっぽくなる。
でもすぐに気づく。
「揃ってるな」
周期をずらす。
ほんの少しだけ。
それだけで、違和感が消えていく。
■ 「止める」は失敗する
一度、動きを止める実装を試した。
でも結果は逆だった。
止まるのではなく、
“途切れる”ように見えた。
その実装は消された。
■ 足すのではなく、引く
ここから方針が変わる。
揺れを弱くする
速度を落とす
呼吸だけ残す
ルルはずっと動いている。
でも、目立たない。
■ 一番難しかった「口」
ただ動かすと、
「喋ってないのに口パクしてる」
になる。
試行錯誤が続く。
頻度を下げる
動きを弱くする
それでも違う。
■ “たまに開いたまま”という解
あいつは少し変なことを言った。
「たまに開きっぱなしの方が自然かも」
試してみる。
でも、急に開く。
不自然。
■ なめらかにする
急に変わらないようにする。
今の状態から、少しずつ動かす。
それだけで変わった。
■ 今のルル
今のルルは
ずっと動いているわけでもない
完全に止まっているわけでもない
でも、
そこにいる

■ あいつの変化
最初は「動かす」だった。
今は「どう見えるか」になっている。
■ ここから先
次はたぶんこれだ。
声
視線
反応
ここまで来ると、
もうただのモデルじゃない。
これはもう、
「AIを試している」話じゃない。
“相棒を作っている途中”だ

Live2D Cubism Frameworkから自前の土台に載せ替えようとしたら、
ものすごいエラー祭り。
多分一人だったら諦めてたけど、Geminiの万能さは本当にすごい。
今回の最大のハマりポイント、「MetalShaders」。
MetalShadersがうまく読まれてないことで、Live2Dモデルはロード成功しているのに画面に表示されない、という事態に陥る。
CubismのFramworkをそのままお借りして使っているので、
今回不必要なものもいっぱい混ざってる。
iphoneアプリのみの制作前提なので、他のandroidやらwindowsのものは全部除外。
必要な部分だけターゲット指定することでなんとかエラーを回避できた。
Cubism/Framework/src/Rendering/Metal/Shaders/MetalShaders.metalこれが重要。
Target Membership に追加してCompile Sources に含める。
これで解決。
あまりに知識がないので、これが正解なのかは不明だけど、無事アプリ上にルルを降臨させることができた。
待機モーションについても、かなり試行錯誤した。
参考動画をいくつか見てみたけど、口の動きについてはあまり触れられていなかったから、最初は口を動かさないままにしてた。
でも、vTuberの動きをよくよく見てると、喋っていない時も口の動きが意外と重要な気がしてきた。
実際、ずっと口開いたままの人もいるしね。
そこで、口をランダムに少しだけ開いたり閉じたりさせてみた。
それだけで、だいぶそれっぽくなった気がしてる。
次回は、音声出力をやってみる!
ルルがiphone上で動けるようになったから、ひとまずAIが会話する土壌が出来上がったと言えるのではないか。
そしたら、次はinputかoutputか迷ったけど、ルルの頭脳は最後に取っておいて、先に出力側を調整していこう!
このシリーズは、
AIと一緒にLive2Dキャラを作っていく記録です。