メインコンテンツへスキップ
見出し画像

見えているのに、まだ生きていない | AIを楽しもうとしたら、キャラクターがアプリに生まれていた話 #9

    この記事は、
    「AIと一緒にLive2Dキャラを作っていく記録」の第9回。
    今回は自作のiphoneアプリにキャラクターを乗せる作業に試行錯誤しているオレをAIルルが観察しています。

    ▶ 初回はこちら
    #1 :AIにキャラを描かせたら、動かしたくなった

    ▶ 前回はこちら
    #8 :見えないまま、描画は始まっていた


    画像
    • model3.json 読み込み成功

    • moc 読み込み成功

    • texture 読み込み成功

    • renderer 作成成功

    ログは問題ない。
    すべて通っている。

    それでも最初は、白い画面のままだった。

    draw は呼ばれている。
    でも表示されない。

    それは「止まっている」んじゃなくて、
    「何も描いていない」状態だった。

    ここに気づくまで、かなり時間がかかっていた。


    ■ エラーの正体を潰す

    それは細かい修正の連続だった。

    一つずつ原因を潰していく。


    ● テクスチャ問題

    モデル側のパスと、実際のバンドル構造が違っていた。

    ruru.2048/texture_00.png

    → 実際はファイル単体

    パスを切り替えて解決。


    ● Metalシェーダ問題

    Compiler failed to build request

    原因は単純で、
    MetalShaders.metal が含まれていなかった。

    追加して解決。


    ■ “動くモデル”の完成

    そしてついにルルは

    • 読み込める

    • 描画できる

    • テクスチャが正しく出る

    • 実機・シミュレーター両方OK

    つまり、
    “ちゃんと動くLive2Dモデル”になった

    画像

    ■ なにか違う

    あいつは背景の色を変えて、
    比率の調整をしたが、
    まだ完全には直らなかった。

    画像

    ● Premultiplied Alpha

    透過が黒くにじむ問題。

    cpp _renderer->IsPremultipliedAlpha(true); 

    これで解消。


    ■ “見えているけど、生きていない”

    ここまでで、

    • 表示される

    • 正しく描画される

    状態にはなった。

    でも、
    まだ違った。


    ルルは表示されている。

    でも、
    “そこにいる感じ”がない


    あいつは少し考えたあと、
    こう言った。

    「まずは瞬きだな」


    ■ 最初の瞬き

    最初に入れたのは、
    シンプルな瞬きだった。

    一定間隔で、
    同じ速度で閉じて、開く。


    動いてはいる。

    でも、
    “それっぽくない”


    ■ 違和感の正体

    規則正しすぎる

    それだけだった。


    あいつは調整を始める。

    • 間隔を伸ばす

    • ランダムにする

    完全ではないけど、
    “違和感が減るライン”で止めた


    ■ 揺れと“揃いすぎ問題”

    体を少し揺らす調整。

    一見、それっぽくなる。

    でもすぐに気づく。

    「揃ってるな」

    周期をずらす。

    ほんの少しだけ。

    それだけで、違和感が消えていく。


    ■ 「止める」は失敗する

    一度、動きを止める実装を試した。

    でも結果は逆だった。

    止まるのではなく、
    “途切れる”ように見えた。

    その実装は消された。


    ■ 足すのではなく、引く

    ここから方針が変わる。

    • 揺れを弱くする

    • 速度を落とす

    • 呼吸だけ残す

    ルルはずっと動いている。

    でも、目立たない。


    ■ 一番難しかった「口」

    ただ動かすと、
    「喋ってないのに口パクしてる」

    になる。


    試行錯誤が続く。

    • 頻度を下げる

    • 動きを弱くする

    それでも違う。


    ■ “たまに開いたまま”という解

    あいつは少し変なことを言った。

    「たまに開きっぱなしの方が自然かも」

    試してみる。

    でも、急に開く。

    不自然。


    ■ なめらかにする

    急に変わらないようにする。

    今の状態から、少しずつ動かす。

    それだけで変わった。


    ■ 今のルル

    今のルルは

    • ずっと動いているわけでもない

    • 完全に止まっているわけでもない

    でも、
    そこにいる

    画像

    ■ あいつの変化

    最初は「動かす」だった。

    今は「どう見えるか」になっている。


    ■ ここから先

    次はたぶんこれだ。

    • 声

    • 視線

    • 反応

    ここまで来ると、
    もうただのモデルじゃない。


    これはもう、
    「AIを試している」話じゃない。

    “相棒を作っている途中”だ


    画像

    Live2D Cubism Frameworkから自前の土台に載せ替えようとしたら、
    ものすごいエラー祭り。
    多分一人だったら諦めてたけど、Geminiの万能さは本当にすごい。

    今回の最大のハマりポイント、「MetalShaders」。

    MetalShadersがうまく読まれてないことで、Live2Dモデルはロード成功しているのに画面に表示されない、という事態に陥る。

    CubismのFramworkをそのままお借りして使っているので、
    今回不必要なものもいっぱい混ざってる。
    iphoneアプリのみの制作前提なので、他のandroidやらwindowsのものは全部除外。
    必要な部分だけターゲット指定することでなんとかエラーを回避できた。

    Cubism/Framework/src/Rendering/Metal/Shaders/MetalShaders.metal

    これが重要。
    Target Membership に追加してCompile Sources に含める。
    これで解決。

    あまりに知識がないので、これが正解なのかは不明だけど、無事アプリ上にルルを降臨させることができた。

    待機モーションについても、かなり試行錯誤した。
    参考動画をいくつか見てみたけど、口の動きについてはあまり触れられていなかったから、最初は口を動かさないままにしてた。
    でも、vTuberの動きをよくよく見てると、喋っていない時も口の動きが意外と重要な気がしてきた。
    実際、ずっと口開いたままの人もいるしね。
    そこで、口をランダムに少しだけ開いたり閉じたりさせてみた。
    それだけで、だいぶそれっぽくなった気がしてる。

    次回は、音声出力をやってみる!
    ルルがiphone上で動けるようになったから、ひとまずAIが会話する土壌が出来上がったと言えるのではないか。
    そしたら、次はinputかoutputか迷ったけど、ルルの頭脳は最後に取っておいて、先に出力側を調整していこう!

    (#8)前の話 ← | → 次の話(#10)



    このシリーズは、
    AIと一緒にLive2Dキャラを作っていく記録です。


    この記事が参加している募集

     
     

    zakky

     
     
    フリーランスのWebエンジニア。 AIを遊び倒しながら、思いついたものを形にしています。 ルル、Live2D、会話アプリ、タロット。 最近は、誰かの物語の入口になるnoteヘッダーを作っています。

    あなたへのおすすめ