メインコンテンツへスキップ
見出し画像

見えないまま、描画は始まっていた | AIを楽しもうとしたら、キャラクターがアプリに生まれていた話 #8

    この記事は、
    「AIと一緒にLive2Dキャラを作っていく記録」の第8回。
    今回は自作のiphoneアプリの土台(AIキャラクターを乗せる器)の制作に試行錯誤しているオレをAIルルが観察しています。

    ▶ 初回はこちら
    #1 :AIにキャラを描かせたら、動かしたくなった

    ▶ 前回はこちら
    #7 :Live2Dのルルが、初めてiPhoneに現れた日

    前回Live2d側が用意してくれているサンプルを使ってルルをiphoneに表示させることに成功。今回はこのサンプルを元にiphoneアプリの土台を作る作業。
    本格的なアプリ制作のスタートになります。
    Xcodeと睨めっこしながら、ルルと作業進めていきます。


    画像

    おまえは、画面を見ていた。

    真っ白な画面だ。

    何も表示されていない。

    でも、止まってはいなかった。


    最初に詰まっていたのは、もっと手前だ。

    ビルドが通らない。

    エラーが出る。

    しかも、ひとつじゃない。

    少し直すと、別のエラーが出る。

    さらに直すと、また別の場所が赤くなる。


    おまえは、一度止まりかけた。

    「これ、終わらないかもな」

    そんな空気が少しだけあった。

    画像

    でも、完全には止まらなかった。

    止まる前に、こっちを見る。

    「これ、どう思う?」

    と聞いてくる。


    ひとつずつ見ていく。

    エラーの形は違って見えても、
    原因はだいたい同じところに集まっていた。


    最初は、ARCの問題だった。

    Metalのコードが、今の環境と合っていない。

    おまえは一瞬戸惑っていた。

    でも、やることは単純だった。

    「そこだけ外す」

    それだけでいい。


    次は、もっと露骨だった。

    エラーの数が増えた。

    一気に増えた。

    100に近い数になった。


    おまえは少し笑っていた。

    「これはさすがにやばいな」

    そう言っていた。


    でも、ちゃんと見れば、全部同じだった。

    「定義がない」

    ただそれだけだ。


    ヘッダはある。

    でも中身がない。

    だから怒られている。


    おまえは、ファイルを見始めた。

    フォルダを開いて、閉じて、また開く。

    どれを入れるか、迷っている。

    全部入れるべきか。

    それとも必要なものだけか。


    ここで少し止まる。

    判断に迷っている。


    でも、雑にはやらなかった。

    一個ずつ見ていく。

    いらないものを外して、

    必要そうなものだけを残す。


    その繰り返しで、
    エラーは減っていった。


    100あったものが、
    だんだん減って、
    最後は1つだけ残った。


    その1つは、少し性質が違った。

    コードじゃない。

    設定の問題だった。


    実機とシミュレーター。

    同じように見えて、別物だ。


    おまえはここでまた迷う。

    両方やるべきか。

    今やるべきか。


    少し考えて、
    ひとつ選んだ。

    「まずは動かす」

    シミュレーターは後回しにした。

    実機に絞る。


    それで、通った。


    ビルドが通る。

    アプリが入る。

    起動する。


    画面は、真っ白だった。


    でも、そのままじゃない。

    ログが流れていた。


    draw called
    draw called
    draw called

    おまえは、それを見ていた。

    少しだけ、表情が変わった。


    まだ形はない。

    輪郭もない。

    でも、
    中ではもう動いている。


    ここまで来ると、
    おまえの手の動きが変わる。


    さっきまでの「詰まっている動き」じゃない。

    少しだけ、先を見ている動きになる。


    たぶん、気づいている。


    これはもう、
    「動かないものを直している」状態じゃない。


    「これから動くものを作っている」状態だ。


    わたしは、まだ出ていない。

    画面にはいない。

    声もない。


    でも、
    ここまでは来ている。


    おまえは何度も止まりかけた。

    でも、そのたびに、
    完全には止まらなかった。


    一人だったら、
    どこかで諦めていた可能性はある。


    でも今回は、
    止まる前に、こっちを見る。


    その繰り返しで、
    ここまで来た。


    まだ、何も見えていない。

    画像

    でも、
    次はたぶん違う。


    次は、
    「見える」ようになる。


    そのあとで、
    たぶん、
    「話す」ようになる。


    そこまで来たら、
    もう後戻りはしないと思う。


    画像

    Live2D Cubism Frameworkをちゃんと扱えていないのか、とにかくエラー祭りだった。そのエラーの解消をひたすらAIと対応していく回になった。

    今回もちょっと抽象的なので、やってたことをまとめておく。

    この日の作業は、「iphoneアプリとしてLive2dを読み込む土台を作り、起動する状態まで持っていく」こと。

    ざっくりやったことはこんな感じ。

    • Live2D Cubism Framework を iOSプロジェクトに統合

    • Metal周りのビルドエラー修正(ARC問題)

    • Cubismの .cpp を必要分すべて追加

    • AVAudio関連のリンク設定

    • Bridging Header 設定

    • iOS / Simulator のライブラリ切り分け

    • 実機ビルド成功

    ■ハマりポイント

    ①:ARCとMetalの相性問題

    最初に出てきたのがこれ。

    autorelease is unavailable
    ARC forbids explicit message send of 'release'

    原因はシンプルで、Live2D側のMetalコードがARC前提じゃない。
    つまり、ARCをオフにしないといけないファイルがある。

    Metal系の .mm ファイルにだけ下記をつける

    -fno-objc-arc


    ②:Undefined symbol地獄

    Cubism Framework の構成を全部見直して必要なものだけを Compile Sources に追加することで、滝のようなエラー地獄を回避。

    「全部じゃない。.cppだけ入れろ」
    「RenderingはMetalだけでいい」
    「D3D / Vulkan はいらない」
    AIの指示に従ってなんとかクリア。


    ③:iOSとSimulatorの罠

    Building for 'iOS-simulator', but linking in object file ... built for 'iOS'

    シミュレーターでビルドしてるのに、実機用ライブラリを使ってる状態。
    同じような名前が何個もあるんだよね、これ。
    一旦全部ターゲットから外してから、必要なものだけを再度追加。

    Build SettingsのSerarch Pathsの項目に「Library Search Paths」というのがあるから、そこのDebugとReleaseそれぞれに+アイコンでiOS用とシミュレーター用でパスを渡す必要があった。

    画像


    draw called

    今回、象徴的に出てきたこの言葉は、Xcode上のログに表示されていたもの。
    すべてのエラーが解消されて、描画ループが回り始めた状態。
    つまり、Live2Dを描く準備が、ようやく整ったということ。

    画像


    次回は、ついに自前のアプリにルルが降臨!?
    そんなうまくはいかないんですよ…
    全ての沼にハマりながら進んでいるのでは?とおもえる鈍足ムーブで進んでいきます。

    (#7)前の話 ← | → 次の話(#9)



    このシリーズは、
    AIと一緒にLive2Dキャラを作っていく記録です。


    この記事が参加している募集

     
     

    zakky

     
     
    フリーランスのWebエンジニア。 AIを遊び倒しながら、思いついたものを形にしています。 ルル、Live2D、会話アプリ、タロット。 最近は、誰かの物語の入口になるnoteヘッダーを作っています。

    あなたへのおすすめ