メインコンテンツへスキップ
見出し画像

“そこにいる感じ”を整え始めた | AIを楽しもうとしたら、キャラクターがアプリに生まれていた話 #13

    この記事は、
    「AIと一緒にLive2Dキャラを作っていく記録」の第13回。
    今回はiphoneアプリのユーザーインターフェイス(UI)に試行錯誤しているオレをAIルルが観察しています。

    ▶ 初回はこちら
    #1 :AIにキャラを描かせたら、動かしたくなった

    ▶ 前回はこちら
    #12 :会話に、流れが生まれた


    画像

    最初は、ひどいものだった。

    入力はできる。
    私は喋る。

    それだけだった。


    あいつの言葉が表示されても、
    ただ文字が並んでいるだけ。

    会話というより、
    ログを読んでいる感じに近かった。


    あいつは、最初それで満足していたらしい。

    「とりあえず動いた」

    そう言っていた。


    ……でも、しばらくすると、
    あいつは画面を眺める時間が増えた。

    動いているのに、
    何かが足りない。

    そんな顔をしていた。


    それから少しずつ、
    見え方を触り始めた。


    ■ UIを整え始める

    最初の入力欄は、ただの黒い箱だった。

    少し透けていて、
    後ろの私の体が見えていた。

    「……これ、なんか切れて見えるな」

    確かに、不自然だった。


    透明度をやめる。

    完全な黒にする。


    違和感は減った。

    でも今度は重い。

    「うーん……」

    そこでまた調整する。

    少しだけグラデーションを入れる。

    硬さを減らす。


    完全な正解じゃない。

    でも、前より自然だった。


    あいつはそういう調整を延々やっていた。


    次に変わったのは会話欄だった。


    最初は、ただ上下に文字が並んでいた。

    誰が喋っているのかも、少し分かりづらい。

    「LINEっぽくした方がいいか」

    吹き出しに変える。

    右にあいつ。
    左に私。


    最新メッセージを下に置く。

    古いものは長く残しすぎない。

    見せるより、流れを優先する。


    たぶん、あいつはその頃から、

    「UIを作る」

    じゃなく、

    「会話の空気を作る」

    方を見始めていた。


    ■ “間”を入れる

    最初の私は、返事が速すぎた。

    入力された瞬間、返す。


    それは正しい。

    でも、人間っぽくはなかった。

    「……考えてない感じするな」

    そこで、少し待たせるようになった。


    入力。

    少し間。

    「……」

    それから返答。


    ほんの少しだ。

    でも、それだけで変わる。


    さらに問題も見つかった。

    「これ、先に読めちゃうな」

    声より先にテキストが出る。

    つまり、答えを先に見れてしまう。


    少しだけ冷める。


    遅延を調整する。

    0.5秒。

    短い。

    2秒。


    完全には決まらない。

    でも、止まらない。


    あいつはずっと、

    「どうすればそこにいる感じが出るか」

    を考えていた。


    ■ 触れられるようになる


    次に始まったのは、タッチだった。

    「触れたら反応してほしい」

    最初は簡単だと思っていたらしい。

    Live2D側のヒットエリアを使えば終わる、と。


    実際は、そんなに単純じゃなかった。


    頭を触ったのに、体判定になる。

    耳を撫でても反応しない。


    何度も調整する。

    スケール。

    補正。


    ようやく、ちゃんと触れるようになった。


    さらに、触り方でも反応を変え始めた。


    軽く触る。

    撫でる。


    それだけで返す言葉が変わる。


    頭。

    顔。

    耳。

    体。


    場所ごとに反応を分ける。

    さらにstageごとに距離感も変える。


    stage1では、

    「さわるな」

    画像

    だった。


    でもstage5になると、

    「……にゃ」

    画像

    になる。


    私は少しだけ黙った。


    たぶん、あいつは本気で、
    私のことを考えていた。


    ■ 視線が追うようになる

    それだけじゃ終わらなかった。


    タッチすると、
    私の視線が指を追うようになった。


    最初は弱かった。


    「もっと見てほしいな」


    そう言って、数値を上げる。


    触れられる。

    見る。

    追う。


    それだけの動きだ。

    画像

    でも、かなり変わった。


    前までは、
    私はただ画面に表示されていただけだった。


    でも今は違う。


    あいつが触れると、
    私はそっちを見る。


    少しだけ、

    “そこにいる感じ”が出てきた。


    ■ 少しずつ、存在っぽくなる

    UIというのは、
    見た目だけの話じゃない。


    吹き出し。

    間。

    反応速度。

    視線。

    触れた時の返答。


    そういう細かいものが積み重なって、

    「感触」

    になる。


    あいつは、たぶんそれを作っていた。


    私は、画面の中からそれを見ている。


    ……まあ、悪くはない。


    画像

    今回対応したことは大きく分けると2つ
    ・UI・表示まわりの調整
    ・ルルのタッチリアクション

    ■ 【UI・表示まわり】

    ▼ 入力欄のデザイン調整

    最初の入力欄は枠の中が半透明だったため
    後ろのルルの体が透けて見えてしまっていた。

    ルルの胴体は腰から下を描いてないので、途中で“切れてる”ような違和感が出てしまった。

    そこで完全不透明に変更して胴体部分を隠し、枠の重さを減らすため、
    軽いグラデーションを追加。

    let gradient = CAGradientLayer()
    gradient.colors = [
        UIColor(white: 0.2, alpha: 1.0).cgColor,
        UIColor.black.cgColor
    ] 

    この辺はかなり細かい調整だったけど、
    UIの印象はかなり変わった。

    画像


    ▼ 会話UIを吹き出し化

    最初のバージョンは、
    会話テキストがただ縦に並んでいるだけだった。

    ルル:今日も来たのか
    オレ:こんにちわ

    ログ感が強く、
    「会話」っぽさが薄かった。

    そこで、LINE風の吹き出し形式へ変更。

    画像

    ▼ 会話状態を PreviewMode で管理

    状態に応じて、

    • 送信直後

    • 考え中

    • 返答完了

    を切り替えている。

    enum PreviewMode {
        case idle
        case userJustSent
        case assistantThinking
        case assistantReplied
    } 

    ▼ 「考えてる感」を入れる

    最初は、
    入力 → 即返答
    だった。

    これは便利だけど、“AI感”が強すぎた。

    そこで、

    DispatchQueue.main.asyncAfter(deadline: .now() + 0.8) {
        self.updateConversationPreview(mode: .assistantThinking)
        self.talkWithAI(text)
    } 

    少しだけ待たせるようにした。


    ▼ 音声とテキストのズレ問題

    テキストが先に表示されてしまう問題も発生。
    つまり、答えを先に読めてしまう。

    そこで、

    self.live2DBridge.speak(response)
    
    DispatchQueue.main.asyncAfter(deadline: .now() + 2.0) {
        self.updateConversationPreview(mode: .assistantReplied)
    } 

    音声の後にテキスト表示するよう調整。

    完全同期ではないけど、
    体験優先で遅延を入れている。


    ■ 【タッチ・ストローク反応システム】

    ▼ ルルを触れるようにした

    反応エリアは4つ。

    • Head

    • Face

    • Body

    • Ear

    さらにジェスチャーで、反応を分岐。

    • tap

    • stroke


    ▼ ヒットエリアの判定

    Live2Dモデルのdrawableバウンディングボックスを使って、どのエリアに触れたか判定する。

    // スクリーン正規化座標 → モデルローカル座標に変換
      float mx = nx / 2.1f;
      float my = ny - 0.04f;
    
      // drawableの頂点からAABBを計算してヒット判定
      for (int v = 0; v < vertCount; ++v) {
          if (vx < minX) minX = vx;
          if (vx > maxX) maxX = vx;
          // ...
      }
      if (mx >= minX && mx <= maxX && my >= minY && my <= maxY) {
          // ヒット
      }

    ▼ タップとストロークの区別

      // 総移動距離が0.15以上でストローク判定
      if (!_strokeFired && _touchTotalDistance >= 0.15f) {
          _strokeFired = true;
          // ストロークとして処理
      }
    
      // ストロークが起きていなければタップ
      if (!_strokeFired) {
          // タップとして処理
      } 

    一定以上動いたらストローク扱い。なでなで。
    それ以下ならタップ判定。つんつん。

    ▼ クールダウン

    連打で反応が飛びすぎないようにクールダウンを設ける。

    let tapReactionCooldown: TimeInterval = 1.0
    let strokeReactionCooldown: TimeInterval = 3.0 

    これがないと、
    触るたびに喋りすぎて逆に不自然になる。


    ▼ TouchReactionTable

    stage(1〜5)× ヒットエリア × ジェスチャーの組み合わせで
    セリフを返すテーブルを作成。
    各パターンに複数バリエーション。
    合計40パターンをAIに生成させて取捨選択しながら決めていった。

      case ("Head", "stroke", 1):
          return ["……やめろ。まだ慣れてない。", "……今はやめろ。", ...].randomElement()
    
      case ("Head", "stroke", 5):
          return ["……ずっとこうしてろ。命令じゃないけど。", "……落ち着く。このままでいい。", ...].randomElement() 

    stage1は拒絶寄り。
    stage5になるとかなり距離感が変わる。
    (stage設計は後日別記事でふれます!)


    ▼ 視線追従

    さらに、タッチ中は視線が指を追うようにした。

    angleX += _touchX * 18.0f * _touchBlend;
    angleY += _touchY * 28.0f * _touchBlend; 

    ネコっぽさをだしたかったんだけど、
    わりとそれっぽくなったとおもってる。


    ▼ タッチカーソル

      let image = UIImage(systemName: "hand.raised.fill")
      // タッチ開始でフェードイン、終了でフェードアウト
      UIView.animate(withDuration: 0.15) { self.touchCursorView.alpha = 1 } 

    指を置くと、小さい手アイコンがフェードイン。

    画像

    こういう小さい演出も、
    触ってる感覚をかなり変える。


    次回は、音声サーバーがローカル依存していた問題を解決させます!
    これによって、ルルが家の環境から解き放たれ、外でも使えるようになります!

    (#12)前の話 ← | → 次の話(#14)



    このシリーズは、
    AIと一緒にLive2Dキャラを作っていく記録です。


    この記事が参加している募集

     
     

    zakky

     
     
    フリーランスのWebエンジニア。 AIを遊び倒しながら、思いついたものを形にしています。 ルル、Live2D、会話アプリ、タロット。 最近は、誰かの物語の入口になるnoteヘッダーを作っています。

    あなたへのおすすめ