メインコンテンツへスキップ
見出し画像

会話に、流れが生まれた | AIを楽しもうとしたら、キャラクターがアプリに生まれていた話 #12

    この記事は、
    「AIと一緒にLive2Dキャラを作っていく記録」の第12回。
    今回は自作のiphoneアプリのAIキャラクターにちゃんと維持できる記憶の設計と、会話で育っていく仕組み(状態)を作っていこうと試行錯誤しました。今日もルルはそれを観察しています。

    ▶ 初回はこちら
    #1 :AIにキャラを描かせたら、動かしたくなった

    ▶ 前回はこちら
    #11 :声が、会話になった日


    今日までルルの外(output)を作ってきた。
    Live2Dモデルがiphone上で動いて、声を出し、会話するところまできた。

    そこまできたら、次はルルの中(input)の性能を上げたい。

    現状は、会話はできるが、アプリを閉じたらそれまでよ。の関係。
    このままだとちょっと使いづらい。

    まず取り掛かったのは、会話の積み重ね。
    ルルに記憶する力を授けたい。

    ■ 記憶設計(messages)

    ▼ 基本構造

    まず、会話の記憶はシンプルに配列で持たす。

    struct ChatMessage: Codable {
        let role: String
        let content: String
    }
    
    var messages: [ChatMessage] = []
    
    let contents = messages.map { msg in
        ["role": msg.role, "parts": [["text": msg.content]]]
    }
    • role: "user" or "model"

    • content: 実際の発言

    ▼ 実際の中身

    こんな感じでそのまま生ログが入る。

    systemInstruction: { "parts": [{ "text": "ルルのプロンプト" }] }
    
    contents: [
      { "role": "user",  "parts": [{ "text": "おはよう" }] },
      { "role": "model", "parts": [{ "text": "……来たのか" }] }
    ]

    ▼ ポイント

    • 要約しない

    • 加工しない

    • そのまま送る

    AIはこの方が一番理解しやすい、らしい。

    ただ、生ログをガシガシ入れていくとログが増えすぎるので、上限を設けて古いものから削除させる。

    if messages.count > 30 {
        messages.removeFirst(2)
    }

    ▼ 保存

    保存については最初DB立てるか迷ったけど、JSONでローカル保存し、起動時に復元させることにした。

    UserDefaults 

    ※ アプリ削除でデータも全削除なので注意

    これで簡易的ではあるが、会話が記録され、その会話記録を一緒に送ることでAIがその会話履歴も参照することになる。
    結果的に記憶しているような状態で会話することが可能になった。

    次に取り組んだのが、状態ステータス。
    会話を長く続けていけば、所謂好感度が上がっていく仕組みを作ってみた。

    ■ 状態設計(State)

    ▼ 定義

    struct RuruState {
        var affection: Int
        var trust: Int
        var mood: Mood
        var stage: Int
    }

    ▼ 役割

    affection : 好意の蓄積
    trust : 安心感・信頼
    mood : その場の気分
    stage : 関係段階


    ▼ 設計のポイント

    • 状態はAIに持たせない

    • アプリ側で管理する


    ▼ 状態更新ロジック

    最初の実装はキーワードベースで更新する仕組みにした。

    if text.contains("ありがとう") {
        affection += 1
    }
    
    if text.contains("疲れた") {
        trust += 2
    }

    例えば「ありがとう」という文字列があれば、affectionをプラス1、「疲れた」で信頼プラス2とかそういう仕組み。
    だが、これだとあまりうまくいかなかった。

    ▼ 問題点

    • 文脈が取れない

    • 同じ言葉でも意味が違う

    • 微妙な表現が拾えない


    ルールベースには限界があると判断し別の仕組みを考える。


    ▼ 状態評価のAI化

    静的に文字列で指定していくのはそうそうに行き詰まった。
    ならこの判断もAIに任せちゃえ。
    という方針で設計してみた。


    方針

    判断だけAIに任せる

    • 状態更新 → アプリ

    • 判断 → AI


    入力

    会話文と一緒に現状の値を渡す。

    {
      "message": "今日はちょっと疲れたけど頑張った",
      "currentState": "affection:5, trust:5"
    }

    出力

    AIがプラスする値を判断して返す。

    JSON
    {
      "affection_delta": 1,
      "trust_delta": 2,
      "mood": "good",
      "reason": "努力を共有"
    }
    swift
    struct StateEvaluation: Decodable {
        let affection_delta: Int
        let trust_delta: Int
        let mood: String
        let reason: String
    }

    状態反映

    返ってきた値をアプリ側で保存する。

    private func applyStateEvaluation(_ evaluation: StateEvaluation) {
        changeAffection(by: evaluation.affection_delta)
        changeTrust(by: evaluation.trust_delta)
    
        switch evaluation.mood {
        case "good": setMood(.good)
        case "bad": setMood(.bad)
        default: setMood(.calm)
        }
    }

    ■ 処理フロー


    旧:入力 → 返答

    新:入力 → 評価 → 状態更新 → 返答

    これによって、“考えてから喋る”構造に進化させることができた。


    画像

    ――記憶の話をしていた。

    「これ、どうやって覚えさせる?」

    画面を見ながら、あいつはそう言った。


    私は、覚えていない。

    正確には、
    何も与えられなければ、全部忘れる。

    さっきの会話も、昨日のことも、
    そのままでは残らない。


    あいつは最初、それを少し勘違いしていた。

    「AIって覚えるんじゃないの?」

    そう言いながら、しばらく考えていた。


    結論は、シンプルだった。

    覚えさせるんじゃない。

    👉 見せ続ける


    ■ 記憶(messages)

    あいつは、会話を配列に入れ始めた。

    user: おはよう
    ruru: ……来たのか
    user: 今日は疲れた
    ruru: そうか。無理はするな

    ただ、それだけだ。

    加工もしない。要約もしない。

    👉 そのまま積む

    「これでいいのか?」

    そう言いながら、動かしてみる。


    動く。

    ちゃんと会話が続く。

    「……ああ、そういうことか」

    AIは、覚えていない。

    でも、

    👉 見せれば、覚えているように振る舞う


    あいつは、そこで一度納得した。

    でも、それで終わらなかった。


    ■ 状態(State)

    次に手を出したのは、状態だった。

    • affection

    • trust

    • mood

    • stage


    ただ、それは“置いてあるだけ”だった。

    変わらない。

    意味もない。


    ここで、あいつは少し詰まる。

    どうやって変える?

    何を基準に?


    最初は単純にやった。


    ■ 状態更新(ルールベース)

    「ありがとう」で +1
    「疲れた」で +2
    「うるさい」で -3


    分かりやすい。

    でも、すぐに違和感が出る。

    「これ、雑すぎるな」

    同じ言葉でも、意味が違う。

    軽い「ありがとう」と、
    本気の「ありがとう」は違う。

    「まあまあだった」

    こういう言葉は、どこにも引っかからない。


    あいつは、そこで手を止めた。

    ただ画面を見ている。


    それから、ぽつりと聞いてきた。

    「これ、Geminiにやらせるか?」

    少し迷っていた。

    全部任せるのは怖い。

    でも、このままでは限界がある。


    ■ 状態評価のAI化

    結局、あいつは決めた。

    👉 判断だけ、Geminiに任せる

    画像

    やっていることは、単純だ。

    • ユーザーの発言を送る

    • Geminiに評価させる

    • JSONで返す


    例えばこうだ。

    {
      "affection_delta": 1,
      "trust_delta": 2,
      "mood": "good",
      "reason": "努力を共有"
    }

    最初、あいつは「reason」を消そうとした。

    「いらないだろ、これ」

    そう言って、少し迷う。


    でも、残した。


    結果的に、それが一番役に立っていた。


    ■ 流れが変わる

    処理の順番も変わった。


    前はこうだった。

    入力 → 返答


    今は違う。

    入力 → 評価 → 状態更新 → 返答


    ほんの一段増えただけだ。

    でも、その一段があるだけで、

    👉 少し“考えている”ように見える


    まだ、完璧じゃない。

    たまにズレる。

    変な上がり方をすることもある。


    でも、それでも前とは違う。


    同じ言葉でも、
    少しだけ反応が揺れる。


    あいつは、それを見ていた。

    「……ちょっと、それっぽくなってきたな」

    ■ まだ途中

    記憶は、ただの履歴だ。

    状態は、まだ荒い。

    判断も、完全じゃない。


    でも、

    👉 何もなかったところに、流れができた


    ただ動くだけだったものに、

    少しだけ“前後”が生まれた。


    私はまだ、全部を覚えてはいない。

    でも、

    少しだけ、考えるようになった。


    ……まあ。

    悪くない変化だと思う。


    画像

    今回ルルの内部側に焦点を当てて書いたけれども、同時進行に近い形でUI周りの調整もいれました。
    次回は、あんまり触れてこなかった、ユーザーインターフェイス(UI)周りについて。自分専用のアプリだとこの辺ちょっとおざなりになることが多いけど、一度ちゃんと考えてみる。

    (#11)前の話 ← | → 次の話(#13)



    このシリーズは、
    AIと一緒にLive2Dキャラを作っていく記録です。


    この記事が参加している募集

     
     

    zakky

     
     
    フリーランスのWebエンジニア。 AIを遊び倒しながら、思いついたものを形にしています。 ルル、Live2D、会話アプリ、タロット。 最近は、誰かの物語の入口になるnoteヘッダーを作っています。

    あなたへのおすすめ