メインコンテンツへスキップ
見出し画像

AIエージェントがしゃべって動くコンソールを作った話

    AIと会話で、もの足りなさを感じていないだろうか?


    最近のAIは賢い。
    文字を打てば、自然な会話が返ってくる。

    速いし、賢い。
    でも、——

    自分たちが夢見たAIとの会話は、文字だけだったろうか?


    子どもの頃に見た本、アニメやゲームには
    AIと呼ばれるものがでていた。

    彼ら・彼女らは、
    表情があり名前を呼べば振り向いて、
    喋って、笑った。

    そんな存在を夢見てなかっただろうか?

    正直、いまのままでは物足りない。

    なので自作してみた。

    顔があって、喋って、動いて機能がある。

    そんなAIの相棒を、
    AIエージェントで組み立ててみた。

    注意点を正直に書く。

    この記事は、
    どこまでが出来て、何を使ったのか。

    その記録だけだ。

    同じ物を組み立てたい方は、
    記事を読むだけでは足りない。

    それでも、
    素人でも「ここまでできる」というのを
    見たい方は付き合ってほしい。


    完成形:AI用のコンソール


    画面はAIエージェントであるClaudeCode。

    WEBページや表示する機能を利用して、
    コンソールを表示している。

    画像
    左で話しかけると、右で喋る。Claude Codeとコンソールは一体。

    コンソール内にいるのは、
    うちの記事でよく出てくる分析官。

    ClaudeCodeに文字を入力をすると、
    コンソールのキャラクターが
    しゃべってくれる仕組みだ。

    ここまでであればClaudeCodeと
    画像を生成できるAIがあれば
    実装は難しくない。

    こだわったのはここからだ。

    キャラクターに動きをつけた。

    まばたきをする。

    視線が時々動く。

    首が少しかしげると、
    髪が遅れてついてくる。

    画像
    待っている間も、まばたきをして、視線と髪が少し動く。

    表情差分もつけた。

    画像
    表情も変わる。普段 → おどろき → ジト目 → 照れ。

    待機中もまばたきをし、
    喋るときは、口が動く。

    会話の内容により表情が変わる。

    「絵が貼り付けてある」だけでなく
    「そこにいる」ように見えるようになる。


    実用性:機能を持たせる


    喋るだけなら置物で終わる。

    なので、会話の楽しさのほかに
    便利さを併用させている。

    画像
    コンソールの実用機能は4つ。予定・会話ログ・タスク・短縮ボタン。

    以前、CodexのPET機能を
    ClaudeCodeにも転用した記事を書いた。

    そのときに、つけた機能を転用した形だ。

    コンソールにボタンつけて
    押すと組み込んだ機能が展開する。

    今週の予定、会話の記録、今日のタスク、
    スキルやWEBページのショートカットなど。

    画像
    左のボタン押すと、真ん中の枠にツールがでる。内容はダミーのもの。

    例えば「予定」は、
    別々の家族のGoogleカレンダーの予定を
    まとめて使いやすい形になおしている。

    AIエージェントに朝と夕方に、
    自動で取り直す方式だ。

    これまでGoogleカレンダーを
    開かなければいけなかったのを
    コンソールだけで確認できるようにした。

    画像
    「予定」はGoogleカレンダーをAIエージェントやGASで読み取り。表示は使いやすいように改造。

    自分が使うツールを集約するとともに、
    使いやすい形にカスタマイズできるのが
    個人開発のいいところだ。


    コンソールのつくり方:道具は4つ


    使った道具は4つ。
    ClaudeCode以外は無料の範囲内でできる。

    画像
    コンソールを作るための4つの道具。絵・体・声・頭脳。

    【Claude Code(Codexでも可)】
    組み立て役。画面を作り、動きの計算を書き、編集ソフトの操作を手伝う。

    【ChatGPT】
    絵の係。AIの全身と、目・眉・口などの部品、表情の違いの素材を描く

    【VOICEVOX】
    声の係。台詞を声にする(もち子さんの声)

    【Live2D(Cubism の無料版)】
    動きの係。絵を、まばたきや首のかしげで動く体にする


    苦労した点:動きの仕組みづくりは手作業


    AIを使うことで素人の自分でも
    こんなツールを作れるようになった。

    ただし、全自動ではできない。

    コンソールの設計は
    AIでつくってもらえる。

    画面を作る、声をつなぐ、
    予定を取りに行く仕組みづくりなど。

    AIは頼めば一瞬でできる。

    問題は、体や表情、
    キャラクターの部分だ。

    動きを出すためには、
    絵をパーツに分けたり、
    動かすための作業が必要になる。

    画像
    絵をパーツに分けたイメージ画像。動きを出すにはそれぞれに設定が必要。

    キャラクターの部分に関しては
    AIと二人三脚の状態だった。

    VTuber の作り方などを参考に調べて、
    試しながら作った。

    家事と育児の合間に、
    あーでもないこーでもないと試行錯誤して、
    ようやく及第点くらいのものができた。


    おわりに:夢見たAIに、少し近づいた


    AIがまばたきをする。
    表情が変わり、声が返ってくる。

    文字だけのAIとは、距離の感じ方が違う。

    「楽しい」だけではなく
    「機能」も備えている。

    夢見ていたAIとの会話に、少し近づいた。

    まだまだ実装できていな部分はある。

    ただ、AIの力を借りれば
    素人でも、ここまでできる。

    こだわりがなければフリーの配布物や
    お金を出して作ってもらうのもいいと思う。

    ただし、
    自分で苦労して作ったものが動く瞬間。

    その瞬間の感動も醍醐味だと思うので、
    興味のあるかたは是非自作してみてほしい。

    追記、少し続きを書きました。



    画像

    #AIエージェント #AIパートナー #ClaudeCode #Live2D #ChatGPT #VOICEVOX #Claude #AI #生成AI #AI活用 #VTuber #AIキャラクター #デスクトップマスコット #業務効率化 #やってみた #個人開発

     
     
    「家計簿が続かない」「献立で疲れた」「保育園プリントで毎月パニック」── 共働き世帯の決断疲れを、Excel・スプシ・GAS・AIで仕組み化。30代研究開発10年・1児の父。

    あなたへのおすすめ