メインコンテンツへスキップ
見出し画像

ボタンより会話。自作AIアニメ制作ボードで起きた6つの事故と直し方

    AIで短いアニメを作る工程を、ひとつの画面でまとめて回す制作ボード「studio」を自分用に作りました。Next.jsとClaude Agent SDKで、11月4日の夜から2日ほどで大枠ができました。

    意外だったのは、作っている間に起きた事故の多くが「Claudeが気を利かせた」結果だったことです。そして直し方はボタンを増やすことではなく、Claudeに渡す道具とルールを変えることでした。

    画像
    今のstudio。上に8つのタブが並び、これは最後の「後処理」タブ(BGMとSNS向けの仕上げ)。画面は韓国語です

    「見るだけのページ」は数分で却下された

    最初はもっと軽く考えていました。1本作り終えたあと、Claudeに「この制作過程をHTMLにまとめて」と頼みました。カットを確認する、シナリオを作る、それを元にプロンプトを作る、声を決める、最後に生成する。この流れを1ページで見られればいいと思っていたのです。

    5分ほどで、実際のカットや音声を並べたHTMLが1枚できました。でも私は公開から15秒ほどで「見た目がひどい。作り直すならNext.jsで」と返しました。欲しかったのは読む資料ではなく、作業する道具でした。

    そこから約10分で、最初のNext.js版が立ち上がりました。上に工程、左に縦長のプレビュー、右に作業画面、下にカット・セリフ・音声波形のタイムラインという、動画編集ソフトに近い形です。

    画像
    最初のNext.js版。この時はまだ7工程で、7番目が「後半補正」でした。画面は韓国語です

    ボタンではなく「話しかける」仕組み

    今のstudioは、コンセプト→キャラクター→シナリオ→カットシーン→音声→プロンプト最適化→動画生成→後処理の8タブです。画面の右にチャット欄があり、そこに書くとClaudeが作業します。

    作る途中で私が何度も言ったのは、「ボタンを作ってほしいんじゃない。Claudeに言えば直るように、道具を作ってほしい」ということでした。Claudeがボタンや入力欄で解決しようとするたびに、同じ注文を繰り返しました。

    仕組みはシンプルです。

    • 送るたびに、今のボード状態(どのタブにいるか、カットは何枚か、声は決まったか)がJSONでメッセージの頭に付きます
    • Claude Codeの標準ツールと設定ファイルは切ってあり、使えるのはボード専用の道具(今は51個)と、画像・動画・音声サービスにつなぐ道具だけです
    • 残高や見積もりなどの無料の確認はそのまま実行します。音声は回数に上限があり、動画と画像生成は画面に出る承認カードを押さないと動きません
    [今のボード状態] {"currentTab":"コンセプト", "cuts":[], ...}
    [ユーザー] 異世界ジャンルで、はっきり違うコンセプトを3つ出して

    (実際のメッセージを日本語に訳したものです)

    コロッケと鳩の話(ep04)を1本作った時は、深夜1時過ぎから2時47分までの約1時間40分で、ボードのClaudeを32回呼びました。半分以上はボタンが送る決まった文面で、私が自分で打った指示はこんな短さです。

    • 「1番で」
    • 「3番いこう」
    • 「3カット目、なんでこんなに長いの」
    • 「最後の字幕が一瞬で消えた」

    「7番」はカットではなかった

    ここからは事故の話です。最初の3つは、どれも「確認すればよかった」系でした。

    1つ目。最初の版を見ながら「7番を前に持ってきた方がいいかも」と言いました。私が言いたかったのは7番目の工程「後半補正」の順番です。ところがClaudeは動画のカット7だと受け取り、カット6の終わりを0.875秒切って、カット7を前に詰めた動画を作りました。

    画像
    「7 後半補正」タブ。私の「7番」はこれのことでした

    すぐに「7は後半補正のこと」と伝えると、Claudeは編集を元に戻し、「番号がカットか工程か曖昧なら先に聞く」というルールを記録に足しました。ちなみに後半補正タブは、ノウハウがたまるまでいったん外すことにしました。あとで「BGM選びとSNS4か所のプレビュー」として後処理タブに生まれ変わっています。

    2つ目。Claudeがテスト用にエピソードを複製したのに、中のIDを元のまま(ep03)にしていました。そのせいで、テストで選んだキャラクターが本物のエピソードに保存されました。すぐ戻せて、バックアップとの差は下書き1枚だけ、クレジットも使っていませんでした。でも「テストのつもりが本番を上書き」は、一番やってほしくない種類の事故です。

    3つ目はお金が出ました。キャラ下書きの枠(プロンプトの型)を直したあと、サーバーが古いコードのまま動いていて、最初の3枚が古い設定で出てきました。NovelAIのAnlasは326から170に減り、そのうち78が無駄でした。この時に測った下書き1枚の値段が26 Anlasなので、ちょうど3枚分です。なぜ古いコードが残っていたのかは、結局わかっていません。

    頼んでいないのに描き直された「カット1」

    次の2つは、Claudeが自分の判断で動いた事故です。

    駅員のアカリさんの話(ep03)で、Nano Bananaでカットを1枚ずつ作っていた時のことです。いつまでもカット1しか出てこないので聞くと、Claudeはカット1を見て「顔の年齢感が設定とずれている」「構図が不自然」「スカーフがない」と問題を3つ見つけ、自分の判断で描き直していました。

    画像
    左が最初のカット1、右がClaudeが自分の判断で描き直した版。私は左のほうがいいと判断しました

    指摘自体はまったく的外れではありません。でも私の感想は「最初のほうがかわいい」でした。そして順番が逆です。まず全部出してほしい。直すところは私が見て言う。有料の再生成を勝手にやられると、良くならなかった時にお金だけ消えます。

    今はボードのClaudeへの指示に、こう書いてあります(意訳です)。

    カットはまず全部を一度出す。ユーザーが見て直せと言うまで、絶対に作り直さない。気になる点はメモに残し、全部できてから伝える。

    Claudeの呼び出し自体は月額プランの範囲だと考えているので、私が気にしているのはNovelAI、OpenArt、ElevenLabsといった外部のクレジットです。「有料の作り直しは人が言った時だけ」は、ここから決めたルールです。

    声でも似たことがありました。ElevenLabsで声の候補を作ったら、どれも硬い。理由を調べると、声の説明文にClaudeが自分で「deadpan」「not cute」、それにアナウンス調を入れていました。つまり、硬くしてと頼んでいたわけです。公式ガイドにある「最初の文に言語・性別・年代・音質を書く」も守っていませんでした。今は、表情豊かなアニメのヒロイン演技を基本にして、文字の設定より選んだ絵の印象を優先させています。

    キャラはNovelAI、脇役はCodex、カットは1枚のシート

    道具の分担も、何本か作りながら決めました。

    • 主役:NovelAIで下書きを3枚出して、私が選びます
    • 脇役:Codexが主役の絵柄に合わせて描きます
    • カット:Nano Bananaで、場面転換ごとのカットを1枚の碁盤状のシートにまとめて描きます

    私が試した範囲では、1枚ずつ描くより、1枚にまとめて描いたほうが自然に見えました。

    画像
    ep04のキャスト。左3枚がNovelAIの主役下書き、右3枚がCodexの鳩。今回の脇役は鳩です

    段のずれたシートは、Claudeにハサミを渡して直した

    最後の事故は、このシートの切り抜きでした。2×2で頼んだのに、Nano Bananaは上の段を低く、下の段を縦長に描いてきました。自動の切り抜きは段の境目を真ん中あたりでしか探していなかったので、下のカットが混ざったり、頭が切れたりしました。

    画像
    Claudeが見ているシート。黄色の格子は200pxごと。上の段が低く、下の段が縦に長くなっています

    ここで手作業の切り抜き画面を作る手もありましたが、私が頼んだのは「Claudeが自分で切れるように道具を渡して」でした。そうしてできたのが、シートを格子付きで見る道具と、カットごとに座標を決めて切り直す道具です。作り直しではないので、クレジットはかかりません。

    切り直すと、今度は各カットの縦横比がばらばらに残りました。そこで「サイズの差はCodexで描き足して補正してみよう」と思いつき、2枚で試しました。顔はほぼ変わらず、私の判定は「大成功」です。ただし1枚は、見えていなかった脚を描き足したせいで膝をついた姿勢になりました。見えない部分は勝手に作られるので、今は姿勢をヒントとして渡しています。

    画像
    カット1の変化。左が自動切り抜き(下の段が混ざっている)、中央がClaudeの切り直し、右がCodexで9:16に描き足した版

    本番では、ボードのClaudeが自分でシートを見て、4カットを切り直し、9:16から外れた2カットをCodexで補正しました。補正は2枚で54秒ほどでした。そのあと動画を、Seedance 2.5 Draftの480pで29秒、1,750クレジットで1回だけ生成しています。1秒あたり約60クレジットです。

    画像
    完成動画の一部。コロッケを一口かじって宇宙に飛ぶ場面(480px GIF)

    自動テストは、最初のAgent SDK版で9個、2日目の深夜には56個まで増えました。

    学んだこと

    • 「作業する画面がほしい」と「見る資料がほしい」は別物です。最初に頼み方を間違えると、きれいな資料が1枚できて終わります
    • AIに任せる仕組みで効くのは、ボタンより「Claudeが使える道具」でした。道具なら、言葉の指示がそのまま作業になります
    • 気の利いた判断ほど危ないです。勝手な作り直しも硬い声も、Claudeなりの善意から出ていました。先に全部出して、直すのは人が見てから
    • お金が出る操作には、承認カードと回数の上限を付けておく。付けていても、古いサーバー1つで78 Anlasは消えます
    • 番号やIDのような短い言葉ほど、取り違えた時の被害が大きいです

    次は、鳩以外の脇役が複数いる話で、音声タイムラインの自動配置がちゃんと決まるか試します。


    このボードで作った作品は、moegenic.com で見られます。
    ほかの作品と制作の記録は、moegenic.com と Instagram(@moegenic.ai) と X(@moegenic_ai) にまとめています。

    あなたへのおすすめ