メインコンテンツへスキップ
見出し画像

AIに動画を全部作らせたら失敗だらけだった。4回作り直して分かったこと

    「これからはAIが動画も全部作ってくれる時代だ」

    そんな言葉を見かける機会が増え、私自身もAIによる動画自動制作に大きな期待を寄せていました。動画編集の専門スキルがなくても、AIエージェントに要件を指示するだけで魅力的なショート動画が自動で組み上がる――。個人でWebツールを作っている私にとって、これほど心強い味方はありません。

    そう思い、自作ツールのプロモーション動画制作をAIエージェントに任せてみることにしました。

    しかし、実際に上がってきた最初の動画を確認したとき、その期待は打ち砕かれました。

    • 画面の中央に、小さく縮小されて読めないアプリ画面

    • 動画なのに、15秒以上もピクリとも動かない静止状態

    • キャラクターは動いているのに、ツールの魅力が伝わらない構成

    AIの報告書には「自動テストはすべて合格」「全編デコードもエラーなし」と記録されていましたが、人間が見る動画としての品質には程遠い状態でした。

    結局、初期試作から始まって、v1、v2、v3c、そして最終版のv4に至るまで、**4段階の作り直し(リテイク)**を重ねることになりました。画面構成を一から見直し、動画の尺を半分近く削り、動的な操作部分だけを厳選する作業が必要になったのです。

    この記事では、自作Webツール「Excel関数ナビ」の紹介動画をAIエージェントと制作した実際の記録に基づき、AIによる動画自動制作で何が起き、どんな壁にぶつかり、それをどう改善したのかを事実に基づいて率直にお伝えします。


    第1章:なぜAIで動画を作ろうと思ったのか

    動画制作の対象となったのは、私が個人開発して公開したWebツール**「Excel関数ナビ(v2.4)」**です。

    画像

    「Excel関数ナビ」は、難しい関数名を暗記していなくても、「条件に合うものだけ合計したい」といった日本語の目的から最適な関数を探せる無料ツールです。v2.4ではCSV読み込みからの関数提案や、指示文からの棒グラフプレビュー、Excel保存(.xlsx)などの機能を追加しました。

    個人開発のツールは、公開しただけでは利用者に届きません。そこで、TikTok、YouTube Shorts、Instagram リールといった縦型ショート動画を活用し、実際の操作感やツールの実用性を広く発信しようと考えました。

    動画の案内役には、オリジナルキャラクターの**「ゴリ子」と「アオ」**を起用しました。

    • ゴリ子: 関数が分からず困っている女の子(音声:VOICEVOX・波音リツ)

    • アオ: 便利な使い方を解説するメガネ男子(音声:VOICEVOX・雨晴はう)

    制作環境には、検証済みのキャラクター素材とVOICEVOXの音声合成環境があり、PC上で自律的にファイル操作やスクリプト実行を行えるAIエージェント(Claude Code)が稼働していました。

    「素材と音声があり、コードを実行できるAIエージェントがいるのだから、指示を出せば短時間で実用的な紹介動画が自動生成できるのではないか」

    そう考えたことが、一連の試行錯誤の出発点でした。


    第2章:最初の動画で失敗――「動かない画面」と「小さすぎるアプリ」

    「Excel関数ナビ v2.4の機能を紹介する縦型ショート動画を作って」と指示を出したところ、制作の最初の段階で技術的な問題が発生しました。

    ブラウザ自動化ツール「Playwright」で操作録画を試みたところ、ブラウザ(Edge)の一時プロファイル作成エラーが発生して録画に失敗したのです。AIエージェントは手動録画に切り替えるのではなく、「手元にある公開版スクリーンショット9枚を使って静止画から動画を合成する」という代替処理を自動選択して制作を進めました。

    それ以前に作成されていた初期試作(54.17秒)では、ナレーション終了後の末尾約15秒間が無音のまま放置される問題がありました。AIはそれをURL案内カードの4秒表示(42.70秒)に修正するプロセスを経て、最初の完成版である**「v1(キャラクター紹介リール)」**を出力しました。

    画像

    出力されたv1の品質検査レポートには、以下の数値が並んでいました。

    • 出力ファイル:`promo_kansu_navi_v24_character_reel_v1.mp4`

    • 実測尺:45.155秒

    • 解像度:1080×1920(縦型・30fps)

    • 音声:VOICEVOX音声8本を配置

    • 機械検査:全編FFmpegデコード成功、音割れなし、アスペクト比正常

    システム上の数値としては完全な合格です。しかし、実際に生成された動画を確認すると、大きな問題が判明しました。

    **「アプリの画面が小さすぎて、何が行われているのか視認できない」**という点です。

    画像

    v1のレイアウトは、上部に見出しラベル、下部にゴリ子とアオの大きな立ち絵、最下部に2行の字幕テロップが配置され、主役であるはずのアプリ画面は中央の小さなカード枠(920×720ピクセル)に縮小されていました。スマホ画面で見ると文字や検索枠が小さすぎて判読できません。

    さらに、画面素材自体が静止画でした。AIは動きを補うため、画像処理ライブラリ(Pillow)でマウスカーソルの図形(三角形とパルス円)を自前描画し、画面上を移動させていました。しかし画面はスクロールせずボタンもへこみません。操作の快適さや実際のツールの挙動が伝わる状態ではありませんでした。


    第3章:キャラクターを改善しても解決しなかった――「凝る場所」の履き違え

    「画面が見づらいなら、キャラクター演出の完成度を高めれば見応えが生まれるのではないか」

    この時点での判断は、制作の焦点を誤った方向へ向かわせてしまいました。AIとともに、キャラクター演出の高度化に手を入れてしまったのです。

    画像

    プロジェクト内には、ゴリ子(口4段階・表情差分4種)とアオ(口3段階)の立ち絵パーツが存在していました。AIは合成スクリプト(`build_character_usage_reel.py`)を構築し、VOICEVOX音声の波形データに基づいて、発話区間だけ口を開閉させるリップシンク処理を実装しました。

    セリフの文脈に合わせてゴリ子の表情を「困り」から「驚き」「笑顔」へ切り替え、発話中のキャラクターを数ピクセル上下に動かす微細なアニメーションやドロップシャドウも追加しました。さらに、PC環境(8GBメモリ)での処理落ちを防ぐため、5〜10秒ごとの低負荷チャンクに分割レンダリングした上で、FFmpegで無劣化結合する工夫まで行われました。

    生成されたキャラクターの動作自体は破綻なく仕上がっていました。しかし、全体を通して視聴した結果、根本的な問題が浮き彫りになりました。

    **「キャラクターが動いていても、ツールの機能や操作感が視聴者に伝わらない」**ということです。

    視聴者がショート動画に求めているのは、キャラクターのアニメーション技術ではなく、「そのツールが自分にとって役に立つのか」「どのように動くのか」という情報です。紹介対象であるアプリ画面が中央で小さく静止したままでは、周辺演出をいくら高度にしても実用性を満たせませんでした。注力すべき優先順位を取り違えていたのです。


    第4章:実操作録画への変更――「静止画スライド」から「生きている動画」へ

    「静止画を加工して並べる手法はやめ、実際のブラウザを自動操作した録画映像を主役に据えるべきだ」

    制作方針を大きく転換しました。第2章で発生したEdgeのエラーを回避するため、Playwrightから環境内にインストール済みの「Google Chrome」を直接指定して操作する方式にスクリプトを改修しました。

    この改修により、ブラウザの自動操作録画が安定して実行できるようになりました。

    • 検索枠に「条件に合うものだけ合計したい」と日本語が自動入力される

    • 絞り込みが行われ、SUMIF関数の解説が展開される

    • サンプルCSVが読み込まれ、データに適した関数候補が提示される

    • 指示文の入力から棒グラフが自動生成され、Excel保存操作が行われる

    この一連の操作が、解像度1280×900・25fpsのWebM動画として正常に記録されました。

    この実録画素材をもとに、レイアウトを刷新して出力されたのが**「v2(実操作中心リール)」**です。

    画像

    v2では、以下の仕様変更を行いました。

    1. アプリ画面の拡大: 横幅1440相当まで拡大して画面中央に配置。v1の中央小枠に比べ、操作画面を大幅に拡大しました。

    2. 常時字幕の全削除: 画面下部を占有していた字幕テロップを排除し、アプリUIの可読性を確保しました。

    3. キャラクターの退避: 操作説明中は立ち絵を非表示とし、動画末尾の案内(CTA)画面にのみ登場させました。

    ただし、このv2の時点でも画面設計には課題が残っていました。元の録画素材が横長(1280×900)であったため、縦型(9:16)に収めるために拡大した結果、画面の左右が一部クロップ(切り取られ)され、画面の上下には背景色の余白が大きく残るというレイアウト上の制約が依然として存在していたのです。

    そして、このv2を通し視聴した際、さらに深刻な問題が発覚しました。


    第5章:動画が止まって見えた原因――「フリーズした動画」の正体

    完成したv2(44.920秒)を通しで確認した際、明らかな異常が確認されました。

    冒頭の検索入力シーンはスムーズに進むものの、CSV読み込みの場面に入った直後、画面の動きが完全に停止したのです。

    音声ナレーションは「CSVを読み込むと、データに合った関数候補も確認できます」と進行しているにもかかわらず、映像はCSVテーブルが表示された状態のまま一切変化しません。その後も画面は動かず、約15秒間にわたって静止状態が続きました。続くグラフ作成の場面でも、グラフが表示されたあとに約16秒間にわたり画面が静止しました。

    画像

    45秒弱の動画のうち、合計で30秒以上もの区間が静止画像のように止まって見える状態でした。

    「メモリ不足」ではなく「操作後の待ち時間」が原因だった

    当初は、「8GBメモリのPC環境であるため、録画処理や動画エンコードの負荷によってコマ落ちや処理停止が起きたのではないか」という懸念を持ちました。

    しかし、フレームごとの画像差分を自動解析する検査プログラムを実行したところ、事実は異なっていました。

    画像

    1秒あたり2コマ(2fps)で連続フレームの差分を計測した検査ログには、以下の客観的データが記録されていました。

    • CSV分析パート(約5〜33秒): 連続約15秒間にわたり、フレーム間の変化量がほぼゼロ(完全静止)

    • グラフ作成パート(約6〜36秒): 連続約16秒間にわたり、フレーム間の変化量がほぼゼロ(完全静止)

    原因はハードウェアのメモリ不足ではありませんでした。**「Playwrightによるブラウザ操作が完了したあとの『結果画面の待機時間』を、AIがそのままタイムラインに繋いで動画を書き出してしまったこと」**が真の原因でした。

    AIエージェントは、音声ナレーションの尺(約45秒)に合わせて動画クリップを配置しました。しかし、AIは「その区間の画面内で実際に動きが生じているかどうか」を視覚的に評価していませんでした。そのため、処理完了後に画面が静止している長時間の待機クリップをそのまま採用し、視聴者から見てフリーズしたように感じられる動画を生成してしまったのです。

    なお、録画素材のフレームレートに関しては、PlaywrightのWebM録画が25fpsであったため、v2の検査ログ(`quality-inspection.md`)にある通り、出力時にも25fpsを維持して30fps化による重複フレームの発生を避ける設計が取られていました。問題はフレームレートの変換ではなく、純粋に**「動きのない時間帯を編集でカットせず放置したこと」**にあったのです。

    AIは「指示されたスクリプトをエラーなく実行する」という要件は満たしますが、「人間が視聴した際に違和感を持たないか」というテンポやリズムの適切さまでは判断してくれません。自動化に頼り切った際の盲点がここにありました。


    第6章:最終版で何が変わったのか――「24秒への凝縮」と「捨てる勇気」

    画面が止まって見えた原因が「操作完了後の待機時間の混入」であると特定できたことで、取るべき改善策は明確になりました。

    「画面に変化が起きていない待機区間はすべてカットする。キーボード入力、ボタン押下、グラフの立ち上がりなど、『動きが生じている動的区間』だけを厳選して繋ぎ直す」

    この方針に基づき、タイムラインの抜本的な再編集を行いました。

    画像

    1. 縦型(720×1280)による再録画

    v2で課題として残っていた横長素材の拡大による左右クロップと上下の余白を解消するため、Playwrightの画面サイズを「720×1280(縦型)」に設定して再録画を実施しました。これにより、縦型画面の全域にアプリUIが適切に収まるようになりました。

    2. 動的区間の厳選と尺の半減(45秒 → 24.6秒)

    静止していた待機区間をすべて除外し、画面に動きがある区間のみを抽出しました。

    • 0.0〜9.6秒: ゴリ子の悩みナレーションに合わせ、日本語入力からSUMIF検索結果が表示されるまでの実操作

    • 9.9〜15.0秒: CSV読み込みの直後に、データに応じた関数候補が一覧表示される瞬間

    • 15.4〜19.6秒: 指示入力から棒グラフが立ち上がる瞬間

    • 19.6〜24.6秒: 末尾CTAカード。ゴリ子とアオが再登場し、URLを提示

    画像

    動的な区間のみに絞り込んだ結果、動画全体の尺は44.920秒から24.613秒へと、約45%削減されました。

    3. 紹介する機能の取捨選択

    v1やv2の段階では、実装した新機能を漏れなく紹介しようとして、数式のセル反映やテーブル編集、Excelファイルの出力手順まで詰め込もうとしていました。しかし、20秒〜30秒のショート動画ですべてを網羅しようとすると、情報過多になりテンポが破綻します。

    最終版では、短時間で伝わりやすい「日本語検索」「CSVからの関数提案」「グラフ作成」の3点に絞り込み、残りの機能説明はあえて割愛する判断を下しました。

    4. 25fpsの維持と全編同期の確認

    v2に引き続き、録画本来の25fpsを保持したままエンコードを行い、重複フレームによる水増しを排除しました。

    こうして完成したのが、公開用の最終バージョンである**「v4(実操作リール最終版)」**です。

    画像

    完成したv4の通し視聴および品質検査を実施した結果、静止区間は完全に解消され、音声ナレーションと実操作映像の同期が正しく成立していることが確認されました。全編のFFmpegデコード検査もエラーなく通過し、24.613秒というコンパクトな尺の中でツールの主要な操作感がテンポよく伝わる動画に仕上がりました。


    第7章:AI動画制作で学んだ5つの教訓

    初期試作からv4に至る4段階の制作プロセスを通じて得られた、AIツールによる制作自動化の教訓は以下の5点です。

    1. AIの「完了報告」は「処理の正常終了」に過ぎない

    AIが提示する完了報告は、スクリプトがエラーコードを出さずに終了したことを意味するだけであり、人間にとっての見やすさや面白さを保証するものではありません。人間による通し視聴での最終確認は不可欠です。

    2. 自動テストの「PASS」と「視聴品質」は別物である

    解像度、コーデック、ファイル整合性といった機械的テストはAIで自動化できます。しかし、「15秒間フリーズして見える」といった問題は、ファイル形式上は正常な動画としてパスしてしまいます。機械的な検証と人間の認知に基づく品質検証は明確に区別して考える必要があります。

    3. 主役を明確に定めなければ演出は空回りする

    v1ではキャラクターの口パクや表情の切り替えに技術的な労力を費やしましたが、視聴者がツール紹介動画に求めていたのは実際の操作感でした。何を主役に据えるべきかを明確にし、画面面積と尺のリソースを優先配置することが重要です。

    4. AIと人間の役割を明確に分担する

    • AIが得意な作業: Playwrightによる正確なブラウザ自動操作、FFmpegによるエンコード、フレーム差分の数値解析

    • 人間が判断すべき作業: 紹介する機能の絞り込み、スマートフォン画面での視認性評価、テンポや間の適切さの判断

    すべてをAIに丸投げするのではなく、人間が要件定義と品質判断を行い、正確性と速度が求められる実作業をAIが担うという分担が合理的です。

    5. 制作ログと検査記録が客観的な改善を可能にする

    バージョンごとの仕様、尺、ファイルサイズ、フレーム差分の検査結果をMarkdownログとして記録していたからこそ、「v2には15秒の静止区間がある」と客観的に特定し、迷走することなく具体的な改善策を実行できました。


    第8章:次回はどう改善するか――これからの動画制作ロードマップ

    v4によって一定の品質基準を満たす動画が完成しましたが、制作工程全体にはまだ効率化の余地があります。今回の経験を踏まえ、次回以降の制作に向けて以下の改善方針を検討しています。

    ※なお、以下に挙げるツールや手法は、次回以降の検証に向けて検討している方針であり、今回のv4制作ですでに導入したものではありません。

    1. Remotionの試験導入

    今回はPythonスクリプトとFFmpegを自作して動画を合成しましたが、タイムラインやアニメーションをReactコードでプログラマブルに制御できる「Remotion」の試験導入を検討しています。Web技術を活かすことで、テロップや場面転換の制御をより体系的に記述できる可能性があります。

    2. 立ち絵素材の改善とレイアウトの工夫

    今回は操作画面の可読性を最優先したため、キャラクターの表示を末尾のCTAのみに絞りました。今後は、操作画面を遮らないワイプ配置や画面隅のリアクションなど、操作の視認性とキャラクターの親しみやすさを両立できるレイアウトを模索します。

    3. 動画編集ソフト(CapCut等)での手動微調整の併用

    コンマ数秒単位のタイミング微調整やSE(効果音)の配置など、コードで調整すると手間がかかる工程については、AIにベースを生成させた上で、人間が動画編集ソフトを用いて短時間で手動調整するハイブリッドな制作フローを検証します。

    4. Playwrightでの実操作録画の効率化

    今回は通常操作を録画したあとに静止区間をカット編集しました。次回は、Playwrightの撮影用スクリプトの段階で「待機時間を最小化した専用の操作シナリオ」を記述しておくことで、事後の編集作業を大幅に削減できると考えています。


    おわりに

    「AIに指示を出せば、何もしなくても自動で完璧な動画が仕上がる」という理想は、現時点ではまだ現実的ではありません。

    今回の制作でも、画面が小さすぎて読めなかったり、15秒間も画面が止まったりと、自動化特有の失敗が相次ぎました。しかし、「AIの出力を人間が観察し、データに基づいて原因を特定し、適切な指示を出して修正させる」というサイクルを回すことで、高度な専門スキルがなくても、実用的な動画を完成させることができました。

    AIは全自動の魔法の装置ではなく、指示と検証を適切に行うことで真価を発揮する強力な制作パートナーです。

    失敗を客観的に記録し、AIとともに改善を重ねていく姿勢こそが、これからのAIを活用したコンテンツ制作において重要な鍵になると実感しています。

    本記事の記録が、AIを活用した動画制作や自動化に取り組む方々の参考になれば幸いです。

    最後までお読みいただき、ありがとうございました。


    今回紹介したツール・関連リンク

     
     

    ぼん

     
     
    学生がAIを使って色々なことに挑戦中!🦍 ChatGPT・Claude Codeを使ったAI活用、副業、コンテンツ制作など、実際に試して分かったことを発信しています! AI初心者の方にも分かりやすい発信を目指しています。 一緒にAIを使いこなしていきましょう!

    あなたへのおすすめ