メインコンテンツへスキップ
見出し画像

AIエージェントに動画を作らせるためのフレームワークHyperFrames

    調査メモ

    HyperFramesは、HTML/CSS/JavaScriptで書いた「ウェブページ」を、そのままフレームごとにキャプチャしてMP4動画にする、エージェント(LLM)向けのオープンソースHTML→動画フレームワークです。

    人間がAfter Effectsでタイムラインをいじる代わりに、「LLMがHTMLを書く → Headless Chromeがフレームをレンダリング → FFmpegでMP4にする」という完全にプログラマブルな動画生成パイプラインを提供します。

    HyperFramesとは何か


    • HeyGenが公開したオープンソースのHTMLベース動画レンダリングフレームワークで、「HTML in, MP4 out」がコンセプト。linkedin+2

    • 動画コンポジションを普通のHTML + CSS + JSで記述し、一部にdata-*属性などのメタ情報を付けるだけで、MP4/MOV/WebM動画として書き出せます。hyperframes+2

    • LLMやエージェントがネイティブに扱えるフォーマット(HTML)を採用しているため、「プロンプト→エージェントがHTML生成→即動画」という一連の自動生成に最適化されています。note+1youtube

    コアアイデア:HTMLがそのまま動画の「スコア」になる

    • オーサリングフォーマットはReactや独自DSLではなく、プレーンなHTML+CSS+JavaScript。そこにdata-*属性や簡単なスキーマで「ここがレイヤー」「ここがタイミング」といった意味付けをします。youtubereddit+1

    • アニメーションはCSSアニメーションやGSAP、Lottie、Three.jsなど既存のWebスタックをアダプタ経由で使える設計になっており、Webで表現できるものはほぼそのまま動画フレームにできます。reddityoutubehyperframes

    • 実質「ブラウザでレンダリングできるもの=動画の1フレーム」とみなして、フレーム単位でキャプチャしていく仕組みです。youtube+1hyperframes

    レンダリングの仕組み(技術的な中身)

    • 内部ではHeadless ChromiumをPuppeteer(Chrome DevTools Protocol)経由で制御し、OSの実時間とは切り離された「仮想タイムコード」でBeginFrameを進めながら、各フレームのピクセルバッファを取得します。youtubereddit

    • 各フレームをメモリ上でキャプチャし、そのままFFmpegにストリームとして渡してH.264などの動画形式にエンコードするため、ディスクI/Oを最小化しつつ高精度なフレーム列を生成できます。linkedinyoutube

    • 同じHTML・CSS・JS・シードを入力すると、ハードウェアや負荷状態に依存せず「バイトレベルで同一の動画」を出すように設計されており、この決定論的(deterministic)な性質がCI・自動テスト・大量バッチレンダリングに向いています。hyperframes+1youtube

    なぜ「エージェント向き」なのか

    • LLMはWebの学習を通じてHTML/CSSの構造に非常に慣れているため、「複雑な専用動画DSLを覚えさせる」よりも、すでに得意なHTMLで動画を記述させた方が圧倒的に安定してコードを生成できます。note+1youtube

    • HyperFramesは、Claude CodeやCursor、Gemini CLI向けの「スキル」としても提供されており、px skills heygen/hyperframesのようなコマンドでインストールすると、エージェントがスキーマを学んで一発で動画コンポジションHTMLを書けるようになります。linkedin+1

    • 従来のReactベースの動画フレームワークは仮想DOMやライフサイクルが複雑で、LLMがコード生成するとHookや依存配列などでコケがちでしたが、HyperFramesはそのレイヤーを廃して「素のHTML+時間管理」に寄せることで、LLMから見た複雑さを大幅に下げています。youtube+1

    既存の動画生成との違い

    • 拡散モデル系(Runway, Pikaなど)

      • プロンプトから直接ピクセルを生成する「生成モデル」で、結果は確率的・再現性が低いのが普通。

      • HyperFramesは画像生成ではなく「レンダリングエンジン」であり、入力HTMLが同じなら結果のピクセルも毎回同じになる決定論的パイプラインです。youtubehyperframes

    • React/Remotion系のコードベース動画

      • 高機能だが、LLMにとってはJSXや状態管理など学ぶべき構造が増え、生成エラーが出やすい。

      • HyperFramesはプレーンHTMLのタイムライン制御に特化し、エージェントが一気に60行程度の単一HTMLファイルを書くだけで完結するワークフローを想定しています。reddityoutube+1

    • 従来の編集ソフト(After Effects, Premiereなど)

      • 手作業でタイムライン編集・レンダリングを行う前提。

      • HyperFramesは最初から「API/CLI前提」で、CI/CDやエージェントオーケストレーションから叩きやすく、高頻度での自動レンダリング・差分更新に向きます。youtubelinkedin+1

    典型的なワークフロー例

    1. プロンプト

      • 例:「このLPのURLから、30秒のプロダクト紹介動画を作って」「このJSONの売上データから、アニメーション付き棒グラフ動画を作って」など。linkedin+1

    2. エージェントがHTMLを書く

      • Claude Codeや他のエージェントが、HyperFramesのスキーマに従ってHTML/CSS/JSとdata-*属性、GSAPタイムラインなどを記述した「1本のHTMLファイル」を生成。linkedinyoutubereddit

    3. プレビュー

      • ローカルのブラウザまたは簡易スタジオで、そのHTMLを開いてライブプレビューし、デザインやタイミングを確認。hyperframes+1

    4. レンダリング

      • CLIからHyperFramesレンダラーを呼び出し、Headless Chromeで各フレームをレンダリングしてFFmpegに流し込み、最終的なMP4/MOV/WebMを生成します。linkedin+1youtube

    向いているユースケース

    • UIモック・プロダクトツアー

      • WebアプリのUIをHTMLで再構築し、オンボーディングツアーや新機能紹介動画を自動生成。youtubehyperframes

    • ダッシュボード・データビジュアルの動画化

      • JSONのメトリクスを読み込み、アニメーション付きチャートやインフォグラフィックスをレンダリングして、そのまま解説動画として書き出す用途。youtubelinkedin+1

    • テキスト中心・ブランド表現重視の動画

      • タイポグラフィ、ブランドカラー、マイクロインタラクションなど、HTML/CSSで作り込みやすい要素を活かしたアニメーション動画(告知動画、LPのダイジェストなど)。note+1youtube

    • URL→動画変換

      • 既存のWebページURLをそのまま食わせて、スクロール・ハイライト・ズーム等のアニメーションを付けた「ページ紹介動画」に変換するワークフロー。linkedin+1youtube

    現時点の制約・課題

    • まだ「本格的なノーコード編集UI(キーフレームエディタやエフェクトグラフ)」は揃っておらず、基本はヘッドレスレンダラー+簡易プレビューという位置づけです。reddit

    • リアルタイムコラボ編集や、After Effects級のビジュアルエディタはこれからの領域で、現状は「コードで書ける人(または書けるエージェント)」向けの環境と言えます。note+1

    Claudeや自作エージェントから触るイメージ

    • Claude Codeなどでは、px skills heygen/hyperframesのような形でスキルをインストールし、/hyperframesコマンドなどから「このプロンプトに沿った30秒動画を作って」と投げると、エージェントがHTMLコンポジションを生成し、そのままMP4レンダリングまで行います。linkedin+2

    • 自前のエージェントの場合も、「プロンプト→HTML生成→HyperFramesレンダラーCLI/HTTP API呼び出し」というシンプルな3ステップでパイプラインを組めるので、あなたのようなエージェント・オーケストレーションをやっている人にはかなり相性が良い設計です。youtubehyperframes+1

    いちばん基本の使い方は「NodeとFFmpegを入れて、npx hyperframesでプロジェクトを作り、HTMLを書いてpreview→renderする」流れです。youtubehyperframes.mintlify
    AIエージェント経由で使う場合は、Claude CodeやCursorにHyperFramesスキルを入れて、/hyperframes付きのプロンプトでHTMLコンポジションを書かせ、そのままレンダリングします。aisharenet+1

    準備(前提)

    • Node.js 22以上。hyperframes.mintlifyyoutube

    • FFmpeg がローカルにインストールされていること。youtubehyperframes.mintlify

    • 公式はApache 2.0ライセンスのOSSで、GitHubリポジトリ(heygen-com/hyperframes)とドキュメントサイトがあります。antigravity+2

    ローカルCLIでの基本フロー

    1. プロジェクト作成

    npx hyperframes init my-video cd my-video

    これでサンプルのHTMLコンポジションや設定ファイルが入ったディレクトリが作られます。hyperframes.mintlifyyoutube

    1. プレビューしながらHTML編集

    npx hyperframes preview
    • ブラウザでライブプレビューが立ち上がり、compositions/配下のHTMLを編集すると即反映されます(ビルド不要)。youtubehyperframes.mintlify

    • コンポジションはプレーンなHTMLで、data-composition-idなどの属性で「これは1本の動画です」とマークします。heygen+1

    簡単なHTMLイメージ:

    <!-- compositions/product-promo.html --> <div data-composition-id="product-promo"> <h1 data-clip="title">My Product</h1> <p data-clip="tagline">Fast. Simple. Powerful.</p> </div>

    このようなHTMLに、CSSやGSAP・Lottieなどでアニメーションを付けていきます。heygen+1

    1. 本番レンダリング(MP4出力)

    npx hyperframes render \ --composition product-promo \ --output output/product-promo.mp4
    • 内部でHeadless Chrome + Puppeteerで各フレームをキャプチャし、FFmpegでMP4にエンコードします。youtubehyperframes.mintlifyyoutube

    • 同じHTMLと設定なら、毎回同じピクセル列が生成される決定論的レンダリングです。antigravity+1

    Claude Code / Cursor から使う(エージェント駆動)

    1. スキルのインストール

    npx skills add heygen-com/hyperframes

    このスキルを入れることで、Claude Code / Cursor / Gemini CLI などのエージェントがHyperFrames用のHTMLパターンを理解した状態になります。hyperframes.mintlify+1

    1. プロンプトで動画を指示

    エージェント側では、先頭に/hyperframesを付けてプロンプトします:

    /hyperframes 10秒のプロダクト紹介動画を作って。
    黒背景に、白い太字タイトルを中央にフェードインさせて、下に短い説明文を出して。BGMも軽く入れて。hyperframes.mintlify

    • /hyperframesを付けると、エージェントはHyperFramesの規約(data-composition-idやdata-clip、タイムライン構造など)に沿ったHTMLを生成します。aisharenet+1

    • 生成されたHTMLはローカルのcompositions/配下に保存され、npx hyperframes previewで即確認できます。aisharenetyoutube

    1. AIと会話しながら修正

    気になるところは、同じスレッドで細かく指示して差分編集させます:

    タイトルを2倍の大きさにして。
    背景をブランドカラーの#0055ffに変更して。
    最後の1秒にロゴとCTAボタンを出して。

    こうした「動画編集者に指示するノリ」での短い変更指示が、HyperFramesの推奨ワークフローです。mejba+1

    1. レンダリング

    最終版ができたら、ローカルで:

    npx hyperframes render --composition product-promo --output dist/product-promo.mp4

    CIや自動バッチ処理なら、同コマンドをジョブに組み込むだけでOKです。antigravity+1youtube

    プロンプトのコツ(エージェント利用時)

    公式の「Prompt Guide」で推奨されているポイントをざっくりまとめるとこんな感じです。hyperframes.mintlify

    • 必ず「尺」を指定する(例:10秒、30秒、5シーンで各3秒など)。hyperframes.mintlify

    • アスペクト比(16:9 / 9:16 / 1:1)を明示する。

    • 入力コンテキスト(URL, PDF, CSVなど)があるなら、一緒に渡して「これを要約して動画にして」と指示する(Warm start)。antigravity+1

    • 1本目を作ったあと、細かい変更は「タイトルをもっと大きく」「背景を暗く」「このタイミングでロゴ」というように、小さく追加指示していく。hyperframes.mintlify

    もっと深く触るなら

    • 公式ドキュメントのQuickstartとIntroduction(hyperframes.mintlify.app)に、init→preview→renderの一連フローとサンプルがまとまっています。reddit+1

    • hyperframes-student-kitという学習用リポジトリには、HyperFrames + GSAPで作った12個の完成プロジェクトが入っていて、構成の参考になります。ossinsight+1

    あなたへのおすすめ