見出し画像

【創作系日記】Codexで『シュレーディンガーの○キブリ』半自動アニメ化

 昨日は、こちらのホラー小説をアップした訳ですが:

 ……最近、色々試しているMiniMax H3でアニメ化してみました。こちらです:

 今度は、ComfyUI MCPを使って、半自動でAIでやれないかな~と、エージェントであるCodexを使って作ってみることにしました。

 ChatGPTのGUIアプリで、完成した小説を読ませて:

MiniMax H3用のプロンプトと各シーン(5秒ずつ)の静止画を作成お願いします

プロンプトです!

 ……として、フレーム画像とプロンプトを作成してもらいました。
 この上で、

こちらを、ComfyUI MCPを使って(必要ならCodexを起動して)、MiniMax H3でHD動画作成お願いします。

プロンプトです!

 ……としたら、自動でCodexが立ち上がって、ComfyUIをAIから使うハーネス、ComfyUI MCPの設定と動画の作成まで一気にやってくれた感じです。凄いです、Codex!
  ただ、せっかくGPT-image2で作成したファーストフレーム用画像が渡せなかったようで、Flux.2で、また作成をし直して、それを元に動画を作成した感じです。5秒ずつHD(1280×720)で生成して、それを自動的につないでくれました。その後、CodexでMiniMax Audioを使ってBGMを作ってもらい、台詞がなかったので、手動でIrodori TTSで作成した150字分の台詞を読んでもらった音声ファイル+BGMを手動でDAWソフトのReaperで合成して、その後FullHD化して完成したのがYoutubeでアップしたものの前半部(30秒)です。

 ただ、一気に作ってもらったんで、ちょっと生成ガチャを回して、もう少しシーン画像を吟味できたらいいかな~という感じはしました。
 あと、MiniMax H3は、どうも複数ビデオカードでの生成に対応していないっぽいんですが、(2枚挿し環境なんで)知らずに「複数カード使って」と頼んだらCodexさんが頑張ってくれまして――あっという間にCodexの時間使用量を使い切り……私はPlusなんですが、仕事で使う人がProやもっと課金しているのがよっく分かりました。これは、現在、保管中のV100を早くローカルエージェント用に使えるようにせねば――画像生成用のメインPCで回すと、ローカルLLMは動かすのが厳しいので――やっぱり、専用PCが要りますね!

 で、せっかくGPT-image2で作成したファーストフレーム用画像があるんで、例の:

 こちらの時に使った、MiniMax H3の4step LoRAを使って(6ステップで)、手動で1分程のバージョンも作ってみました。Youtubeでアップしたものの後半部(60秒)です。こっちは、HalfHDで10秒ずつ生成してまたアップスケールして、最終的にきっちりFullHDに直して、前半部とつなげた感じです。BGMは、MiniMax Audioで手動で生成したものですが、後半部の台詞はMiniMax H3がちゃんと日本語で発声しています! 後半部は、生成された映像のガチャをちょっとだけしたんですが、やっぱり最初のプロンプトレベルでしっかり作らないと、なかなか思った通りの感じにはならないかもしれません。

 ……という訳で、Codex+ComfyUI MCPがmy環境で使えるようになったのは大きいですね。また、何か使ってみようと思います。
 それでは、また!

いいなと思ったら応援しよう!

nazomura よろしければ応援お願い致します! いただいたチップは執筆の諸経費に使わせていただきます!

この記事が参加している募集