
【創作系日記】らぶこめが、はじまるね!(ようやく)アニメ作成
……ここ一週間ほど引っ張ってきたシリーズですが↓、Codexの一週間の使用量が切れて、ChatGPTさんと何回もやり取りしながらバグを潰して、半自動アニメ化ができないかと試行錯誤を繰り返していたんですが、ようやく、アニメ生成に成功しました。
私の環境だと、MiniMax H3は、5秒のクリップを作るのが精一杯なんですが、ちょっと普通のFirst to Last(F2F)フレームの生成をさせるとつなぎ目が気になるので、先の日記に書いたDirectorというワークフローを使いました。でも、結局5秒ずつつなぐと、普通の(F2F)と変わらない訳で、Control netを使って、少し前のフレームから内部情報(ラテント)を使って伸ばして続きを作るようにした次第です。
……ところが、そうすると落ちまくるのです。どうも、ComfyUIなのかpyTorchなのかどこか分かりませんが、メモリーの解放まわりにバグがあるようで、元々、VRAM容量を超えるモデルを載せているのに、Turbo LoRAや何かまで入れると、サンプリングステップを終えたとたんに落ちる……せっかく2枚挿ししているから、そっちのVRAMも使ってという感じにしても、そもそもMulti GPUノードが不安定で、一クリップは出来ても、次クリップで落ちる……ということで、マトモに動かせるようになるまで、ChatGPTさんとああしようこうしようと唸りながら三日がかりでした。。まあ、量子化されたような軽いローカルLLMでは解決できない訳ですね!(苦笑)。本来は、もっといい――5090とかのビデオカードが必要なんでしょう。でも、そんなお金はありません!(苦笑)。
そういう訳で、テキストエンコーダーのQwenで何か作ったらVRAMをフラッシュし、サンプリングが終わったら、MiniMax H3の本体をフラッシュし、VAEをまた読み込んで……というのを22クリップ分進めて、Turbo LoRAを使っている訳ですが、ローディングの時間がかかりまくりました(モデル沢山置きすぎてSSDが満杯になったのでHDDに入れています)。まあ、メインPCで、寝ている間にやってくれたんで良かったんですが……昔から、夜エンコとかをしていたので、私のメインPCは、寝室にあったとしても普通に眠れるくらい静かです(ちょっと自慢)! 静音ファンやゴムネジやファンコントロールや、未だに使っているSmart Drive(販売停止になる前に何個も買いました)のお陰ですね。CPUも、うるさいので、TDP90W級以上のものは買わないですし(笑)。
いくつかクリップ作り直しているんで、そこはちょっとつなぎ目が気になりますが、全部また再生成させる気力はありません(苦笑)。
今回、台詞は全部ひらがなだったんですが、コントロールネットを使ったらBGMが引き延ばされて雑音のようになり、また、短いクリップ間では話者の声が一定にならなかったんで――またIrodori TTSで作り直して、Reaperで張り直しました。そろそろ暇なときにノンリニア編集ソフトを試したいと思います。BGMは、MiniMax Musicで、また何曲かガチャして作り直しました。MiniMax Musicは、インストを作ると、最大長を設定していても長さが安定しないし、なかなか時間がかかるので、編集時にそこで一番時間がかかりました。
で、またREAL Video Enhancerで4K化した後、FHDに落としてYoutubeにアップしています。
ふう……今回は、長かったです。半自動化のつもりが、結局、かなりの手間がかかりました……。
しかし、これでスクリプトはできたんで、次は、それを使ってまた半自動化に挑戦します!(懲りない……)。
そんな訳で、それでは、また!