メインコンテンツへスキップ
見出し画像

実写の筋トレ動画がAIキャラクターに!|Pollo RecastでBIG3を検証。LiteとProの違い【第6回】

    皆様、こんにちは!
    安達です😊

    今回は、Pollo Recastを使って、ちょっと変わった動画制作に挑戦しました。

    テーマは……

    自分が実際にトレーニングしている動画を、オリジナルのAIキャラクターに変えられるのか?

    スクワット、ベンチプレス、デッドリフト。

    パワーリフティングのBIG3を使った検証です!💪

    これまでもRecastで人物や背景、乗り物などを変更してきましたが、今回は少し事情が違います。

    筋トレでは、人間の動きだけでなく、バーベルやラックなどの器具との位置関係も重要です。

    人物を変更できても、バーベルが身体を突き抜けたり、ラックの形が崩れたりしたら、不自然な映像になってしまいます。

    今回は、そんな難しい題材に挑戦してみました。

    そして検証の途中で、新しく表示されたLiteとProのモード選択にも気づき、予定になかった比較まで始めることに。

    同じ元動画を使っても、動作の再現や音声など、異なる結果が見られました。

    特に驚いたのは、Liteではキャラクターに合った女性の声まで生成されたこと!

    気づけば、かなり大掛かりな検証になっていました!😆

    ※本記事はPollo AIとのPR協力による検証記事です。検証用クレジットの提供を受けています。評価や感想は、実際の使用結果に基づいています。



    ① スクワット|実写の動作をそのままキャラクターに!


    まずはスクワットから。

    私が実際にトレーニングしている動画を使用しました。

    人物のリファレンス画像と、新しいジムの背景画像を添付して、Recastで生成します。

    画像
    画像

    結果は……

    かなり自然にスクワットができています!😆

    バーベルを担ぎ、しゃがみ込み、立ち上がる。

    元動画の動きが、ほとんどそのまま再現されています。

    人物や背景を大きく変更しても、スクワットの動作が維持されている。

    これは面白いですね!

    ただし、今回の動画は後ろ寄りの角度から撮影していました。

    動作を見るには問題ありませんが、キャラクターの顔を見せるには少し不向きです。

    作品として仕上げるなら、最初からAIによる変換を意識して撮影することも重要になりそうです。



    ② デッドリフト|AMIちゃんが195kgに挑戦!


    次はデッドリフト。

    こちらは、オリジナルキャラクターのAMIちゃんに変更しました。

    画像
    画像

    オリーブグリーンの髪と青い瞳が特徴の2Dアニメキャラクターです。

    背景も、アニメ調のトレーニングジムへ変更します。

    こちらも結果は良好!

    実際のデッドリフト動作を、2Dアニメキャラクターへ置き換えることができました。

    バーベルを握り、床から引き上げ、下ろすまで。

    動作の流れが自然です。

    今回の元動画で扱っている重量は195kg。

    バーベルの握り方やベルトの状態など、細かな部分にも注目してみました。

    今回の生成では、こうした情報が比較的よく維持されています。

    ただし、少し気になるところもありました。


    キャラクターは2Dなのに、バーベルが実写っぽい?


    AMIちゃんと背景はアニメ調なのですが、バーベルには実写に近い質感が残っています。

    そのため、アニメ世界に実写の器具を合成したようにも見えます。

    もう一つ気になったのが音声です。

    元動画に入っていた、私の男性の息遣いがそのまま残っていました。

    見た目はAMIちゃんでも、声は私のまま。

    これはちょっと違和感がありますね😅

    バーベルの接触音は残したいので、声だけを編集で調整するのも意外と大変です。

    この問題は、後の検証で思わぬ展開を迎えます。



    ③ ベンチプレス|リリスを灼熱のトレーニングルームへ!


    続いてベンチプレスです。

    今回は、オリジナルキャラクターのリリスを使用しました。

    画像
    画像

    背景は、溶岩が流れる「灼熱のトレーニングルーム」です!🔥

    画像

    元動画では、ベンチに座った状態から仰向けになり、バーベルを握ってベンチプレスを行っています。

    スクワットやデッドリフトに比べても、身体と器具の位置関係が複雑です。

    それでは、生成してみましょう!

    リリスのキャラクター化は成功です!😆

    顔や髪型、衣装もしっかり再現されています。

    背景も、指定した溶岩洞窟に変更できました。

    ベンチプレスの動きも自然です。

    ところが……

    ラックやバーベルが、実写のままなんです!

    プロンプトでは、人物だけでなく器具も含めて、全体を2Dアニメ調にするよう指定していました。

    それでも器具の2D化は十分に反映されませんでした。

    これは少し惜しいですね。

    だったら、ラックやバーベルそのものの画像を作ってみよう!

    そう考えたところで、もう一つ気になるものを見つけました。


    ④ 新しい「Lite」と「Pro」を発見!


    Recastの画面に、LiteとProというモード選択が表示されていました。

    これまでのクレジット消費量から考えると、以前使っていたものはPro相当だったのではないかと思います。

    ただし、ここは正式な仕様を確認したわけではありません。

    まず気になったのが、消費クレジットと解像度です。

    今回、約28秒のベンチプレス動画では次のようになりました。

    Liteモード

    • 解像度:720p

    • 消費クレジット:268

    Proモード

    • 解像度:480p

    • 消費クレジット:282

    Liteでは480pを選べず、720pと1080pが表示されていました。

    つまり今回の条件では、Pro・480pより14クレジット少なく、Lite・720pを生成できるということです。

    これは魅力的ですね!

    しかも、Liteでも約28秒の動画を生成できました。

    ただし、解像度が高いことと、元動画を忠実に再現できることは別の問題です。

    また、今回はモードと解像度の両方が異なります。

    そのため、生成結果の違いがモードだけによるものとは断定できません。

    その点も踏まえながら、比較してみました。



    ⑤ ベンチプレス|LiteとProの違い、そして撮影からやり直し!


    最初のベンチプレスでは、リリスの顔と全身、背景画像を使っていました。

    キャラクターと背景は変更できたものの、ラックとバーベルは実写のまま。

    器具のリファレンス画像を指定していなかったことが原因かもしれません。

    それなら、器具の画像も用意してみよう!

    そこで、2Dアニメ調のベンチプレス専用ラックを制作しました。

    画像

    リリスの顔、全身、背景、器具。

    合計4枚のリファレンス画像を使って、再び生成します。

    そして今回は、新しく登場したLiteモードを試してみることにしました。

    正直、最初はLiteという名前から、これまでのRecastの性能を落とした簡易版のようなものだと思っていました。

    ところが……

    実際に使ってみると、まったく違うものだったんです!😆

    Liteで生成したら、画角まで変わった!

    まず驚いたのが、ラックの再現です。

    添付したベンチプレス専用ラックが、しっかり2Dアニメ調で再現されています。

    しかも、人物や器具を置き換えるだけではありません。

    元動画とは、カメラの画角まで変わっているんです!

    これまで使ってきたRecastでは、元動画の撮影位置や動作、器具との位置関係が維持されていました。

    ところがLiteでは、添付したラック画像の構図に合わせるように、動画全体が変化しています。

    これは面白いですね!

    さらに、リリスに合った女性の声まで生成されました。

    最初に想像していた簡易版とは、ずいぶん違います。

    ただし、問題も発生しました。

    リリスがベンチに寝るとき、身体がバーベルのシャフトを突き抜けてしまったんです!

    画像

    ここで気になったのが、リファレンス画像の向きでした。

    元動画で使用しているパワーラックと、添付したベンチプレスラックでは、向きが逆になっています。

    Liteでは添付画像の形状や向きが映像に反映されるため、ラックと身体の位置関係を再構成する必要があります。

    ベンチプレスは、ラックとシャフト、ベンチ、身体の位置関係が複雑です。

    画角まで変わると、どうしても難しくなるのかもしれません。

    今度はProで器具画像を追加!


    そこで、同じ器具画像を使い、Pro・480pでも生成してみました。

    こちらは、まだラック画像を左右反転させていない状態です。

    Proでは、これまでのRecastと同じように、元動画の撮影位置や動作が維持されます。

    今回も、元動画の画角はそのまま。

    シャフトを身体が突き抜けることもありませんでした。

    ここまでは予想どおりです。

    ところが、肝心のラックに問題がありました。

    左半分がパワーラック、右半分がベンチプレス専用ラックのようになってしまったんです!😅

    元動画で使っているのはパワーラック。

    一方、リファレンス画像はベンチプレス専用ラックです。

    この2つは、そもそも構造が違います。

    元動画の画角や器具の位置関係を維持しながら、形状の違うラックへ変更しようとしたためか、両方の特徴が混ざった不自然な形になってしまいました。

    なるほど……。

    Proは元動画の構図を維持する一方で、元動画と大きく異なる器具への変更は難しい場合がある。

    今回の結果を見ると、そんな特徴が見えてきました。


    それなら、元動画から撮り直してみよう!


    ここまで試して、LiteとProの違いが少しずつわかってきました。

    Proは元動画の構図を維持する。

    Liteはリファレンス画像をもとに、画角まで変化する。

    そしてLiteでは、キャラクターに合った女性の声も生成されました。

    それなら、次はLiteで仕上げたい!

    ただし、一つ問題があります。

    これまで使っていた元動画は、すべて縦型で撮影したものです。

    スクワットやデッドリフトなら、縦型でも全身を映しやすいのですが、ベンチプレスは違います。

    ベンチプレスは、ベンチに横になって行う種目。

    しかもLiteでは、リファレンス画像に合わせてカメラが近づいたような構図になることがあります。

    そうなると、縦型の映像では、身体や器具を左右方向に収めるのが難しくなります。

    だったら……

    自分のベンチプレス動画を、横長で撮り直そう!😆

    ということで、実際にトレーニング動画を撮影し直してきました。

    さらに、ベンチプレスラックのリファレンス画像も左右反転させ、元動画のパワーラックと向きを合わせました。

    画像

    これなら、Liteがリファレンス画像を再現するときにも、元動画から大きく構図を変更する必要がありません。

    横長の元動画を使って、Lite・720pで再挑戦です!

    横長で撮り直したLite版の結果は?

    結果は……

    これは、かなりきれいな動画になりました!😆

    ラックの向きと元動画の構図が合っているため、映像全体が自然です。

    ベンチに寝るときも、バーベルをラックに戻すときも、最後に起き上がるときも。

    前回発生した、シャフトを身体が突き抜ける問題はありませんでした。

    しかも、横長にしたことで、ベンチプレスの動作や器具を画面内に収めやすくなっています。

    キャラクターと背景、器具の世界観もまとまっていて、映像作品としては非常に良い仕上がりです。

    ただし……

    トレーニングフォームには、まだ課題が残りました。

    ベンチプレス中に、お尻が大きく持ち上がっているんです。

    さらに、首の付け根にあたる第7頸椎付近も、ベンチから浮いているように見えます。

    元動画の動作を正確に再現するという点では、まだ不自然な部分がありました。

    映像としては非常にきれい。

    でも、トレーニングフォームの再現という意味では、まだ改善の余地があります。


    ベンチプレスで分かったこと


    今回のベンチプレスでは、LiteとProの違いがよくわかりました。

    Proは元動画の撮影位置や動作、器具との位置関係を維持する。

    Liteはリファレンス画像の形状や構図を反映し、画角まで変化する。

    少なくとも今回の検証では、そんな違いがはっきりと表れました。

    そして、Liteで複雑な器具を扱う場合は、元動画とリファレンス画像の向きや構図を合わせることが重要になりそうです。

    今回は、器具画像の左右反転だけでなく、元動画そのものを横長で撮影し直すことで、結果が大きく改善しました。

    ただし、改善には複数の変更が関係しているため、どれか一つだけが原因とは断定できません。

    元動画をどう撮影するかも、AI動画制作の大切な工程になる。

    今回のベンチプレスは、それを実感できる検証になりました!😊



    ⑥ デッドリフト|LiteでAMIちゃんを再び!

    次はデッドリフトです。

    今度はLite・720pで、AMIちゃんを「蒼き水晶のトレーニングホール」へ!

    画像


    これは、かなり良い感じです!😆

    AMIちゃんが大きく映り、背景も美しく、作品として魅力的な仕上がりになりました。

    ただし、筋トレ経験者として見ると気になる部分があります。

    ベルトが消えた!?


    元動画では、トレーニングベルトを着用しています。

    ところがLite版では、冒頭でベルトを外すような動作になり、その後ベルトが消えてしまいました。

    もう一つ気になるのがグリップです。

    元動画とは異なり、両手ともオーバーハンドグリップになっていました。

    今回の重量は195kg。

    素手でこの重量を両手オーバーハンドで保持するのは、かなり難しいものです。

    画像

    一般的な視聴者には自然に見えるかもしれませんが、トレーニング経験者としては違和感があります。

    一方、Pro版ではベルトやグリップが元動画に近い状態で維持されていました。

    動作や装備の正確さでは、今回のPro版の方が良い結果です。


    でも、Liteの音声がすごく良い!

    画像

    そして、今回特に驚いたのが音声です。

    Proでは、元動画の私の男性の息遣いが残っていました。

    ところがLiteでは……

    AMIちゃんに合った女性の声が生成されているんです!😆

    しかも、バーベルを持ち上げる動作に合わせて、自然なタイミングで声が出ています。

    これは嬉しいですね!

    これまで、キャラクターと声が合わない場合は、動画編集で調整する必要がありました。

    バーベルの音は残したいので、編集が意外と難しいんですよね。

    ところが今回のLiteでは、キャラクターに合った女性の声が生成されました。

    見た目だけでなく、音声までキャラクターに合わせられる。

    これは、今後の動画制作でも大きな魅力になりそうです!

    今回の検証では、音声面が非常に大きな収穫でした。


    ⑦ スクワットもLiteとProで比較!


    最後はスクワットです。

    今回はリリスを使い、舞台を「大地の神殿・ストレングスジム」に変更しました。

    画像

    リファレンス画像は合計6枚です。

    • 背景画像

    • スクワットラック

    • バーベル

    • リリスの顔

    • リリスの全身ターンアラウンド

    • リリスの全身1枚絵

    全身の1枚絵も追加することで、自然で女性らしい身体のシルエットを伝えやすくなるのではないか。

    そんな予想から試してみました。

    最初のスクワットでは後ろ向きの映像だったので、今回はキャラクターの顔がよく見えるように、カメラの方を向いて撮影し直しました。

    Lite・720pの結果

    結果は、かなり良好です!

    リリスの顔や衣装、全身のシルエットが自然で、スクワットの動作もよく再現されています。

    そして今回も、リリスに合った可愛らしい女性の声が生成されました!

    デッドリフトのAMIちゃんに続き、スクワットでも女性の声を確認できました。

    ただし、ラックとバーベルの位置関係には問題が残りました。

    開始時にシャフトがラックの手前側へずれていたり、しゃがんだ際にプレートがセーフティーバーへめり込んだりしています。

    人間の動きは自然でも、器具との干渉が難しいようです。


    Pro・480pの結果

    そこで、同じ元動画、同じ6枚のリファレンス画像、同じプロンプトでProを試しました。

    変更したのは、モードと解像度です。

    結果は……

    これは素晴らしい!😆💪

    今回のスクワットでは、Pro版が非常に良い仕上がりになりました。

    Lite版で気になっていた、ラックとシャフトの位置関係が改善されています。

    しゃがんだときにプレートがセーフティーバーへめり込む問題も、目立たなくなりました。

    リリスのキャラクターもしっかり再現されています。

    そして、しゃがみ込みから立ち上がりまでの動作も非常に自然です。

    今回のスクワット動画は、Pro版を採用することにしました!

    ただし、音声については予想どおりです。

    Proでは元動画の音声がそのまま維持され、Lite版のような女性の声は生成されませんでした。

    今回は元動画の撮影時に声を出していなかったので、キャラクターに合う声を加えるなら、後から音声編集が必要です。

    それでも、トレーニング動作の正確さを重視するなら、今回のPro版はかなり満足できる結果でした。


    スクワットで分かったこと


    同じ元動画とリファレンス画像を使っても、LiteとProでは異なる結果になりました。

    Lite・720p

    • キャラクターの再現は良好

    • 映像が鮮明

    • リリスに合った女性の声が生成された

    • ラックやプレートとの干渉が残った

    Pro・480p

    • キャラクターの再現は良好

    • 元動画の動作を非常に自然に再現

    • ラックやプレートとの位置関係も良好

    • 音声は元動画のまま

    今回の検証の中でも、特にわかりやすい比較になりました。

    ただし、この結果だけでLiteとProの優劣が決まるわけではありません。

    モードと解像度が異なるうえに、AI生成にはばらつきもあります。

    あくまで今回の条件で得られた結果です。



    💡 LiteとPro、どう使い分ける?

    画像


    今回のBIG3検証を通して、私なりの使い分けが見えてきました。

    トレーニング教材ならPro


    筋トレのフォームを解説する動画では、見た目の美しさよりも、動作の正確さが重要です。

    バーベルの握り方、ベルト、ラックとの位置関係。

    今回の検証では、Proの方が元動画の情報を忠実に維持できた場面が多くありました。

    特にスクワットでは、Pro版の完成度が非常に高く、実際に採用したいと思える仕上がりでした。

    480pでもフォームが十分確認できるなら、教材用途ではProを優先したいと思います。

    ただし、Proでも変換結果が必ず正確になるわけではありません。

    実際、ベンチプレスではラックの形状が破綻する場面もありました。

    教材として使用するなら、元動画と比較し、細かな部分まで確認する必要があります。

    見た目が自然でも、正しいフォームとは限らない。

    ここは特に注意したいところです。


    エンターテインメントならLite


    一方、キャラクターを使ったMVや創作動画なら、私はLiteに魅力を感じました。

    720pの鮮明な映像。

    キャラクターが大きく映る構図。

    そして、キャラクターに合った自然な女性の声。

    特に音声は、今回の検証で大きな発見でした。

    AMIちゃんのデッドリフトでも、リリスのスクワットでも、Liteでは女性の声が生成されました。

    一方、Proでは元動画の音声がそのまま維持されていました。

    今回のように、男性がトレーニングしている実写動画を女性キャラクターに置き換える場合、この違いは非常に大きいです。

    キャラクターに合う音声を後から編集する手間が減るのは、魅力的ですね!

    さらに、Liteでは元動画と画角や構図が変わる場面もありました。

    筋トレ動画では問題になることもありますが、創作動画なら違った見せ方として活用できるかもしれません。

    同じ元動画からPro版とLite版を作れば、別の角度で撮影したような映像を得られる可能性もあります。

    これは、今後のMV制作でも試してみたいところです。

    もちろん、同じ条件でLiteを繰り返したとき、どの程度異なる映像になるかは、まだ確認できていません。

    正確に伝えるためのPro。作品として楽しませるためのLite。

    今回の検証では、そんな使い分けが良さそうだと感じました。



    ⑧ 最後に気づいた、背景画像の落とし穴

    もう一つ、試してみたことがあります。

    ベンチプレスのラックやバーベルまで描いた背景画像を用意する方法です。

    最初から器具と背景が同じ世界観なら、うまくいくのではないか。

    そう考えたのですが……

    画像
    画像


    残念ながら、うまくいきませんでした😅

    ラックが背景画像の一部として扱われたように見え、人物や器具との位置関係が不自然になってしまいました。

    背景画像には、動作に関係する器具を描き込まない方がよい場合がありそうです。

    背景は背景。器具は器具。

    それぞれ別のリファレンス画像として用意する方が、役割を明確に伝えられるのかもしれません。

    もちろん、こちらも今回の生成結果からの推測です。

    追加で試したい方法もありましたが、今回はここまでとしました。



    🎬 今回の検証を終えて

    画像

    気づけば、途中で消費クレジットを集計した段階で、合計3,039!

    ちょっと夢中になりすぎましたね🤣

    筋トレ動画という、自分がよく知っている題材だったので、細かな部分まで気になってしまいました。

    でも、その分いろいろなことが分かりました。

    実写の人物を2Dアニメキャラクターに変更できること。

    背景をファンタジー世界に変えられること。

    ラックやバーベルも、リファレンス画像を使って2D化できる可能性があること。

    そして、Liteではキャラクターに合った女性の声まで生成されたこと!

    一方で、器具との干渉や、グリップ・装備の変化など、課題も残りました。

    見た目が自然なことと、元動画を正確に再現できていることは、必ずしも同じではありません。

    今回、いちばん大切だと感じたことです。

    それでも、実際のトレーニング動画を使って、ここまでキャラクターや世界観を変えられるのは面白いですね。

    そして、今回のスクワットPro版のように、実際に作品として採用できる動画も完成しました。

    今回はここで検証終了です。

    さらに試したいこともありますが、続きはまた別の機会に。

    何より……

    今回も、すっかり楽しんでしまいました!😆💪

    最後までお読みいただき、ありがとうございました!


    🔗 Pollo AI / Pollo Recast

    Pollo Recast
    https://tinyurl.com/2j29et35

    Pollo AI
    https://tinyurl.com/epv49yrx


    🎬 Pollo Recast 検証シリーズ|記事一覧

    第1回


    第2回


    第3回


    第4回


    第5回

    #PolloAI #PolloRecast
    #AI動画 #AI動画制作 #生成AI #AIツール
    #AIツール検証 #動画生成AI #動画編集
    #キャラクター制作 #オリジナルキャラクター
    #パワーリフティング #筋トレ #BIG3
    #創作活動

     
     
    AIを使った画像・動画・音楽制作を楽しむ安達です。 企業PRやイベント参加、AIツールの検証など、実際に試して気づいたことを発信中! オリジナル作品『THE HOLLOW PARADE』や、AMIのコラムなど、ジャンルにとらわれず自由気ままに創作しています😊

    あなたへのおすすめ