生成AIで名言ショート動画をつくる【Kling,Hedra,Dreamina】

TikTokとか、YouTubeショートをみているとよく「偉人の名言紹介」のようなショート動画がよくでてきてましたが、わたしも一度、つくってみたいと思ってたので、今回挑戦してみました。

「名言紹介」のような動画は「リップシンク」した「AIアバター」にナレーションをしたり、シンプルに「縦書きテキスト」で名言をビジュアル的に紹介したりとか、いろいろなスタイルや手法があります。

わたしも「リップシンク」した実写アバターのようなものをつくって使いたいと思っていたのですが、「リップシンク」って、結構、制作コストがかかります。１秒単位でクレジットの増減があるので、せいぜい５秒くらいのリップシンク動画を２、３本つくるくらいで、それ以上時間が長くなると、延々とクレジットが消費されてしまうのですが、そのあたりの制作コストもふまえた上でいろいろなツールで試してみました。

「リップシンク」できる生成AIツールは、いろいろありますが、今回は無料でも使えるものをいくつか探して、実際の「リップシンク」動画をつくってみました。使用したのは、以下の３つのツール「Dreamina」「Hedra」「Kling」です。

Dreamina

「Dreamina」の場合、無料ユーザには毎日225クレジット付与されますが、リップシンク動画を５秒くらいつくると、200クレジットくらい消費するので、１日１本しか作れません。さらに無料版はウォーターマークも入ります。

「Dreamina」は意外といっては失礼ですが、なかなか上手に生成してくれてます。生成時間もさほど遅くはなかったです。事前にナレーション用のオーディオファイル（.mp3）を作成してアップロードするほうが方法としては確実です。フォームにナレーション用のテキストを入力して音声生成もできるようになってますが、日本語だとうまく生成しなかったので英語にしました。

今回は、事前に別の音声生成AIツールを使って、英文テキストをmp3ファイル化してアップロードしました。

Hedra

「Hedra」の場合、無料版でもウォーターマークは入らないのですが、サーバーが込んでるせいか、生成時間が異様にかかります。上の５秒リップシンク動画もなかなか生成されないので、放置して２時間後くらいにみたら生成できてました。でも、なかなかいい感じでリップシンクしてくれます。

これが日本語だとちょっと微妙な感じになりそうですが、いい生成AIツールだと思います。「Hedra」は課金すれば、他の画像生成AIや動画生成AIも使える仕様になっているので幅広く使えます。有料プランは月間10ドル、30ドル、75ドルと３つのプランがあります。

Kling

「Kling」の場合、最近、初月のみ6.99ドルのプラン に加入したので、ウォーターマークはとれます。多分、最終的には「Kling」でリップシンク機能をつかうことになるだろうとは思ってましたが、やはり「Kling」はなかなか優秀でした。リップシンクの生成画面も細かい設定があり、感情表現に関する指定もできるようです。

ただし、Kling内で「Text to Speech」を使うとそれだけクレジットも消費するので、個人的な使い方としては、無料の音声生成ツールで音声データ（mp3）を作っておいて、「Upload Local Dubbing」のメニューを使ってアップロードしたほうがいいと思います。最大30秒、容量20MBまでならアップロードできます。　https://app.klingai.com/global/video-to-lip/new

という感じでいろいろ試してみましたが、最終的には「Kling」で生成したデータを使い、動画編集ツール「CapCut Pro」で編集して日本語字幕をつけ「名言ショート動画」が完成しました。YouTubeは4K動画になってます。

#名言ショート #名言動画 #リップシンク #LipSync  #Kling #Hedra #Dreamina