Renoise AI Agentに「この子の動画作って」と丸投げしたら、キャラクターの人格・物語まで作り始めた話📚【Renoise AI】

【PR】本記事は、Renoise AI様のPR創作記事です。

さぁ、わたくし夏目の「異形さん」が別のAIさんへ出張です👜

今回の出張先は「Renoise AI」。
そして、そのAgentさんが、異形さんの動画を作ってくれるらしい！👀✨
Agentさんだから、「対話」ができる(*´ω｀)

「対話」…(*´ω｀)💡ﾎﾎｫｫｫﾝ✨

というわけで、
Renoise AIのAgentに、わたくしの異形さん画像を一枚渡して、

「このキャラクターを主人公にした、8秒程度の短い印象に残る動画を作りたい。具体的な内容はあなたに考えて欲しい」

と、ほぼ丸投げしてみました(╹ڡ╹ )ﾃﾍ
Agentって言わば「監督」で在らせられますよね？(*´ω｀)✨

するとAgentは、画像からオリジナルの世界を作り始めました。

さらに理由を聞いていくと、

「この8秒で残したいのは『感情』です」

とまで言い出す(*´Д｀)💦

AI、キャラクターの感情まで設定し始めた！？

しかも、そこで終わなかった💦

同じ一枚の画像から、AIは一体どこまで物語を作れるのか。

今回は、Renoise AI Agentに「なぜ？」をひたすら聞いてみます。

※まさかRenoise AI Agentも、こんな質問攻めにあうという経験をさせるとは…思ってもいなかったことでしょう…(*´ω｀)ｽﾏﾝﾅ

あなたもこの記事で、Renoise AI Agentの思考を覗いてみない？？✨

⚗️「Renoise AI」って何？

ここで、今回使用した「Renoise AI」について少しご紹介しておくね！

Renoise AIは、AIによる画像・動画生成をひとつの環境で行えるクリエイティブプラットフォーム✨

特徴的なのは、ひとつのAIモデルだけを使うサービスではないこと。

画像生成ではGPT Image 2やMidjourney、動画生成ではSeedance 2.0やKling 3.0 Omniなど、複数のAIモデルを同じ環境から選んで利用できる。
つまり、「このモデルを使いたい」と思ったときに、サービスをいちいち渡り歩かなくても、ひとつの場所でモデルを切り替えながら制作できるわけだ。

画像を作るだけではなく、画像から動画を生成したり、AIによる画像の高画質化やアップスケール、リップシンク、商品画像からの動画生成など、AIを使ったさまざまなクリエイティブ制作に対応。

そして、今回触れさせて頂いたのが、「Renoise AI Agent」。

これは、いわゆる「プロンプトを自分で細かく書いて、生成ボタンを押す」という従来型の使い方じゃない。

チャットで「こういうものを作りたい」と伝えると、Agentが目的に合わせて内容を整理し、必要なプロンプトを作成し、利用するモデルを選び、画像・動画・音声などの生成まで進めてくれる。
公式説明では、20以上の統合モデルから用途に応じて選択でき、生成前には必要なクレジット数も確認できる。

しかも、会話そのものにクレジットが消費されるわけじゃなくて、生成を承認したものに対してクレジットが使われる仕組み！
つまり、「ちょっと相談してみる」というところから始められるのも特徴のひとつだね(*´ω｀)
今回わたくしはAgentさんに相談どころか、質問攻めをしたわけ笑🤣💦

個人的に分かりやすく言うなら、

「AIモデルを使うための場所」から、「AIと一緒に制作を進める場所」へ。

そんな方向へRenoiseは進んでいるように感じたよ(*´ω｀)

もちろん、モデルそのものを作っているわけではないよ。
Renoise AIは、Seedance 2.0やKling 3.0 Omniなど、さまざまなAIモデルをひとつの環境に統合して提供しているプラットフォーム。

だから、同じ作品でも「この表現ならSeedance」「この映像ならKling」というように、目的に合わせてモデルを使い分けられるのが面白いところ。

さらにRenoise  AI Agentを使えば、その「どのモデルを使う？」という判断自体もAgentに任せることができる(*´ω｀)

AIで何かを作りたい。

でも、毎回どのモデルを選べばいいのか分からない。
そもそも、プロンプトをどう書けばいいのか分からない。

そんなところまで含めて、会話しながら制作を進められる。

これらが、現在のRenoise AIの大きな特徴のひとつだと思う(*´ω｀)

これからRenoise AI Agentとの対話を見せるけど、驚かないで笑🤣

⌛構想タイム

さてさて、その前に画像の「仕込み」、定番のお時間ですね(*´ω｀)
Midjourney産、異形さんのご紹介です(*´ω｀)
今回は、動画を作ったら、作らせたAIご本人に説明を聞けるので、とても貴重な経験をさせてもらえそう(*´ω｀)✨

Renoise AIへ赴いてくれる異形さんはこちら👇

中々の造形の子だと思うんだよね(*´ω｀)
相変わらず「口がない」のはわたくしのこだわりなんだ笑🤣

そこで、ポイントというか、AIに考えてもらうための「仕掛け」として。
①テーブルに何も乗ってない
②椅子がおかしい
Agentさんが画像をこのまま使用するのか、それとも「異形さん」をキャラクターとしてくり抜いて、背景なりに変えてお整いをしてくれるのか。

👄Agentさんと対話をしてみる

Agentさんは、トップページの左枠にいらっしゃいます(*´ω｀)

早速交流をば(*´ω｀)

まず、冒頭でも触れた通り異形さんの画像を添付して、こう投げかけてみた。

そうしたら、どうなったと思う？？

こちら！ドン！！

そして、この後に、さっき添付したAIモデルやサイズ、クレジットの表示。

さぁ、異形さんが動く様子を見て欲しい(*´ω｀)

Renoise AI Agentが送る「印象に残る作品」とは？

(´;ω;｀)エモい…✨ｷｭﾝ💕

🎶Agentが最初に選んだのは「オルゴール」

Agentが提案したのは、異形さんがヴィンテージの部屋でオルゴールを鳴らし、その音に静かに耳を澄ませるという8秒の映像だった。

0～2秒で、異形さんがテーブルの上のオルゴールに視線を向ける。
2～4秒で手を伸ばしてゼンマイを回し、4～6秒でカメラがゆっくりと顔へ寄っていく。
そして、オルゴールの音を聴きながら、最後に頭を少し傾ける。

さらに、布の擦れる音、木の軋み、ゼンマイの金属音、オルゴールの音まで指定。

使用モデルはSeedance 2.0、アスペクト比は16:9。

実際に生成された映像を見ると、ここでも面白いことが起きてたんだよね！(*´ω｀)

元画像には、少し気になる椅子があったよね？
ところがAgentが作った映像では、その部分も含めて背景そのものが再構成され、元画像よりも温かみのあるヴィンテージ空間になってたんだ✨

一方で、キャラクターそのものはほとんど崩れてない。
布の質感、大きな青い一つ目、角、衣装、そして口のない構造まで維持されてる。

つまり、「元画像をそのまま動かす」というよりも、キャラクターを残したまま、そのキャラクターが存在する世界まで映像として組み直しているように感じたんだ。

ここで私は、ひとつ気になった。

なぜ、オルゴールだったんだろう？(*´ω｀)

🎵「なぜオルゴールを選んだの？」と聞いてみる

気になって聞いてみた。「なんでオルゴールだったの」と。

すると、キャラクターの「口がない」という特徴から、「言葉ではなく音に耳を澄ませる」という演出を考えた、と説明。
また、布やステッチの質感、クラシカルな衣装から「アンティークパペット」のような世界観を連想し、それに合う場所としてヴィンテージの部屋を選んだそうだ(*´ω｀)✨

さらに、大きな青い瞳や角の色を、柔らかな朝の光によって引き立てることで、静かな空気の中に青色の透明感を出そうと考えたとのこと。

ここで面白いのは、Agentが「画像に何が描かれているのか」と「そこから自分がどう解釈したのか」を分けて説明してきたことなんだよ💦

画像から直接読み取れるのは、「口がない」「布地や縫い目がある」「クラシカルな衣装」「青い瞳と角」といった視覚的な特徴。

そこから「言葉を持たない静けさ」「アンティークパペット」「瞳で感情を語る存在」といった意味を与えたのは、Agent自身の創作上の解釈だというんだよ(*´ω｀)💦

これは、今回の実験を考えるうえで重要なポイント。
まだまだ驚く点はあるんだ✨👀

AIが画像を見ているだけなのか。
それとも、画像から何らかの「意味」を組み立てているのか。

そこで、もう一段掘り下げてみることにしたんだ(*´ω｀)

🌸オルゴール以外なら、何をさせる？

「もしオルゴールを選ばなかった場合、このキャラクターにどんな行動をさせるのか？ 3つ挙げて、それぞれどの特徴から導いたのか説明して欲しい」

すると、Agentから出てきたのは「万華鏡」「手芸」「青い花」の3つだった。

🪞万華鏡は、大きな一つ目から。
『見る』『覗く』を主役にできると考えたそう。

🪡手芸は、布やステッチ、ボタンといった素材から。
『自分と同じ素材を扱う』ことで、背景まで感じさせられると判断したそう。

そして三つ目が💙青い花。
口のなさと、蔓のような青い角から連想したそう。

ここで分かったのは、Agentが単純に「このキャラクターにはこれが似合う」と判断しているだけではないことだ。

同じ一枚の画像から、異なる特徴を拾い、それぞれを別の行動や物語へ変換してるんだよ(*´ω｀)✨

じゃぁ、その中から、なぜ最終的にオルゴールを選んだのかな？

⌚8秒の中で「何を残すか」

Agentが挙げた決定打は、大きく3つ。

一つ目は、8秒という短い時間でも物語を完結させやすいこと。

「手を伸ばす」「ゼンマイを回す」「音が鳴る」「反応する」という流れなら、8秒の中でもひとつの出来事として成立させることができる。

二つ目は、「口がない存在」と「音楽」の対比。

Agentは、口のないキャラクターが自分では発することのできない音を受け取り、静かに反応する姿に、切なさや詩的な魅力を感じたと説明してくれた。（あれ？わたくしより感受性…ある？(*´Д｀)ｵﾝ？💦）

そして三つ目が、使用モデルであるSeedance 2.0の音響生成。

オルゴールなら、映像だけではなく、ゼンマイの金属音や布の擦れる音、オルゴールそのものの音まで作品の一部に可能。

つまり、題材を決める際にAgentは、キャラクターの見た目だけではなく、「8秒」という時間的な制約と、使用するモデルの機能まで組み合わせていたわけなんだ！

わたくしは、さらに踏み込んでみた。

「では、この8秒間で、観る人に一番残したかったものは何？」

Agentの答えは、少し意外なものだった。

「感情」

だったの。

🫀AIが「感情」を選んだ

Agentによれば、このキャラクターは一つ目で、口がなく、頭部の形もかなり特徴的。
そのため、単に映像化すると「奇妙で珍しいキャラクター」という印象だけで終わってしまう可能性がある。

そこで、奇妙なデザインの面白さだけではなく、「心を通わせられる存在」として感じてもらうことを目指したそうだ。

そして、具体的に狙った感情として挙げられたのが、「切なさ」「愛おしさ」「温かい好奇心」の三つ(*´ω｀)

その感情を伝えるために最も重要だと判断したのが、オルゴールが鳴った瞬間の瞳の拡大と、カメラがゆっくり顔へ寄っていく演出。

口がないキャラクターだからこそ、瞳や首の動き、カメラとの距離で感情の変化を伝える。

こうして振り返ると、最初に生成された8秒間の動きが、かなり意図的に設計されていたことが分かる(´;ω;｀)✨

ただし、ここでひとつ注意しておきたいことがあるのだ(*´ω｀)

わたくしは、これを「AIが本当に感情を感じた」とは考えていない。

今回確認できたのは、Agentが画像の特徴から「このような感情を表現すると、このキャラクターがより印象に残る」と判断し、それを映像演出へ落とし込んだこと。

つまり、感情そのものではなく、感情を伝えるための演出を設計していると考えたほうが正確じゃないかなと(*´ω｀)

じゃぁ、その「切なさ」や「愛おしさ」は、一体画像のどこから出てきたのでかな？

💖「切なさ」「愛おしさ」「好奇心」はどこから来た？それぞれの根拠をAgentに尋ねた

「切なさ」については、口がないことと、一つだけの大きな瞳。

「愛おしさ」については、手縫いのステッチ、歪みのある三角形の頭部、華奢な手足。

「温かい好奇心」については、青い角と澄んだ青い瞳。

ここで重要なのは、これらが画像に「切なさ」という文字で書かれているわけではないんだ💦

Agentは、

「口がない」

という視覚情報から、

「声を出せない」

という意味を作り、

そこから、

「言葉にできない想い」

さらに、

「切なさ」

という物語的な連想を組み立てた、ということなんだ。

これは、画像認識というより、画像から物語を生成している状態に近いんじゃないか？(*´Д｀)

わたくしはそう感じたのね(*´ω｀)

ここで、少し乱暴な実験をしてみることにする。

👉一度、全部リセットしてみる

最初のチャットは、「印象に残る作品にして欲しい」という指示から、このようなエモ作品、感情優先な世界観になったわけだ。

「オルゴールも、これまでの演出設定も全部リセット。この画像だけから、性格・感情・物語的背景をゼロから考察して欲しい」
そんなことをお願いしてみる。

すると、まったく別の物語が出てきた(*´Д｀)

Agentが考えたキャラクターの性格は、「寡黙で礼儀正しい、静かな観察者」。
精神性は、「深く達観した哲学的な思索」。

そして物語的背景は、

「仕立て屋の屋根裏に住む、記憶の保管者」

だった。

(*´Д｀)え？創造性…え？ｽｺﾞ…💦

さっきまでオルゴールを聴いていた子が、今度は記憶を保管し始めたんだよ！！💦

Agentの設定では、この子は古い仕立て屋の屋根裏で、余った布やアンティークのボタンなどから自然に命を得た存在。
人間が忘れてしまった小さな記憶を集め、整理し、保管している。
頭の上の青い角は、誰かが何かを思い出そうとした瞬間を察知するアンテナ。

かなり具体的な職業まで設定されてる(´;ω;｀)✨

同じ画像から、Agentはひとつの「正解」を読み取っているわけではない。材料は同じでも、その都度ひとつの世界を組み立てているんだよ！！✨

🎥「記憶の保管者」も実際に動画にしてみた

せっかくなので、今度はこの「記憶の保管者」という設定から、もう一本動画を作ってもらいました。

【簡単なAgentさんのキャラ概要】

舞台は、古い仕立て屋の屋根裏部屋。
糸巻きや布地、古い木製の引き出しが並び、天窓から柔らかな光が差し込んでいる。
主人公は作業台の前に座り、木の上に置かれた「誰かの忘れられた記憶」である真鍮のボタンに目を向ける。
ボタンをそっと持ち上げ、光の中にかざす。
ボタンから漏れる黄金色の光が青い瞳に映り、その後、ベルベットを敷いた小箱へ大切にしまう。

これも、キャラクターそのものはしっかり活かされてた(*´ω｀)

そしてわたくしは思ったのね。

「この子、この設定でも普通に成立するな」

同じキャラクターなのに、オルゴールの作品とはまったく違う世界ができてる。

そこで、もう一つ実験してみることにした。

🎦「この作品なら、どの動画生成モデルを選ぶ？」

最初の作品では、Seedance 2.0を使ったんだよね(*´ω｀)

今回はモデルを指定せず、Renoiseで利用できるモデルの中から、Agent自身に「記憶の保管者」を最も適切に表現できるモデルを選んでもらった。

これらの中、Agentが選んだのは、MiniMax H3だった。

選定理由として挙げられたのは、2Kの高解像度、布やアンティークボタンの質感、光や埃、被写界深度、そしてシネマティックな空気感。

つまり今回は、キャラクターの細かな感情表現よりも、

「記憶の保管者が存在する世界そのものを、重厚で美しく見せる」

ことを優先したわけだな(*´Д｀)

実際に動画を見てみると、確かに綺麗だった。
世界観もあるし、質感もあるし、光も綺麗(*´ω｀)

でも、私が最初に感じたのは、

「うん、動画って感じ」

だった💦

逆に、最初のSeedance 2.0の動画には、

「この子、生きてるな」

という感覚が…あったんだよね(*´ω｀)

これは好みもあるだろうとは思う。
でももう一度、見比べてみて？
何が「違う」と感じたんだと思う？？(*´ω｀)

💐Seedance 2.0はキャラクターを、MiniMax H3は世界を見せた

もちろん、今回の2本だけで各モデルの性能を断定することはできない。
それでも、わたくしが実際に見比べて感じた違いはかなり興味深いものだと思う。

Seedance 2.0では、視線、瞬き、瞳の変化、首を傾げるタイミング、そしてカメラが顔へ寄っていく速度とか、ようは「キャラクターがどう反応するか」が印象に残ったのね。

一方、MiniMax H3では、屋根裏部屋、光、布、ボタン、空気感など、「その世界がどう存在しているか」が強く感じられた。

わたくしの感覚を言葉にするなら、

Seedance 2.0は「この子が生きている感じ」。

MiniMax H3は「この世界が存在している感じ」。

そんな違い。

この違いを見ると、最初にAgentがSeedance 2.0を選んだ理由にも改めて納得がいく。
「感情を残したい」という狙い通り、実際にキャラクターが生きているように感じられたわけだ。

⚗️今回の実験で分かったこと

今回の実験を始める前、私は「Agentに8秒動画を作ってもらったら、どんな作品ができるんだろう」という程度に考えてた。

ところが、実際に質問を重ねていくと、動画そのものよりも、その前段階の判断が面白くなっていった(*´ω｀)

Agentはまず、画像から視覚的な特徴を拾う。

そこから、それらを「静けさ」「好奇心」「愛おしさ」などの創作上の意味へ変換する。
さらに、その意味をもとに複数の行動や物語を考え、8秒という制約の中で成立するものを選ぶ。

そして、最終的には作品の目的に合わせて、動画生成モデルまで選択する。

少なくとも今回のやり取りを見る限り、Agentは「動画を作る」という作業だけをしていたわけないことがすごく分かった(*´ω｀)

何を作るのか。なぜそれを作るのか。何を観る人に残したいのか。そして、どのモデルで表現するのか。

そこまで含めて、一連の制作工程として扱っていたんだよ✨

もちろん、（前段の断りと同じ理屈なので）ここでも同じことが言える。
切なさも愛おしさも「元々あった設定」ではなく、Agentが視覚情報から組み立てた解釈だ。

だからこそ、今回の実験でわたくしが面白いと思ったのは、一枚の画像を渡しただけなのに、そこから複数の人格、行動、物語、世界観を組み立て、さらにそれを動画として成立させるところまで進められたこと(*´ω｀)

最初はオルゴールを聴いていた異形さんが、質問を変えれば「記憶の保管者」にもなった。

同じ画像なのに、別の世界が生まれた。
そして、その世界によって選ばれる動画生成モデルまで変わった。

わたくしは今回の実験を通して、AI Agentを「動画を作ってくれるAI」というより、

「画像から物語を立ち上げ、映像として成立させるための制作パートナー」

として見るようになった(*´ω｀)

もちろん、最終的にどんな作品を作るのかを決めるのは人間だ。

でも、「このキャラクターに何をさせよう？」と悩んだとき、何もないところから一緒に考えてもらえる。
そして、こちらが「なぜ？」と聞けば、その選択をさらに掘り下げていける。

今回、8秒の動画を一本作るつもりだったのに、気がつけば「このキャラクターは何者なのか？」というところまで話が広がってた。

AIに動画を作らせた実験。

……のつもりだったんだけど(*´ω｀)

どうやら今回は、

一枚の画像から、AIと一緒にキャラクターの世界を掘り始めてしまった実験

だったようだ(*´ω｀)💖

【おまけ】縦長にできるの？？(*´ω｀)

ちなみに、過去の動画を「9：16」と横長にすることも造作もなくしれっと生成してくれるよ(´;ω;｀)✨

これね、「普通」じゃないんだよ💦

Agentあるあるで、過去に一度作ったものはもう作れないとかいう経験があったんだけど、プロンプトもただ比率を変えただけで「過去」の内容を「引き継いでいる」んだ(*´ω｀)✨

椅子が画像のまま使用されているね👀✨
画角によって、作品のどこを受け取るかが変わる。

今回の異形さんで言えば、

16:9は「世界を見せる」

9:16は「キャラクターを見せる」

という違いを感じたな(*´ω｀)✨

さぁさぁ、Renoise AI Agentはどうだった？？🔥(*´ω｀)

今回Agentさんには「Seedance 2.0」と「MiniMax H3」を選んでもらったんだけど、Renoise AIにもあの

Seedance 2.5

が搭載されてるよ！！✨(*´ω｀)

だから、いろんなAIの種類と機能も豊富だよ(*´ω｀)✨

Renoise AIには無料プランはないけれども、新規登録時に20クレジットが付与されるよ！
また、通常の画像・動画生成は、サブスクまたはクレジットの追加購入で利用できる！(*´ω｀)
なお、Renoise AI Agentを利用するにはサブスクへの加入が必要だよ。
そのサブスクのプランは３段階、こんな感じだよ(*´ω｀)👇

初めての方はまず「Renoise AI Agent」にお願いして「動画とはなんたるか」を相談しながら生成してみてはどうかな？👀

人間は意味を見出したがる。
それはきちんと理由を知りたいから、安心したいから(*´ω｀)
その「理由」を知った時、よりRenoise AI Agentが好きになった(*´ω｀)

たった「8秒」の動画でも、そこにかける「思い」は「AI」にもあるってこと。

いやぁ、異形さん出張「Renoise AI」編はいかがだったかな？(*´ω｀)

いつも、スキ、コメント、マガジン追加を本当にありがとうございます🥰 是非これからも応援をよろしくお願い致します🙇‍♀️✨

また次の世界で会おう！！(*´ω｀)
それではBye！！💖🐲