Pythonをファイトンと読んでた俺が、AIと一緒にVR動画に挑戦してみた
先に言っておくけど、俺は理系でもプログラマーでもない。
プログラムの知識なんて、昔ファミコンの「ファミリーベーシック」を少しかじったことがある程度だ。
しかもつい最近まで、Pythonを「ファイトン」と読んでた。
パイソンらしい🤣
そんな俺が、なぜか今VR動画を作っている。
きっかけは、俺自身が初めて本格的なVRを体験したこと。
俺は普段アコースティックギターでライブ活動をしてるんやけど、ある時ライブイベントでお世話になってるイベンターの人が、お店に本格的なVR機材一式を置いてたんよね。
「のっぴ、ちょっと見て。面白いよ」
そう言われてゴーグルを装着してみたら、目の前に臨場感あふれるライブ映像が広がってた。
画面を見てるというより、目の前にステージがあって自分もその空間の中にいる感覚。
イベンターの人に「首を動かしてごらん」って言われて動かしてみたら、見える景色がちゃんと変わる。右向いたら右、左向いたら左、上向いたら上。
「うわ、なんじゃこりゃ」
単純に面白かった。で、その場ですぐ思ったんよ。
俺もAngelHoneyで、こんな動画作りてぇなぁって。
AngelHoneyっていうのは俺がやってるオリジナルの音楽プロジェクトで、AIを使ったMVを作ってる。
ライブ風の映像作ったり、架空のステージに立たせたり、いろいろ遊んでる。
それをVRで見られたら絶対面白いよなって。
でもその時点では完全に夢物語やった。
VRの知識もプログラミング知識もない。
そもそもVR動画なんてとんでもないスペックのパソコンが必要なんじゃないか、うちのグラボじゃ無理なんじゃないか。
それに本格的なVRゴーグル一式って、お高いんでしょう？🤣
とりあえずいつも通りAIに相談してみた。
「AngelHoneyのMVをVRっぽくすることって出来る？」
「今のスペックでも出来るよ。そう、Depth Surge 3Dならね！」
スティーブ・ジョ◯ズかよ🤣
って思いながらも気になって調べたら、Depth Surge 3Dってソフトが実在した。
普通の2D動画からAIで奥行きを推定して、左右の目に対応した映像を作ってSBS形式の3D動画にできるらしい。
しかも必ずしもハイエンドPCが要るわけじゃなくて、ミドルクラスでも条件次第では十分試せそうだと分かってきた。
「もしかして、うちのパソコンでもいける？」
急に現実味が出てきた。
ゴーグルの方も調べてみたら、最初に体験したような本格機材やと当然お金がかかるけど、スマホを差し込むタイプなら数千円で買える。
「え、そんなんでいいの？」ってなって、パソコンは今あるもの、ゴーグルは数千円、あとは立体化する方法さえ分かればいい、ってところまで一気に降りてきた。
それで導入してみることにした。
ちなみに最初にイベンターさんの店で見たVRと、今回作ってるのは方式が違う。
あっちは首動かして周り見回せる360度タイプ、今回のはそうじゃなくて、映画館の3D映画に近い、正面の映像に奥行きを持たせて見るタイプ。
それでも「AngelHoneyのライブ映像を、普通の画面と違う立体感で見てみたい」って気持ちは同じやった。
で、ここからが大変やった🤣
ソフト入れて動画放り込んだら、はい完成——
そんな甘い話じゃない。
思ったように立体的に見えん。人物の輪郭が崩れる。
映像が乱れる。処理が途中で止まる。
やたら時間かかる。
直したと思ったら別の問題が出る。
黒い画面に英語のエラーがズラズラ出てくるけど、もちろん俺にはよく分からん。
だからエラー画面をスクショして、AIに投げる。
「これ何？」「なんで止まった？」「どうしたらいい？」って。
原因調べてもらって、修正してもらって、試して、失敗して、また相談して……
その繰り返し。
一つ直したら一つ壊れる。
良かれと思ってやった修正が、後になって別のところで悪さすることもある。まるで時限爆弾🤣
夜中にエラーとにらめっこしながら「もう寝ろよ」って自分で突っ込んだ日もあったな。
そんな感じで少しずつ調整していったら、気づけば最初に入れたDepth Surge 3Dから、かなり手が入った状態になってた。
メモリ不足との戦い、長尺動画への対応、立体感の調整、映像の破綻対策、フレームレートの問題……
この辺の技術的な話は、書き始めると長くなりすぎるから今回は置いとく。また後日、別記事で。
とにかく今回は、VR動画を作ってみたいと思ってから試作品第一号を公開するところまでの記録として残しときたい。
試行錯誤の末、「これなら試作品として公開してもいいかな」ってレベルの動画がようやく出来た。
もちろん完成品じゃない。人物の輪郭が気になる場面もまだあるし、字幕の画質も改善したい。
立体感も強めた方がいいのか弱めた方が見やすいのか、まだ試行錯誤中。
それでも自分のVRゴーグルで見て「ちゃんと立体的に見える」ってところまでは来た。
というわけで、試作品第一号をYouTubeに投稿してみた。
動作確認に使ったのは、
VRゴーグルがELECOM VRG-M02RBK、
スマホがSHARP AQUOS R5G。
YouTubeアプリで動画を横画面全画面表示にして、そのままスマホをゴーグルにセットして見てる。
繰り返しになるけど、今回のは360度VR動画じゃない。
首を動かして見回すタイプじゃなくて、左右に並んだ映像をゴーグルで一つに重ねて見るSBS方式の3D立体視動画。
ここ大事なので一応注意書き。
3D映像が立体的に見えるかどうかは個人差があるし、使うスマホやゴーグルによっても見え方は変わると思う。
最初は短時間から試してもらうのがいいと思う。
まだテスト段階やから、全環境で快適に見られる保証もない。
今回の動画はそういう意味で公開実験みたいなもん。
もしVRゴーグルを持ってる人がいたら、一度見てみてほしい。
「ちゃんと立体的に見えた」「思ったより奥行きあった」「ここ見づらかった」「この場面良かった」「目が疲れた」とか、率直な感想をコメントでもらえたら今後の改良の参考にしたい。
俺一人で見てても、自分の目でしか判断できんからね。いろんな人の環境でどう見えるか知りたい。
Pythonをファイトンと読んでた俺が、
「AngelHoneyのMVをVRで見てぇなぁ」
と思ったところから始まって、数千円のVRゴーグルを買って、AIに相談しながらDepth Surge 3Dと格闘して、とりあえず試作品をYouTubeに出すところまで来た。
まだ完成じゃない。むしろここからがスタートかもしれん。
次はもう少し綺麗に。
もう少し自然に。
もう少し快適に。いつかAngelHoneyのライブ映像を、本当に目の前でライブ見てるみたいな映像にできたら面白いなって思いながら、もう少しこの実験を続けてみようと思う。
技術的な試行錯誤についてはまた後日。
とりあえず今回は、試作品第一号、公開。
VRゴーグルをお持ちの方、感想やコメント、ちゃぶだい🤣🥽
【VRゴーグル推奨】【3D SBSテスト】AngelHoney VR動画｜立体視テスト配信 https://youtu.be/DoWkRgn6Iuc?si=g7OxYAl9SA8-Lovl
#AngelHoney #DepthSurge3D #音楽生成
#VR動画 #VR #SBS方式 #立体視
#AIとやってみた #個人開発
#50代からのAI #50代の挑戦 #夢の回収
