メインコンテンツへスキップ
見出し画像

SNOWに課金していた僕が、AIでアバター制作アプリを自作してみた

  • 割引あり

SNOWのアバター機能を使うために、僕は課金していました。

顔にスタンプやアバターを重ねると、動画の雰囲気が一気に変わります。
少しふざけた表情も作れるし、顔を出したくないときにも便利です。

でも、あるとき思いました。

「これ、自分で作ればいいのでは?」

もちろん、最初は簡単にできるとは思っていませんでした。

動画の中には複数人が映るかもしれない。
顔は動く。
顔の向きも変わる。
表情も変わる。
動画には音声もある。

アバターを顔の上に載せるだけなら簡単そうです。
でも、ちゃんと追従させようとすると、急に難しそうに見えます。

ところがClaude Codeと対話しながら作ってみると、思ったよりシステム構造はシンプルでした。

そしてできあがったものは、自分で言うのもなんですが、かなりすごいアプリになりました。

記事が読むのが面倒な方は動画へ

作ったのは「撮影済み動画」をアバター化するアプリ

今回作ったのは、リアルタイムでカメラ映像を加工するアプリではありません。

撮影済みの動画をドラッグ&ドロップすると、動画内の顔を検出し、誰が映っているかを判定して、人物ごとにアバターを設定できるアプリです。
(↓見た目はそれっぽい)

画像

動画を選ぶ
↓
顔を検出・追跡する
↓
同じ人物ごとにまとめる
↓
人物ごとにアバターを選ぶ
↓
動画として書き出す

この流れです。

最初に動画を解析し、「何人いるか」を判定します。
その後、それぞれの人物にアバターを割り当てます。

3人が映る約25秒の縦動画で試したところ、3人を正しく別の人物として判定できました。

顔が動いても、アバターがそれぞれの顔を追いかけます。

中身は意外と素直な組み合わせだった

全体の構成は、次のようになっています。

  • 顔のランドマーク検出:MediaPipe

  • 同一人物の判定:OpenCVのSFace

  • 動画への合成と書き出し:Pythonとffmpeg

  • 操作画面:FastAPI、素のHTML/JavaScript

コード量は、Pythonと画面側を合わせて約2,300行です。

顔のランドマークとは、目や鼻、口、輪郭など、顔の各部位の位置情報です。
これを使うと、顔が画面のどこにあり、どれくらいの大きさで、どちらを向いているかを取得できます。

あとはアバター画像を、その位置・大きさ・傾き・向きに合わせて変形して重ねる。

言葉にすると、かなり単純です。

もちろん細かい調整は必要でした。
でも「動画AIアプリ」と聞いて想像するほど、巨大な仕組みではありませんでした。

ここが今回、一番驚いたところです。

AIを使った開発では、難しそうなものを「小さな処理の組み合わせ」に分解できるようになる。
その感覚をかなり強く感じました。

ただの顔スタンプではなく、少しだけ立体にした

今回こだわったのは、アバターが顔の向きに追従することです。

立方体のアバターは、顔の向きに合わせて3Dで回転させます。
正面から見ているときと、横を向いたときで、見た目が変わります。

また、正面1枚の絵しかないアバターでも、輪郭に厚みを付けることで、回転したときに平面の紙のように見えにくくしました。

さらに、

  • 口の開閉に追従する

  • まばたきに追従する

  • 怒りマークや湯気を付けた表情に切り替える

  • 頭の上に10文字までの名前やメモを表示する

といった機能も入れました。

人物ごとにタイムラインがあり、動画の途中で区間を分けて、アバターや表情を切り替えることもできます。

たとえば、ある場面だけ怒りマークを付ける。
途中から別のアバターへ変える。

こうした編集ができると、単なる顔隠しではなく、動画に演出を足す道具になります。

追従の「細かいガタつき」をどう抑えるか

顔検出の座標は、フレームごとに少し揺れます。

そのままアバターを載せると、顔はほとんど動いていないのに、アバターだけが細かく震えて見えることがあります。

そこで、時間方向の平滑化としてOne Euro Filterを入れました。

動きが遅いときは、なめらかにする。
大きく動いたときは、追従を遅らせすぎない。

このバランスを取るための処理です。

こういう部分は、派手ではありません。
でも、動画として見たときの自然さにはかなり効きます。

顔認識や生成AIという大きな技術より、最後はこうした小さな処理の積み重ねが体験を決めるのだと思います。

自分のPCだけで動く

このアプリは、自分のPCの中だけで動きます。

WSL上で動作し、GPUも使っていません。
動画を外部サービスへ送る必要もありません。

アプリを動かしている最中に、AIの利用料が発生することもありません。
AIを使ったのは、アプリを作るときと、アバター画像を用意するときです。

約25秒の縦動画では、

  • 顔の分析:約25秒

  • プレビュー作成:約50秒

でした。

もちろん、もっと速くできる余地はあります。
ただ、GPUなしのローカル環境で、複数人の顔を判定し、アバターを追従させた動画を作れる。
個人用途としては、十分に現実的な速度だと感じています。

できないこともある

万能ではありません。

顔を大きく横に向けると、左右およそ60〜70度を超えたあたりで検出できないことがあります。
天地が逆さまの顔や、画面の端で切れた顔も、うまく検出できない場面があります。

ここは、顔検出モデルの得意・不得意がそのまま出る部分です。

ただ、正面から斜め横くらいまでの一般的な動画であれば、アバター追従の仕組みとして十分に使える手応えがありました。

課金していた機能を、自分で作る時代

最初は、SNOWのアバター機能を使うために課金していました。

でも今は、
「自分が欲しいアバター機能を、自分で設計して作る」
という選択肢が現実になっています。

しかも、昔なら画像認識、人物追跡、動画編集、Web画面の実装を、それぞれ深く学ばなければ始められなかったかもしれません。

今はClaude CodeのようなAIと対話しながら、

「動画を入れたら顔を検出したい」
「人物ごとにアバターを変えたい」
「書き出し時には音声を残したい」

と、一つずつ形にしていけます。

AIがすべて作ってくれるわけではありません。
何を作りたいのか。
どんな操作が必要か。
どこまで動けば完成とするのか。

そこは人間が決める必要があります。

でも、アイデアをアプリにするまでの距離は、確実に短くなったと思います。

「この機能があったらいいのに」

そう思ったとき、サービスを探すだけではない。
自分で作る、という選択肢が急に身近になっています。

今回作ったアバター制作アプリは、そのことをかなり分かりやすく教えてくれました。

以降、エージェンティックAI(Claude codeやCodex等)で作成する用のプロンプトを記載します。もし、アプリ自体が欲しい方はコメントもらえれば検討します!!

 
 
アバター系Youtuberの「私はみかん」です。 普段は、IT・AI領域の仕事をしながら、生成AIや新しいテクノロジーを日々試しています。 IT・AIに限らず、旅行、趣味、家族、日常など、自分が「面白い」と思ったことを気軽に書いています。 Youtubeもぜひご覧ください!!

あなたへのおすすめ