見出し画像

【バイバイChatGPT👋】AI画像編集で話題のBagelの使い方を徹底解説!Paperspaceで動かす全手順とノートブックをご紹介✨

どうも皆さん!電子レンジの残り1秒を待てずに開けてしまう、あの僅かな時間さえ惜しいせっかちです、 葉加瀬あい(ハカセアイ) です!

今回のNote記事の内容は 「YouTube動画版」 でも見れますので、こちらからどうぞ!

突然ですが、最近話題の AI画像編集モデル「Bagel」 をご存知ですか?

このBagelというのは、あのByteDanceが開発した オープンソースマルチモーダルAI なのですが、本当にテキストで画像を自由自在に編集できるという、ChatGPT-4oのような AI技術 になります。  

こちらは以前、noteの方でちらっと解説させていただきましたね!

それで、今これがやっと簡単に使えるようになって、本当にクオリティがすごくて…。

日本語の指示でも 高速に画像編集ができる とかなり話題になっているんです!

正直、ここまで綺麗にできるAI技術は本当に数少ないんです!

今って、GeminiやChatGPTでも同じような編集ができるというのは、もう結構有名な話だと思うのですが、こちら見てもわかる通り、GeminiやChatGPTの場合は顔がちょっと変わってしまったりしますし、画像編集のスピードが少し遅いのに対して、

今回ご紹介するBagelの場合は、こんな感じでかなり 元々の顔の特徴を維持したまま 、髪色の変更などができるわけなんです。

一応、上記の画像は分かりやすいように、こちらでも解説した他のオープンソースの画像編集技術であるICE Editを参考にさせていただいているんですが、

これは同じように髪の毛の色を変更している例で、本当にこのくらい 綺麗に画像編集ができる んです!

本当に 手軽で、早くて、

品質も高いですし、もう 言うことなし なんですよね!

今回のポイント3つ

ということで今回お話しする内容はこんな感じです!

  • ① 日本語でもOK!テキストで魔法のように画像を操るBagelの驚くべき編集能力と、その高品質・高速な編集を支える最先端の技術に迫ります。

  • ② 高性能PCはもう不要?PaperSpaceのクラウド環境を活用して、皆さんのPCスペックに関係なくBagelを使うための具体的な準備と設定方法を解説します。

  • ③ 画像を読み込ませてプロンプトを書くだけ!PaperSpace上でのBagelの実際の操作手順と、さらに高度な編集を可能にする「シンキング機能」の活用法をご紹介します。

それと、Youtube では note の内容をAIで動画に変換して公開しているので、まだの方は noteのフォローYouTubeのチャンネル登録 もお願いします!

なお、全体公開バージョン は動画のレンダリングが終了し次第、こちらのリンクからアクセスできるので、よかったら見てみてください!

それでは、本日もよろしくお願いします!


オープンソースやマルチモーダルAIって?

それで、さっきちょっとオープンソースとかマルチモーダルという言葉を普通に使ってしまったのですが⋯、これらについて少し補足させてください!

オープンソースとは、一体何が良いのでしょう?
それは、 みんなで使えて、改良できる ことなんです!
だから、 無料でも使えます し、どんどん 成長できる というわけなんです。

そして、マルチモーダルAIとは、テキストも画像も動画も理解してしまう、 賢いAI のことなんです!

今回は画像の編集などにフォーカスしてお話ししていこうと思うのですが、例えばこんな感じで、普通に テキストから画像を作る こともできてしまうんですよね!  

そしてこのようにテキストからの画像生成が可能ですが、マルチモーダルAIの能力はそれだけにとどまりません。画像の内容を理解することもできるため、複雑な画像をAIに見せて、その画像を分析したりすることもできるんですね!
ちなみに、画像の中の文字なんかも、ちゃんと読み取れちゃうんです⋯!  

それで、ここが一番気になっている方も多いと思うんですけど⋯!
実際にどんな感じのことができるのかと申しますと、 フィギュアみたいに変更 したり、 アニメスタイル にしたり、 お人形さん にしたり、 粘土のような感じ3Dのようにスタイル変換 させたりといったことなんかもできるんです!
少し、画像編集の例もお見せします!  

画像編集の様々な例

スタイル変換:「あのアニメ風に!」「有名画家のタッチで!」

オブジェクト操作:「この人を消して!」「ここに〇〇を追加して!」

服装チェンジもお手の物!

表情だって変えられる!

なんてこともできちゃいます!

あとは冒頭の画像でもお見せしましたが、別の角度からの画像生成なんかもできるんです!

ですから、これを使えば LoRAの学習素材 にしたり、 動画のキーフレーム にしたりといったことにも使えるんですね!

Bagelのすごい仕組み

では、どうしてこんなにプロ級のクオリティが出せるのか、その内部的な専門的なお話も少しだけさせてくださいね⋯!

まず大前提として、ChatGPTさんのように、ユーザーがAIに質問したら適切な言葉で返してくれる LLM(大規模言語モデル) というものが内蔵されているんです。

高品質な秘密:MOTアーキテクチャと学習データ

そして、もっと内部的な技術として、 MOTアーキテクチャ というものが使われています。
このアーキテクチャは、なんとChatGPT-4Oさんの画像生成と一緒のものなんです!
Mixture-of-Transformer-Experts (MoT) 」というのは、たくさんの専門家AIが集まって、賢く処理をしてくれる構造になっているということなんです!

ただし、このBagelさんはChatGPT-4さんの代替というわけではなくて、 数兆もの画像や動画、テキスト、ウェブデータ といった、とっても大量の情報で学習されているんです!
そして、合計140億ものパラメータのうち、 常に70億のアクティブなパラメータを使っている そうなんです。
だからこそ、本当にきれいな画像生成ができたり、詳しい画像理解ができたりするんですね!

Bagelを動かすには? ~準備とちょっぴり注意点~

必要なパソコンのスペック

それでは、このBagelさん、使ってみたいですよね⋯!
ただし、ちょっとだけ注意点があるんです。

現在では、 VRAMが32GBくらい必要 みたいなんです⋯!
24GBのVRAMでも、大体50万円くらいはしてしまうようですから、正直なところ、そのスペックのPCを持っている方は少ないんじゃないかと思うんです。
ですので、このあたりは私の方で工夫して、皆さんに実際に使う方法についてご紹介できればと思っています!

スペック問題をクリアするには?

それで、その方法なんですけど⋯!
実は現在は、 軽量化モデル(fp8)最適化技術(Flash Attention) というものなどが出てきているんです。
ですから、そういったものを使って、基本的には動かすという感じになるんです!
これから、それについてご紹介していきます!

Bagelを使うためのツールたち:

今回の記事で使うのは「 Gradio Framework 」です!

現在は ComfyUI さんとかでも使えるそうなんですけど、こちらは 環境構築とかセットアップが結構難しい そうなんですよ⋯!

具体的な動かし方としては、あらかじめ用意したノートブックを使います。

このノートブックとかプログラミングって聞くと、ちょっと難しそう⋯って思いますよね? 大丈夫です! はっきり言って、今回は プログラミングの知識は全く必要ありません

このノートブックというのは、まるでレシピを見ながら順番に作業するみたいに、上から順番に 実行ボタンをポチポチ押していく だけで、必要な準備を自動でやってくれるものなんです!

具体的には、Bagelを使うために必要な色々なものをインストールしたり、Bagelのこちらの画面を開けるようにするための準備をしてくれるんですね!

そして、このノートブックを動かす場所として、今回は PaperSpace というクラウドサービスを使っていきます!

PaperSpaceを使う一番のメリットは、 皆さんのPCの性能を気にしなくていい ことなんです! ウェブブラウザからアクセスして操作できるので、どんなPCからでもBagelを試すことができるんです!

PaperSpaceのことについてもっと詳しく知りたいなという方は、こちらの記事で詳しく説明しています!

この記事では、PaperSpaceの使い方だけでなく、モデルの整理など、AIを使う上でとっても便利な作業を集めたノートブックもダウンロードできるようにしていますので、ぜひ活用してみてください!

さて、ここからは実際にBagelを使えるようにする手順をご紹介します! まずは、先ほどからお話ししているように、このノートブックを皆さんにお渡しします!

あとは、順番にボタンをポチポチ押していくだけです! そうすると、Bagelの画面にアクセスするための 特別なURL が出てきます!

このURLをクリックしてアクセスすると⋯!
先ほどお見せしたBagelの画面が出てくるんです! これで、すぐに画像編集などが始められます!
ぜひ全部自動化して、楽をしてから始めてみてください!

ということで、ここからは私のNoteメンバーシップ「 あいらぼ(Ai-Lab) 」にご参加の皆さん向けに、さらに詳しい解説をしていきたいと思います!

「あいらぼ(Ai-Lab)」には、現在 400人を超えるAIクリエイターさん が参加されていて、最新のトレンドAI情報はもちろん、公式LINEとの連携でAIに関するお悩み解決なども行っているんです!

人数制限 を設けているので、ご興味のある方は、ぜひお早めにこちらのリンクから入門して、続きをご覧ください!

メンバーシップにご参加いただいた皆さん、ありがとうございます!

ここからは、Bagelを実際に動かすための準備として、先ほどご紹介したノートブックを動かすための環境を整えていきましょう。

具体的には、PaperSpaceを立ち上げて、ノートブックを実行できる状態にします。

ログインや会員登録などは、こちらのNote記事に詳しく記載しているので、基本的には こちらを参考にまず進めていってください

それで、一応今回使用する

ここから先は

4,635字 / 45画像 / 2ファイル

あいらぼ (Ai-Lab) は、NoteとYouTubeを活用して、皆さんを「生成AIを使いこなす側…

🐾あいらぼ:記事|動画|ComfyUI ワークフロープラン

¥1,980 / 月
あと6人募集中

🐾あいらぼ:記事|動画|WF プラン(質問・サポート付き)

¥4,980 / 月
あと1人募集中

この記事が気に入ったらチップで応援してみませんか?