メインコンテンツへスキップ
見出し画像

建築ビジュアルCG × AI活用法㉖|AI3Dモデル生成⑤ 革新的な3Dモデル生成プラットフォーム『3D AI Studio』

    画像

    こんにちは。STUDIO55技術統括の入江です。
    ジェネレーティブAI は各プラットフォームごとに特徴があり、1つに絞しぼり込むのが難しい現状があります。そのため、複数のAIを適切に使い分ける知識と経験 が求められます。

    今年になって急速な展開を見せる 3Dモデル生成AI も、これから、より 実務の用途に応じた選択 が必要になってきます。そのため、どの AI に どのような特徴があり、どのような 得手えて・不得手ふえてがあるのか認識しておく事は とても大切です。

    これまで 無料使用 が 可能 な AI を中心に伝えてきましたが、本日は、有料使用の『3D AI Studio』を取り上げ、その性能の高さを共有します。

    バックストーリー

    『3D AI Studio』は、従来とは異なる アプローチ で誕生した AI です。

    創設者の Jan Hammer (ジャン ハンマー)氏は、数社の大企業と協力してきた経験のある 3D アーティスト 兼 開発者 です。

    画像
    gitHub : Jan Hmmr

    CG の 3Dアニメーションでは、数日かけて制作したCGモデルが実際には 1秒 にも満たない時間しか映らないといったことはよくあります。こうした現実に創作意欲が薄れた ジャン氏 は、より効率的な手法を模索し、テキストや画像から3Dモデルを生成する SaaS プラットフォーム を立ち上げました。

    それが、『3D AI Studio』です。

    同プラットフォームは、昨年(2024年) 2月 にローンチされ、わずか 4日間で 5,000人の登録ユーザーを獲得した話題の 3Dモデル生成AI です。

    3D AI Studio

    『3D AI Studio』は アーティストによって開発されたプラットフォーム です。そのため、CG制作のスタンスを熟知した設計 が伺えます。

    使用は、"お試し" なしで、すべて有料です。
    そのため、先ずは Basic から始めて、気に入れば上のプランに切り替えるのが賢明かも知れません。

    👉 3Dモデル生成には 25クレジット / 1回 かかる形です。つまり、ベーシック で 40回/月 のモデル生成の計算になります。

    画像
    3DAIStudio : Custom 3D Assets Instantly (Annual)

    3Dモデル生成 を中心に、テクスチャ、画像、ビデオ、オーディオ生成 など幅広い機能を備えており、バックストーリーからは意外にもモデル生成に限定されない特徴を持っています。

    画像
    3daistudio 「WELCOME TO THE FUTURE」

    Image to 3D 検証

    検証は『Image to 3D』を基準にします。
    建築ビジュアライゼーション では、イメージだけで3Dを生成するケースは稀まれです。そのため、具体性のある画像がどの程度反映されるか を確認することを目的とします。

    これまでのモデル生成比較を踏まえ、私の "愛犬くん" の同じ AI画像 を使用した生成で、比較してみたいと思います。

    画像
    画像をAIでスタイル変更した "愛犬くん" 画像

    「Image to 3D」の "Upload Image" から画像を読み込みます。

    画像
    Image to 3D 画面

    AIモデルは「Prism 1.5(Sketch)」で ジェネレート。
    約1分ほどで、テクスチャ付きのモデルが生成されます。
    確認フローはありません。

    画像
    モデルが生成された画面

    デフォルトで glb データ がダウンロードされます。

    画像
    ダウンロードアイコン

    別フォーマットでダウンロードする場合は、「Process」から「File Format」をクリックして選択します。

    画像
    File Format

    「Change Format」画面の "Export Format" ドロップダウンメニューに、fbx、obj、stl、usdc の選択があります。

    画像
    Export Format

    その際、「Textures as Separate Files」にチェックすると、別フォルダでテクスチャがダウンロードされます。

    画像
    Textures as Separate Files

    👉Textures as Separate Files :
    glb や fbx などのモデルデータには基本的にマップが含まれていますが、事前にチェックすることで、最近増えているウェブ上のダウンロードデータにおける 圧縮ヘッダー の 破損対策 にもなります。

    別拡張子 をダウンロードするには、モデルごと別で生成されます。新たに生成されたモデルアイコンから、モデルも含めてダウンロードする形です。
    画面には、同じモデルを異なる拡張子で生成したデータが表示されています。見た目は同じですが、それぞれの拡張子が表記されているのが分かるかと思います。

    画像
    (左)FBXデータ (右)GLBデータ

    ダウンロードフォルダに格納された PBRテクスチャ は、Base Color、Metallic、Normal、Roughness が jpg 形式で保存されます。

    マップサイズは 2048×2048。
    AIで生成する3Dモデルの定番ともいえるマップサイズです。

    画像
    pbrテクスチャ

    glb は三角メッシュ。fbx モデルは四角形メッシュです。

    画像
    (左) fbxモデル  (右) glbモデル

    GLBデータの密度は相当そうとうです(苦笑)。

    画像
    密度たかすぎ~💦

    この場合、「Remesh」機能を使って、密度を数値設定することができます。

    画像
    Remesh Settings

    リメッシュ セッティング の "Please Note" に書かれた内容には、次のようにあります。

    Remeshed files are stored for 5 days. After this period, they'll show as "File Not Stored".
    However, your original file is always preserved, and you can perform another remesh at any time.
    Remeshing is free - Credit balance is required to prevent misuse.

    (直訳)
    再メッシュされたファイルは 5 日間保存されます。この期間が過ぎると、「ファイルは保存されていません」と表示されます。
    ただし、元のファイルは常に保存されており、いつでも別の再メッシュを実行できます。
    再メッシュは無料です - 不正使用を防ぐためにクレジット残高が必要です。

    Please Note

    『3D AI Studio』では、最初の生成モデルはそのままストックされ、別拡張子や、リメッシュしたモデルは、常に 別モデル扱い で生成され直します。

    プロ の CG制作現場 において、各フェーズデータの "別保存" は鉄則です。制作プロセス における モデルデータ の 単一保存 はあり得ず、すべてのバージョンを適切に複数管理します。
    この原則は、単なるバックアップ対策ではなく、CG制作の本質的なワークフローに基づいたものです。各段階でのリビジョン管理が精緻に行われることで、品質の保証やトラブルシューティングが円滑に進み、制作の効率と安全性が確保されるのです。

    そのため、3D AI Studio の このような仕様そのものが、CG制作者のワークフローに基づく考え方であるという見方もできます。
    CG制作 をやり付けている場合には、また、このようなプラットフォームの付属機能に頼らずとも、各DCC で 拡張子の変換や、リメッシュ をする方法もとることができます。

    Blender での リメッシュの例 を挙げておきます。

    画像
    499931 → 34995 にデシメート!

    約1/14  レベル にデシメートしても、見た目は変わりません。

    画像

    👉 ブレンダー における リメッシュ手法は プラグイン操作を含めて様々です。基本操作におけるリメッシュに限定すると、プロパティ の 「リメッシュ(ボクセル / クワッド)」は、主にスカルプト後の整理やリトポ向きで、ここではAI生成マテリアルが破綻する可能性があります。そのため、ゲーム用低ポリ化向けの「デシメート」が 効率的です。

    生成モデルの スケール比較 では、「Tripo」「Trellis」と同スケールのモデル。ピボット位置 はオブジェクト中心です。

    画像
    モデル生成のスケール比較

    「Rodin(ロダン)」と 「3D AI Studio」 のモデル比較です。

    画像
    Rodin vs 3DAIStudi

    ロダン で生成したモデルはとても可愛くて お気に入りですが、3D AI Studioのモデルはさすがの ディテールの高さです。
    特に 鼻の形状や ハートのアクセサリーのジョイント部分の金具 などの精細なモデル生成は驚きで、全体的にも元画像に忠実な形状になっています。

    画像
    精細な3Dモデル

    ロダンとの精度比較

    以前に紹介した『Rodin(ロダン)』は、これまでの検証において最も安定的で 高水準な 3Dモデル を生成することが確認されています。
    ただし、各 3D生成AIには、それぞれの学習内容や搭載された技術による特徴があるため、何を目的に使用するかで 使い分け が必要になります。

    ここでは、ロダンとの比較例を挙げて、3D AI Studio の特徴を解説 したいと思います。

    ハイチェア

    以前に紹介した Rodin(ロダン)で生成した「ハイチェア」です。
    悪くはありませんが、座面と背もたれの間の ステッチ までは表現されませんでした。

    画像
    ハイチェア生成 : Rodin(ロダン)

    ここまでの追求は かなりハードルが高いものですが、3D AI Studio で生成したモデルでは、すべてのステッチが反映されており、より形状も写真ベースに近く反映されます。

    画像
    ハイチェア生成 : 3daistudio

    ベッド

    実は、Rodin(ロダン)はベッド類のファブリック形状の生成が苦手な印象があります。複雑な布のモデル処理や、元画像の影をベイクしてしまう影響か、全体的に硬さがあり、不自然さが目立ってしまいます。

    画像

    それに対し、3D AI Studio では、布類のモデルも破綻はたんすることなく生成され、見た目に自然です。

    画像
    ベッド生成 : 3daistudio

    モデル形状だけ見ても、人が手で作ったCGモデルに見えます。

    画像
    ベッド生成 : 3daistudio モデル形状

    また、バックサイド処理も "それらしく" 作られ、且かつ、見えないところのモデルを省はぶく処理など、制作ポイントを押さえた仕様 も好感が持てます。

    画像
    ベッド生成 : 3daistudio

    以上の点を踏まえて、『3D AI Studio』のモデル生成には、以下の特徴が挙げられます。

    「ディテールが高い」

    「見えないところをそれらしく作る」

    「無駄は省く」

    これらは、3Dアーティストのモデリング手法 に共通した要素です。実務使用に向けた無駄を省く作業性、見えないところにまで リアルを求める ディテール の感性を持ち合わせます。

    下の画像は、別の画像を元にして生成したベッドモデルです。
    このベッドの下がどうなっているかというと……

    画像

    このようにちゃんと作られています。
    さすが、"アーティスト作" の 3Dモデル生成AI といった印象です。

    画像
    3daistudio で生成したベッドの下側

    一枚板のテーブル

    ただ1点、3D AI Studio にも課題があります。
    それを、以前と共通した「一枚板のテーブル」のモデル生成を通して説明します。

    Rodin
    (ロダン)で生成した「一枚板のテーブル」がこちらでした。

    画像

    ご覧のように、元写真はパース(奥行)が付いた画像を使用していますが、ロダン は画像から奥行を正しく判定してモデルを生成しています。

    画像
    テーブル生成 : Rodin(ロダン)

    3D AI Studio で生成した同様のテーブルは、ディテールこそ高く生成されています。

    画像

    しかし、奥行きの判定には 課題が見られます。

    画像

    これは、別の「テーブル」でのテストです。

    画像
    画像
    テーブル生成 : 3daistudio

    「画像から3Dモデルを生成する」技術の多くは、写真の遠近感(奥行)を正しく判定するのが難しく、これは他のプラットフォームでも見られる 共通した課題です。
    その点、「Rodin(ロダン)」は画像判定機能に優れ、遠近感のある画像からも正確に形状を判定し、高精度な3Dモデルを生成できる点が際立っています。

    画像
    同じ画像から生成した3Dモデル

    Rodin(ロダン)のモデル (右) が正しい形状であるのに対し、3D AI Studio のモデル (左) は、歪ゆがんでいるのが分かります。

    画像
    フロントビュー
    (左) 3daistudio        (右) Rodin
    画像
    レフトサイドビュー
    (手前) 3daistudio       (奥側) Rodin

    ただ、3D AI Studio で生成するモデルの ディテールは素晴らしいものがあります。特に "一枚板" に特有の 小端(コバ) の あしらい は見事です。

    画像
    モデルディテールの違い
    (左) 3daistudio          (右)Rodin
    画像
    元画像とモデルディテールの比較

    このような場合、脚だけ通常制作でCGモデルし、天板だけ 3D AI Studio のモデルを使う、という工夫があっても良いでしょう。

    また、複数の画像が入手できる場合には、AIモデルを「Prism 1.5 Multi-View(Sketch)」に切り替え、「フロント」「レフト」「バック」「ライト」ビューを使って奥行を正しく生成させることができます。

    画像
    「Prism 1.5 Multi-View(Sketch)」

    実務レベルの使用では、このような点を考慮しつつ、その都度判断する応用が必要です。


    AIモデルの種類

    3D AI Studio で使用する「AIモデル」の種類を一覧で載せておきます。

    Select AI Model

    画像

    ・Swift(スゥイフト):
    生成速度が速く、クォリティは低い(PBRではない)

    ・Forfe(フォージ):
    生成速度が遅く、クォリティが高い

    ・Prism(プリズム):
    生成速度は中ぐらいで、クォリティがベスト(デフォルト設定)

    画像
    AI Model の選択画面

    Blender ブリッジ

    『3D AI Studio』のデフォルトのダウンロード形式が glb であることはお伝えしました。その他、fbx などの拡張子でエクスポートすることができますが、モデルから生成し直してわざわざ別拡張子でダウンロードするには、正直言ってストレスも感じます。

    おそらく、開発者の ジャン氏 が 他の拡張子を重視していない(あるいは扱い慣れていない)観点が そのままプラットフォームに反映されているのではないかと勝手に想像します。fbx で生成したマッピングテクスチャに粗アラが見えるところなども、システム的な問題とはいえ、あまり重視していないように感じてしまいます(苦笑)。
    いずれにしても、この点は、重要な問題にもなるため、改善点としてジャン氏には伝えています。

    画像
    fbxの愛犬くんのデータ
    glbでは見られない "アラ" が fbxではいたる箇所に出る

    3D AI Studio における 最善のワークフローは、3D AI Studio に備えられた  Blender アドオン を活用する事です。

    アーティストである ジャン のワークフローも、この点に尽きるのではないでしょうか。
    最新の glb 拡張子 を扱えば fbx はほぼ必要とされませんし、それが シームレスに Blender とブリッジできれば、何も問題はないとも言えます(苦笑)。

    つまり、ジャン としてはこう言っているように思えてなりません。

    「なんで、fbx が必要なの?」

    Blender ブリッジの設定

    画像
    3daistudio API

    ブレンダー 専用ブリッジ を使用するには、APIの「Download Blender Bridge」から zipファイル をダウンロードし、Blender のアドオン設定でチェックを入れて有効化します。

    画像
    Blender Preference 「Add-ons」

    プロパティシェルフに「3Daistudio.com Blender Bridge」が表示されるので、これをアクティブにします。その上で、3D AI Studioを使用するワークフローとなります。

    画像
    「3Daistudio.com Blender Bridge」

    追加された「Blender Bridge」をクリックで、そのまま Blender に生成モデルが反映されるようになります。

    画像
    「Blender Bridge」

    ショートカットキー は "Ctrl + B" です。
    3D AI Studio で生成したモデルをそのままショートカットで Blender につなぐことで、更に制作が加速します。
    このようなシームレスなワークフローを構成しているのも、CG制作アーティストならではの観点と言えます。

    画像
    X : 3DAIStudio (2024年12月13日)

    3Dモデル生成から編集プロセスを簡素化する Blender を活用したワークフローは、今後主流になる発想です。実際、Meshy や Tripo、Hunyuan3D なども Blender との連携を視野に入れたアドオン開発を進めています。
    しかし、3D AI Studio のようにシンプルなフローで実現しているプラットフォームは、これまで見たことがないと言えます。

    2D画像生成~3Dモデル生成 例

    3D AI Studio は 3D生成に限定されず、2D画像のジェネレート 機能を始め、制作に活用できるツールが多数 搭載されています。

    2D Library には、多くのサンプルが挙がっています。
    自分のイメージに合ったサンプルのプロンプトや 画像を利用して生成を設定することもできるので、大変便利です。

    画像
    3Daistudio : 2D Library

    「Image Studio」の画像生成は、Flux を中心にしたモデル構成です。

    画像
    「Image Studio」モデル選択画面

    詳細説明は省きますが、プロンプトからの「Generate」や「Sketch」、あるいは「Inpaint」機能まで備わり、制作スタンスで生かせる構成です。

    画像からプロンプトを生成して、2Dキャラクターをジェネレートします。
    またまた私の "愛犬くん" の登場です。

    画像
    オムツ姿の愛犬くん

    プロンプトを直接書いてもいいのですが、「Tools」機能に「Image to Prompt」があります。これは、画像から自動でプロンプトを生成する ツール です。私の愛犬くんの画像からプロンプト生成しました。

    画像
    「Image to Prompt」

    👉 自動プロンプトを使う場合は、あらかじめ内容を確認し、調整する箇所を修正した上で使用することをオススメします。

    「Prompt Crafter」をクリック。

    画像
    「Prompt Crafter」

    「Prompt Crafter」画面が開き、そこにイメージベースにする画像を読み込ませます。

    画像

    Character Style、3D Stylized をセレクション。
    「Enhance Prompt」ボタンをクリックします。

    画像

    改めて エンハンスプロンプトが生成され、その内容でよければ "Use" をクリックして決定します。

    画像

    生成したプロンプト設定で「Generate Image」します。

    画像

    完成した2D画像は スタイル機能 で 丸ごとアレンジされ、かわいい子犬が生成されました。

    画像

    その画像から、続けて 3Dモデルを生成。

    画像
    Image to 3D

    生成した3Dモデルを、そのまま ブレンダー に飛ばします。

    画像
    Blender Bridge

    シームレス な ワークフロー で、3Dモデル まで 一気に生成・編集が行えます。

    画像
    2D画像から生成された3Dモデルデータ

    アニメーション用の T ポーズ設定 もベータセットされていますが、とりあえず スタンドバージョン の キャラクター も別生成して、愛犬くんの彼女と、更に子供キャラも生成しておきました。(やり過ぎ💦)

    画像
    さまざまにアレンジ画像を生成

    3D生成すると、毛並みがドリアンみたいになっちゃっいました(苦笑)。

    画像

    ドリアンフルーツ宣伝の「ドリアン犬」キャラクターとしてリリースでもしましょうかね(笑)

    画像

    *

    『3D AI Studio』は、ディテール感 のある 3Dモデル生成 で トップクラス の性能を誇ります。
    3D生成技術は日々進化を遂げ、それぞれのツールが驚異的な進歩を見せています。用途によって最適な選択肢は異なるため、各ツールの特徴を見極め、自身のニーズに合ったものを見極めておくと良いでしょう。

    参考になれば幸いです!






















     
     
    "One More Vision"は建築ビジュアライゼーションをベースに、STUDIO55技術統括の入江達也が独自の視点で最新情報を毎週お届けします。 STUDIO55サイト: https://studio55.co.jp/

    あなたへのおすすめ