現場の映像を理解し、ロボットと連携する。建築・土木で考えるVSSの活用
建築・土木の現場では、状況確認や防犯のためにカメラが設置されている現場があります。その映像から、必要な場面をAIが探し、現場のルールや過去の記録と照らして、確認事項をまとめてくれたらどうでしょうか。
NVIDIAのVSSを調べると、建設分野での取り組みが確認できます。映像の検索・解析を、記録作成やロボットの追加調査へどうつなげるか。映像を理解するVSSと、複数のロボットを協調させる仕組みの役割を整理しながら、現場での活用を考えます。
VSSは「Video Search and Summarization」の略です。「VSSモデル」と呼ばれることもありますが、単体のモデルではなく、映像と言葉を扱うVLM、文章を扱うLLM、検索などを組み合わせる開発用の構成例です。録画・ライブ映像の解析、検索、要約、質問への回答などを組み込めます。
建設分野では、すでに具体的な取り組みがあります。 清水建設は、VSSと、社内資料などを検索して回答に利用するRAGを融合した施工管理の取り組みを公表しています。カメラ映像からの危険行動検知と、過去の現場記録を使った安全対策・指示書の生成を説明しています。NVIDIAも建設作業員の安全に向けた試行として紹介しています。
土木に近いインフラ保守では、日立がHMAXでのVSS活用を公表しています。鉄道インフラなどのデータを使い、設備劣化の兆候や保守に関する判断材料を提供する構想・機能が説明されています。ただし、HMAX全体の導入規模や効果を、そのままVSS単独の実績と読み替えることはできません。
これらは現場への適用が進んでいる根拠になります。一方、今回確認した資料だけでは、自分の現場での見落とし率や費用対効果までは分かりません。用途と撮影条件を絞って確かめる段階は必要と思います。
特に取り組みやすいと考えるのが、既設カメラとの連携です。 VSSの映像管理機能には、RTSPという映像配信方式のURLを使ってカメラを登録する仕組みがあります。既設のIPカメラや録画装置から対応する映像を取り出せれば、解析用の計算環境へ接続する候補になります。
ただし、スマートフォンの専用アプリで見られることと、外部システムへ映像を渡せることは別です。カメラや録画装置の外部出力、認証、映像形式、通信経路、サービスの利用条件を確認します。ライブ接続が難しい場合は、まず書き出した録画で検証する方法も考えられます。クローズドしたデータのやり取りをする必要もあると思います。
固定カメラは、同じ場所を継続して観察できる点が利点です。たとえば建築現場なら、資材搬入の場面検索や、通路に物が置かれた時間帯の確認です。土木現場なら、工事車両の入退場や滞留、作業区画への立入り候補を映像から探す使い方が考えられます。これらは応用案であり、対象の定義や設定、必要なモデルの調整が前提です。
作業日報には搬入場面を抽出し、映像と照合して記録を確定する使い方が考えられます。遮蔽を作業停止と誤解しないよう、判断できない状態も残します。
工事の進捗に合わせ、監視範囲や対象も更新します。カメラの向きが変われば、地図との対応も再確認します。
現場での有用性を左右するのは、撮影条件と評価方法です。 遠くの小さな対象、逆光、夜間、粉じん、重機による遮蔽では、解析に必要な情報が不足します。広角の定点映像で、細かなひび割れ幅や保護具の装着状態まで判断できると決めつけることはできません。
AIの文章が自然でも、内容が正しいとは限りません。元映像と時刻を残し、「候補」「確認済み」「判定できない」を区別します。確認作業を減らせるかは評価できますが、映像要約だけを建物の安全判定や重機停止の根拠にする設計は避けるべきです。
また、既設カメラを使えても解析は無料にはなりません。モデルを実行するGPU環境、録画保存、通信、運用保守が必要です。必要な構成は利用機能やモデルによって変わるため、カメラ台数だけで費用を決められません。映像の保存期間や閲覧権限、作業員への利用目的の周知も、運用設計に含めたいところです。
AIが別のAIへ処理を依頼する方法もあります。 VSSには、AIから外部の機能を呼び出すためのMCP接続が用意されています。公式には、出来事の記録やカメラ情報を照会する機能があり、上位のAIエージェントから利用できます。
たとえば「昨日の搬入口の映像を確認し、再確認したい場面と関連する作業手順をまとめて」と依頼します。上位AIがVSSで候補を探し、文書検索の仕組みで手順書を参照し、根拠映像と一緒に報告案を作る構成です。VSSとRAGをAPIでつなぐ方法も、NVIDIAが公開しています。
この段階は、AIが別のAIやソフトウェアを使う仕組みです。ロボットへ調査を依頼する場合には、機体ごとの制御機能との接続が加わります。VSSの映像解析機能と、ロボットに仕事を割り当てる機能を整理することが大切です。
ここからは、VSSを組み合わせる場合の提案です。既設カメラやロボットの映像をVSSで解析し、その結果を受けた上位AIが追加確認の候補を整理します。ロボットの協調・制御システムと接続すれば、人の監督下で適した機体へ撮影を依頼する構成が考えられます。VSSは映像の理解を担い、機体への仕事の割当てや動作の実行は別の機能が担います。
さらに、出来事の時刻・場所・設備ID・根拠映像を、BIMや点群、GISと結び付ければ、デジタルツイン上から確認対象を開けます。撮影カメラの位置と対象物の位置は別なので、正確な配置には位置合わせや深度などの情報が必要です。
Isaac Simは、こうした構成の撮影条件を仮想環境で試す場にできます。VSSの公式倉庫向け資料にも、Isaac Simによる合成データ生成が案内されています。 建築・土木への応用では、カメラの高さや向きを変えて見え方を比較し、実映像でも結果を確かめる使い方が考えられます。
最初はカメラ一台と確認対象一種類で、見落とし、誤検出、確認時間、運用費を測るのが現実的だと考えます。昼夜・雨天・遮蔽も評価し、効果を確認して対象を広げます。
現場の映像から確認対象を見つけ、場所と根拠を整理し、必要なら別のロボットによる観測へつなぐ。その一連の仕組みの中で、VSSは映像を理解する役割を担う選択肢になると考えています。
