Gemini 2.5 Computer Use の概要
以下の記事が面白かったので、簡単にまとめました。
1. Gemini 2.5 Computer Use
「Gemini 2.5 Computer use」は、「Gemini 2.5 Pro」の視覚理解・Reasoning機能を基盤として構築された、UIを操作できるエージェントを実現する新しい専用モデルです。このモデルは、複数のWebおよびモバイル制御ベンチマークにおいて、主要な代替モデルを凌駕し、しかも低レイテンシを実現しています。
2. 仕組み
このモデルのコア機能は、「Gemini API」の新しいcomputer_useツールを通じて公開され、ループ内で操作されます。このツールへの入力は、ユーザーリクエスト、環境のスクリーンショット、最近のアクション履歴です。入力では、サポートされているUIアクションの完全なリストから関数を除外するか、追加するカスタム関数を指定することもできます。
モデルはこれらの入力を分析し、レスポンス (通常はクリックや入力などのUIアクションを表す関数呼び出し) を生成します。このレスポンスには、購入などの特定のアクションに必要なエンドユーザーの確認要求も含まれる場合があります。クライアント側のコードは、受信したアクションを実行します。
アクションが実行されると、GUIの新しいスクリーンショットと現在のURLが関数レスポンスとしてコンピュータ使用モデルに返され、ループが再開されます。この反復プロセスは、タスクが完了するか、エラーが発生するか、安全に関する応答またはユーザーの決定によってインタラクションが終了するまで継続されます。
「Gemini 2.5 Computer use」は、主にWebブラウザ向けに最適化されていますが、モバイルUI制御タスクにも大きな可能性を秘めています。デスクトップOSレベルの制御にはまだ最適化されていません。
モデルの動作を確認するには、以下のデモを参照してください。ここでは3倍速で表示しています。
・Prompt
From https://tinyurl.com/pet-care-signup, get all details for any pet with a California residency and add them as a guest in my spa CRM at https://pet-luxe-spa.web.app/. Then, set up a follow up visit appointment with the specialist Anima Lavar for October 10th anytime after 8am. The reason for the visit is the same as their requested treatment.
【翻訳】
https://tinyurl.com/pet-care-signup から、カリフォルニア州在住のペットの詳細情報を取得し、https://pet-luxe-spa.web.app/ にある私のスパCRMにゲストとして追加してください。その後、10月10日午前8時以降に、専門医のアニマ・ラヴァーによるフォローアップ診察の予約を設定してください。診察の目的は、ご希望の治療と同じです。
・プロンプト
My art club brainstormed tasks ahead of our fair. The board is chaotic and I need your help organizing the tasks into some categories I created. Go to sticky-note-jam.web.app and ensure notes are clearly in the right sections. Drag them there if not.
【翻訳】
美術部ではフェアに向けて課題をブレインストーミングしました。ボードがごちゃごちゃしているので、いくつかカテゴリーを作って整理するのを手伝ってほしいです。sticky-note-jam.web.app にアクセスして、メモが適切なセクションにきちんと配置されているか確認してください。もし違っていたら、ドラッグしてください。
3. 性能
「Gemini 2.5 Computer use」は、複数のWebおよびモバイル制御ベンチマークで優れた性能を示しています。評価の詳細は、「Gemini 2.5 Computer Use evaluation info」と「Browserbase’s blog post」を参照してください。特に明記されていない限り、表示されているスコアはAPI経由で公開されているcomputer_useツールのスコアです。
このモデルは、Online-Mind2Web の Browserbase ハーネスの性能で測定されたように、最低の遅延でブラウザ制御の最高品質を提供します。
4. 安全性への取り組み
すべての人にメリットをもたらすエージェントを構築する唯一の方法は、最初から責任を持つことだと考えています。コンピュータを制御するAIエージェントは、ユーザーによる意図的な誤用、モデルの予期せぬ動作、ウェブ環境におけるプロンプトインジェクションや詐欺など、特有のリスクをもたらします。そのため、安全ガードレールを慎重に実装することが不可欠です。
これらの3つの主要なリスク (Gemini 2.5 Computer Use System Cardに記載) に対処するため、モデルに安全機能を直接学習させました。
さらに、開発者向けに安全対策も提供しています。これにより、開発者はモデルが潜在的に高リスクまたは有害なアクションを自動完了するのを防ぐことができます。これらのアクションの例には、システムの整合性を損なう、セキュリティを侵害する、CAPTCHAをバイパスする、医療機器を操作するなどが含まれます。対策は以下のとおりです。
・ステップごとの安全性サービス
モデルが提案する各アクションを実行前に評価する、モデル外の推論時安全性サービス。
・システム指示
開発者は、エージェントが特定の種類の重要なアクションを実行する前に、拒否するか、ユーザーに確認を求めるかをさらに指定できます。
開発者向けの安全対策とベストプラクティスに関する追加の推奨事項は、ドキュメントに記載されています。これらの安全対策はリスクを軽減することを目的としていますが、すべての開発者には、リリース前にシステムを徹底的にテストすることを強くお勧めします。
5. はじめる
本日より、「Gemini 2.5 Computer use」はプレビューとして、「Google AI Studio」と「Vertex AI」の「Gemini API」からアクセスできます。
・今すぐ試す
Browserbase がホストするデモ環境を試してください。
・構築をはじめる
リファレンスとドキュメントを参照して、Playwright を使用してローカルで、または Browserbase を使用してクラウドVMで独自のエージェントループを構築する方法を学んでください。
・コミュニティに参加する
開発者フォーラムでフィードバックを共有し、ロードマップの策定に協力してください。
