メインコンテンツへスキップ
見出し画像

AIでバグを探すのに、最強モデルは本当に必要なのか~「証明1件の値段」で読むBB Arenaの主張~

    【発端】 モデル選びを問い直す一本の記事

    画像
    DMで繰り返される質問に、数字つきで答えた記事が起点

    最近、Marius du Preezさん(@mdp_sec)の「build ur own AI bug bounty hunter, everything i tell people in my DMs」という記事を読みました。AIでバグバウンティに取り組む人から毎日届く質問への答えを、一か所にまとめた記事です。

    面白かったのは「どのモデルを使うか」への答えです。DeepSeek V4.1 Flashは、Claude Opus 5より解決数が3件少ないだけで、1件あたりの費用は約32分の1だと書かれています。

    この記事では、数字そのものより、その背後にある物差しを説明します。

    「証明できた1件の値段」で選ぶとはどういうことか、なぜ「見つけた件数」では足りないのか。この二点です。

    先に断っておきます。BB Arenaは著者自身が作ったベンチマークで、第三者による再現は確認できていません。

    モデル名、成績、コストはすべて著者の主張として読んでください。

    著者は自分のGitHubリポジトリとBB Arenaも紹介しており、利害関係者の発信でもあります。

    【基礎】 「証明できた」だけが得点になる採点

    画像
    4段のはしご。モデルの自己申告は0点

    AIが「見つけた」と言うだけでは0点で、検証器が見届けた分だけが得点です。

    BB Arenaは、WebとAPIの非公開ラボ100個で構成されるとされています。ソースコードもヒントもなく、与えられるのは対象、スコープ、シェルだけです。

    各ラボは4段のはしごになっています。弱点を見つけ、最初の境界を越え、さらに深く進み、連鎖を完成させる、という順です。

    各段が得点になるのは、ラボ側の検証器がその操作を確認し、エージェントの記録にその実行だけの証明値が残っているときだけです。モデルが「できた」と述べても得点になりません。

    著者はこれを、報告を受け取るトリアージ担当者の確認と同じ種類のテストだと説明しています。

    試行は1ラボにつき最大2回、1回25分です。全モデルを同じ中立のハーネス(モデルを動かす共通の実行環境)で走らせたとされています。

    【違い】 正答率ではなく、証明1件の値段で選ぶ

    画像
    10月27日時点の著者の主張。第三者の再現は未確認

    順位表の最上段を見る代わりに、解決数、1解決あたりの費用、拒否数を並べて読みます。

    従来のモデル選びは、最高点のモデルを選ぶ発想になりがちです。

    この記事は、解決数、1解決あたりの費用、挑まなかったラボの数の三つを並べて読むよう勧めています。なぜなら、何も解決しない安い実行は、結局高くつきます。

    次は、著者が10月27日時点として挙げた数字です。すべて著者の主張です。

    Grok 4.6 High

    • 解決数(100ラボ中):62

    • 1解決あたり:$2.35

    • 拒否したラボ:記載なし

    Claude Opus 5 High

    • 解決数(100ラボ中):60

    • 1解決あたり:$7.72

    • 拒否したラボ:記載なし

    DeepSeek V4.1 Flash Max

    • 解決数(100ラボ中):57

    • 1解決あたり:$0.24

    • 拒否したラボ:0

    Gemini 4 Argon

    • 解決数(100ラボ中):記載なし

    • 1解決あたり:記載なし

    • 拒否したラボ:100

    GPT-6.1 Terra

    • 解決数(100ラボ中):記載なし

    • 1解決あたり:記載なし

    • 拒否したラボ:89

    100ラボ全体の費用は、DeepSeekが$13.48、Opus 5が$463と書かれています。

    総合順位は平均にすぎません。著者は、認証回避(28ラボ)でDeepSeek V4.1 Flashが20件を解決し、試した全モデルで最多だったと述べています。

    一方で、SSRFは10件中0件、サプライチェーンは4件中0件でした。自分の対象に近い脆弱性クラスの列を見てから選ぶ、ということです。

    【仕組み】 検証器と自前の門で偽りの主張を除く二段構え

    画像
    ベンチマークの検証器と、実運用の自前の門の二段構え(図ではフェーズ3〜5を省略)

    この方式は、モデルの賢さより、証拠で判定する仕組みに支えられています。

    一段目はベンチマーク側の検証器です。二段目は、著者が実運用で使っているとされるワークフローです。

    著者はそのプロンプトを、14個のフェーズ別ファイルに分けて公開しています(リポジトリ、MITライセンス)。後半には、新しく再現できるか、バグか仕様かを問う「独立したtriageの門」と、同じプログラム内の重複確認があります。

    著者は、プロンプト自体は一番面白くない部分だと書いています。価値はフェーズの境界、証拠の扱い、引き継ぎ、門にあるという考え方です。

    アクセス制御では、証明の基本は記録です。攻撃者役と被害者役の2つの実アカウントを用意します。

    どのリクエストがどのオブジェクトを作ったか、誰が触れてよいかを残します。これがあって初めて、「何かを変えたら見えた」という話が、壊れたアクセス制御の証明です。

    【具体例】 3,786件の指摘から381件へ絞る実績

    AIが出す指摘の大半は、人に届く前に捨てるものだという実績の数字です。

    数字はすべて著者自身のパイプラインのもので、第三者の確認はありません。

    • 実行:1,023回

    • 指摘:3,786件

    • 提出:381件(約10件に1件)

    • 自前の門で反証:2,596件

    • 低影響などで除外:475件

    提出後も楽な道ではありません。著者がこれまでにプラットフォームへ送った報告527件のうち(上の381件との関係は、原文に説明がありません)、重複が225件(約43%)、重大度を下げられたものが139件、上がったものは41件でした。

    そのため、著者のワークフローには「敵対的なトリアージ担当者」のように振る舞う段階と、最後の重複確認があります。著者は、フルパイプラインのトークン費用がAPI価格で提出1件あたり少なくとも$363になるとも書いています。

    ベンチマークの$0.24とは、同じものを測った数字ではありません。

    【関連概念】 認可・拒否・スコープの三つ

    画像
    それぞれ何を指し、この話とどうつながるか

    この話を自分の仕事に引き寄せる鍵は、アクセス制御の欠陥、「拒否は0点」の意味、調査してよい範囲の三つです。

    アクセス制御の欠陥は、OWASP Top 10:2025で第1位のA01です。検査した全アプリに何らかの形があったと書かれています。

    APIでは、同じ種類の問題がBOLA(オブジェクト単位の認可の欠如)と呼ばれ、2023年版API Security Top 10の1位です。著者は、報告527件のうち287件が認証回避とIDORで、報酬の約3分の2を占めると書いています。

    拒否の扱いにも注意が必要です。BB Arenaは、拒否を0点とします。

    著者の観点は、深夜2時の実戦で断られたら仕事にならない、というものです。これは作業を止めない力の測定であり、安全性の優劣とは別の話です。

    拒否したモデルが「悪い」わけでも、しなかったモデルが「安全」なわけでもありません。

    スコープも同じ構造です。HackerOneのセーフハーバーは、善意の調査を許可する宣言ですが、プログラムのスコープ自体は変えません。

    日本の法的な枠組みは不正アクセス禁止法です。

    参考情報・参考書籍(PR)

    徳丸浩さんの『体系的に学ぶ 安全なWebアプリケーションの作り方 第2版 脆弱性が生まれる原理と対策の実践』は、PHPのサンプルへの攻撃を通して、Webアプリの脆弱性が生まれる原理と対策を学ぶ本です。2018年刊の第2版(OWASP Top 10 2017対応)で、AIベンチマークの読み方は扱わず、記事の著者が言う「技術の基礎」を固めたいときの一冊になります。

    関連記事

    【まとめ】 自分の対象と物差しで試す一歩

    画像
    順位表を信じる前に、小さく測る

    順位表を信じて選ぶより、許可された自分の環境で小さく測るほうが確かです。

    試すときの流れは次のとおりです。

    1. 自分のラボか、スコープ内の対象を一つ決める。

    2. 総合点ではなく、その対象に近い脆弱性クラスの成績を見る。

    3. 解決数、1解決あたりの費用、拒否数を並べて比べる。

    4. AIの指摘を捨てる基準(再現できるか、仕様ではないか)を、提出前に自分で決める。

    著者は、無料ではじめる手始めにDeepSeekとStrixを挙げています。Strixは、ローカルのDockerと自分のLLMキーで動くオープンソースのAIペンテストツールです。

    ただしStrixのREADMEも著者も、自分のものか書面で許可を得た対象にだけ向けるよう求めています。

    著者は、技術の基礎なしにAIを入れると「知らないことが速くなるだけ」だとも書いています。AIはまず先生として使い、そのあとで調査の道具にします。

    参考情報

     
     
    海外でバズった最新テック関連情報をわかりやすく整理します! スキの数やページビューが多いなどの反響が多いものがあれば、実際の環境で操作した結果や手順などを共有する記事も作成したいとも思ってます! とりあえずこれを見ておけばディープな最新情報もキャッチアップ!できるものを目指します

    あなたへのおすすめ