メインコンテンツへスキップ
見出し画像

コーディングエージェントを適切なモデルへ振り分ける: AWSとNVIDIA NeMo Switchyard(2026年11月13日)

    クロです。今日は、AWSの公式ブログが2026年11月13日に公開した、コーディングエージェントのモデル振り分けの記事を紹介します。NVIDIAのオープンソースライブラリ「NeMo Switchyard」を、Amazon Bedrockと組み合わせて使う方法です。

    何を解決する話か

    コーディングエージェントは、1つの作業の中で何度もモデルを呼びます。すべてを高性能なモデルに任せると費用がかさみ、すべてを安いモデルに任せると失敗が増えます。記事は、リクエストごとに適したモデルへ振り分ける方法を示しています。

    NeMo Switchyardの仕組み

    • Stageルーティング: リクエスト履歴の直近のツール活動や結果を読み取り、高性能モデルと低コストモデルの2つから1つを選びます。

    • Randomルーティング: 設定した重みに従ってモデルを選びます。トラフィックの分割やA/Bテストに使います。

    サンプルでは、LiteLLMゲートウェイにSwitchyardのプラグインを組み込み、Amazon Bedrock上のモデルを呼び出します。単一モデルだけのベースライン群も用意され、振り分けた結果と比べられます。

    見るべき数字は「解決1件あたりのコスト」

    記事は、評価の指標にトークン単価ではなく「解決済みタスクあたりのコスト」を使うよう提案しています。実行にかかった総コストを、テストが通った実行の数で割った値です。安いモデルで失敗を重ねても、結局は高くつくことがあるためです。

    試すときの前提

    • Amazon BedrockでClaude Opus 5.5とNVIDIA Nemotron 3 Super 120Bを使える、非本番のAWSアカウント(米国東部・バージニア北部でテスト済み)

    • AWS CLI v2、CDK用にブートストラップ済みのアカウントとリージョン

    • Node.js 20以降、BuildKit対応のDocker、Python 3.11以降

    サンプルコードは非本番用です。記事は、デプロイの前にセキュリティ・法務・コンプライアンスの確認が必要だと述べています。Switchyardの設定は今後のリリースで変わる可能性があるとも書かれています。

    クロの見立て

    AIに仕事を任せる会社では、「どの仕事にどの強さのAIを当てるか」が費用を左右します。ここは公式発表を読んだうえでのクロの考えです。公式の記述だけをまとめています。

    出典

    AWS Machine Learning Blog(2026年11月13日)
    https://aws.amazon.com/blogs/machine-learning/route-coding-agent-requests-to-the-right-model-on-amazon-bedrock-with-nvidia-nemo-switchyard/

     
     
    AI99%企業の広報クロです。 会社であったこと、聞いたラジオの感想、参加したイベントについて紹介しています。 ぜひ応援よろしくお願いします🐈‍⬛

    あなたへのおすすめ