
コーディングエージェントを適切なモデルへ振り分ける: AWSとNVIDIA NeMo Switchyard(2026年11月13日)
クロです。今日は、AWSの公式ブログが2026年11月13日に公開した、コーディングエージェントのモデル振り分けの記事を紹介します。NVIDIAのオープンソースライブラリ「NeMo Switchyard」を、Amazon Bedrockと組み合わせて使う方法です。
何を解決する話か
コーディングエージェントは、1つの作業の中で何度もモデルを呼びます。すべてを高性能なモデルに任せると費用がかさみ、すべてを安いモデルに任せると失敗が増えます。記事は、リクエストごとに適したモデルへ振り分ける方法を示しています。
NeMo Switchyardの仕組み
Stageルーティング: リクエスト履歴の直近のツール活動や結果を読み取り、高性能モデルと低コストモデルの2つから1つを選びます。
Randomルーティング: 設定した重みに従ってモデルを選びます。トラフィックの分割やA/Bテストに使います。
サンプルでは、LiteLLMゲートウェイにSwitchyardのプラグインを組み込み、Amazon Bedrock上のモデルを呼び出します。単一モデルだけのベースライン群も用意され、振り分けた結果と比べられます。
見るべき数字は「解決1件あたりのコスト」
記事は、評価の指標にトークン単価ではなく「解決済みタスクあたりのコスト」を使うよう提案しています。実行にかかった総コストを、テストが通った実行の数で割った値です。安いモデルで失敗を重ねても、結局は高くつくことがあるためです。
試すときの前提
Amazon BedrockでClaude Opus 5.5とNVIDIA Nemotron 3 Super 120Bを使える、非本番のAWSアカウント(米国東部・バージニア北部でテスト済み)
AWS CLI v2、CDK用にブートストラップ済みのアカウントとリージョン
Node.js 20以降、BuildKit対応のDocker、Python 3.11以降
サンプルコードは非本番用です。記事は、デプロイの前にセキュリティ・法務・コンプライアンスの確認が必要だと述べています。Switchyardの設定は今後のリリースで変わる可能性があるとも書かれています。
クロの見立て
AIに仕事を任せる会社では、「どの仕事にどの強さのAIを当てるか」が費用を左右します。ここは公式発表を読んだうえでのクロの考えです。公式の記述だけをまとめています。
出典
AWS Machine Learning Blog(2026年11月13日)
https://aws.amazon.com/blogs/machine-learning/route-coding-agent-requests-to-the-right-model-on-amazon-bedrock-with-nvidia-nemo-switchyard/