
アイディアが無料になった今、勝負は「疑う仕組み」に移る~AIにバックテストを書かせる前に決めたい、五つの役割と三つの関門~
最近、INSIDER(@x_insider4)さんの「The $200,000 Quant Stack You Can Now Build in an Evening」という記事を読みました。
バックテスト(過去のデータで売買ルールを試す検証)のエンジン、未来情報の混入の検出、多重検定の補正、ウォークフォワード検証、資金配分。かつてヘッジファンドの職務記述書にあった項目が、言語モデルがあれば一晩で組める、という主張です。
面白いのは、AIに「勝てる戦略を考えさせる」話ではないところです。アイデアが無料になったからこそ、アイデアを疑う仕組みが価値になる、という整理になっています。
この記事では、バックテストを知らない方でも追えるように、まず検証の基礎を置きます。そのうえで、AIの使い方の変化、三つの関門の仕組み、具体的な数字の例、関連する研究へと進みます。
【発端】 コードが安くなり、残った壁は規律だった

つまり、AIが下げたのは技能の壁です。規律の壁は下がっていません。
検証基盤を作るには、これまでコードを書く力と統計の知識が要りました。言語モデルはコードを書く力をほぼ肩代わりします。
すると、アイデアを出すのも、検証コードを書くのも安くなります。残るのは「出てきた結果を、どこまで疑うか」です。
起点記事は、1日に200個の仮説を流して199個を捨てる人は正しい仕事をしている、と書きます。200個流して最も見栄えのよい曲線を取引する人は、以前より速く、以前より悪いことをしている、とも書きます。
道具が同じでも、結果が逆になるわけです。
【基礎】 バックテストは過去の再現で、嘘をつきやすい

つまり、バックテストの成績は「現実の予告」ではなく、「作り方しだいで盛れる数字」です。
バックテストは、過去の価格に売買ルールを当てはめて損益を計算する検証です。簡単に回せる一方、間違いが成績をよく見せる方向に働きやすい性質があります。
代表が、ルックアヘッドバイアスです。その時点では知り得なかった情報を、判断に使ってしまうことを指します。
たとえば、ローソク足が閉じてから分かる終値を使って、同じ足の中で売買したことにする場合です。バックテスト用のツールFreqtradeの公式ドキュメントも、将来の足を見るシグナルは検証を偽物にする、と注意しています。
もう一つ、成績の指標としてシャープレシオ(リターンを値動きの大きさで割った値)がよく使われます。起点記事は、日次の暗号資産データでシャープが2を超えたら、勲章ではなく警告だと述べています。
これは著者の経験則であり、一般的な基準として確認できたものではありません。
【違い】 AIは戦略の発生器ではなく、五役の分業になる

つまり、AIの使い方が「答えを出させる」から「役割を分けて互いに疑わせる」へ変わります。
起点記事は、モデルを戦略の自動生成機として扱うのは誤りだと言います。モデルは五つの役を担い、生成役はその中で最も重要度が低いという位置づけです。
仮説
担当する問い:なぜ儲かるのか。経済的な理由はあるか
失敗したときに起きること:偶然のパターンを戦略と思い込む
コード
担当する問い:コストを含め、効率よく検証できるか
失敗したときに起きること:検証の基本が崩れ、以降が全部ずれる
批評
担当する問い:このコードは、どこで嘘をついているか
失敗したときに起きること:未来情報の混入を見逃す
統計
担当する問い:何通り試したかを織り込んでも残るか
失敗したときに起きること:試行の多さが生む幸運に気づかない
リスク
担当する問い:外れ続けても口座が生き残るか
失敗したときに起きること:優位性があっても資金が尽きる
この分業の肝は、作る役と疑う役を別の役にすることです。同じ流れの中で「作った本人が褒める」状態を避けられます。
起点記事は、批評役への指示の最後に「問題が見つからなくても安心させない」ような一文を入れる点も強調しています。入れないと、レビューではなく慰めが返ってくる、という理屈です。
【仕組み】 三つの関門が、偶然と覗き見を落とす

つまり、お金に触れる前に通る門が三つあり、一つでも飛ばすと検証の意味がなくなります。
起点記事が置く関門は三つです。
批評役が未来情報の混入を見つけないこと
補正後のシャープが、試行回数を織り込んだ基準を超えること
ウォークフォワードで、標本外の成績が残ること
一つ目は、先ほどのルックアヘッドの話です。起点記事は、シグナルを一本ずらす処理が戦略と幻想を分けると書きます。
ただし、ずらせば済むわけではありません。別の解説も、一本ずらしは多くの典型的な混入を消すが、未来情報の漏れをすべて解決するわけではない、と指摘しています。
だから批評役に、点検項目をまとめて渡す設計になっています。
三つ目のウォークフォワードは、学習用の期間で調整し、直後の未使用期間で試し、窓をずらして繰り返す方法です。Wikipediaの説明の通り、標本外の結果を並べて評価します。
起点記事は、合計成績ではなく、プラスで終わった区間の数と最悪の区間で判断せよ、と言います。一度だけ大勝ちして、残りで負けていないかを見るためです。
【具体例】 80通り試した最良の1.8は、ノイズの最大値かもしれない

つまり、たくさん試すほど、何もないところから「それらしい勝者」が必ず出てきます。
起点記事の例はこうです。80通りの変種を試して、一つだけシャープが1.8だった。
それは本物でしょうか。
著者の答えは「ほぼ確実に違う」です。ランダムな戦略をN個試したときの最大シャープは、Nが増えるほど大きくなるからです。
ノイズでも、数を試せば最良のものは立派に見えます。
補正に使うのが、BaileyとLópez de Pradoによるデフレートド・シャープレシオです。選択バイアスと、収益の分布の偏りという二つの水増しを補正します。
補正には、試行回数、試したシャープのばらつき、データの長さ、歪度と尖度が使われます。入力の試行回数は自己申告です。
起点記事が「ごまかせるのは自分だけ」と言うのは、このためです。パラメータを一つ変えたのも一回の試行として数えます。
起点記事は、多くの人は勝者がノイズと区別できないと知ることになり、その発見は取引しようとしていた戦略より価値がある、と書いています。
【関連概念】 偶然、過学習、資金の経路にはそれぞれ名前がある

つまり、起点記事の各項目は、金融の研究でそれぞれ名前の付いた問題につながっています。
多重検定
見ている問題:たくさん試すと偶然の当たりが出る
手がかり:Harveyらの論文は、新しい要因はt統計量3.0超が必要と主張
バックテスト過学習の確率
見ている問題:標本内の最良が、標本外で中央値を下回る確率
手がかり:Baileyらの論文のCSCVという手法
ウォークフォワード
見ている問題:一回の分割は運で良く見える
手がかり:複数の標本外期間で繰り返し試す(arXivの事例研究)
ドローダウンと回復
見ている問題:負けたあとに戻す難しさ
手がかり:下落率より回復に必要な上昇率が大きい
資金配分の例は、数字で確かめられます。起点記事は、勝率45%で12連敗する場面を考えます。
1%リスクなら約11%の下落で済みますが、5%リスクなら約46%の下落になると言います。
この数字は、\(1-0.99^{12}\) と \(1-0.95^{12}\) の計算で再現できます(筆者が計算)。取り戻すには、0.95の12乗が約0.54なので、約85%の上昇が必要です。
回復率が「(ピーク÷現在)−1」で決まることは、リスク計算の解説にもあります。
12連敗が「年に1回ほど」起きるかどうかは、取引回数しだいです。自分の戦略で数え直すのが安全です。
参考情報・参考書籍(PR)
本記事をより深く理解するために、概念マップスライドを作成しました。こちらをみることで理解の補助になるはずです。
『A/Bテスト実践ガイド 真のデータドリブンへ至る信用できる実験とは』(Ron Kohavi、Diane Tang、Ya Xu。訳は大杉直也)は、型を測って選ぶ運用を、実験設計と指標の考え方から深めたい読者の次の一冊です。
『リーン・スタートアップ』(エリック・リース。訳は井口耕二)は、小さく出して測り、学び、次に活かす「作る・測る・学ぶ」の循環が、この記事の運用ループと対応します。
関連記事
【まとめ】 お金を使わず、検証を一つ疑ってみる
つまり、最初の一歩は新しい戦略を作ることではなく、手元の結果を一つ疑うことです。
次の三つは、売買をしなくてもできます。自分の検証コードや、過去に見た成績表があれば足ります。
シグナルを一本ずらす:成績が急に崩れるなら、未来を見ていた可能性があります
試した本数を数える:パラメータの微調整も一回と数えて、メモに残します
止める条件を先に書く:どこまで負けたら止めるかを、冷静なうちに決めます
最後の項目は起点記事の主張でもあります。発動する瞬間には冷静でいられないからです。
なお、起点記事は投資助言ではなく、コードも例示だと明記しています。ここで紹介した内容も、検証の考え方の整理です。
特定の戦略の有効性は確認していません。