メインコンテンツへスキップ
見出し画像

アイディアが無料になった今、勝負は「疑う仕組み」に移る~AIにバックテストを書かせる前に決めたい、五つの役割と三つの関門~

    最近、INSIDER(@x_insider4)さんの「The $200,000 Quant Stack You Can Now Build in an Evening」という記事を読みました。

    バックテスト(過去のデータで売買ルールを試す検証)のエンジン、未来情報の混入の検出、多重検定の補正、ウォークフォワード検証、資金配分。かつてヘッジファンドの職務記述書にあった項目が、言語モデルがあれば一晩で組める、という主張です。

    面白いのは、AIに「勝てる戦略を考えさせる」話ではないところです。アイデアが無料になったからこそ、アイデアを疑う仕組みが価値になる、という整理になっています。

    この記事では、バックテストを知らない方でも追えるように、まず検証の基礎を置きます。そのうえで、AIの使い方の変化、三つの関門の仕組み、具体的な数字の例、関連する研究へと進みます。

    【発端】 コードが安くなり、残った壁は規律だった

    画像
    コードもアイデアも安くなると、「出た結果をどこまで疑うか」が差になる 【

    つまり、AIが下げたのは技能の壁です。規律の壁は下がっていません。

    検証基盤を作るには、これまでコードを書く力と統計の知識が要りました。言語モデルはコードを書く力をほぼ肩代わりします。

    すると、アイデアを出すのも、検証コードを書くのも安くなります。残るのは「出てきた結果を、どこまで疑うか」です。

    起点記事は、1日に200個の仮説を流して199個を捨てる人は正しい仕事をしている、と書きます。200個流して最も見栄えのよい曲線を取引する人は、以前より速く、以前より悪いことをしている、とも書きます。

    道具が同じでも、結果が逆になるわけです。

    【基礎】 バックテストは過去の再現で、嘘をつきやすい

    画像
    成績は現実の予告ではなく、作り方しだいで良く見える

    つまり、バックテストの成績は「現実の予告」ではなく、「作り方しだいで盛れる数字」です。

    バックテストは、過去の価格に売買ルールを当てはめて損益を計算する検証です。簡単に回せる一方、間違いが成績をよく見せる方向に働きやすい性質があります。

    代表が、ルックアヘッドバイアスです。その時点では知り得なかった情報を、判断に使ってしまうことを指します。

    たとえば、ローソク足が閉じてから分かる終値を使って、同じ足の中で売買したことにする場合です。バックテスト用のツールFreqtradeの公式ドキュメントも、将来の足を見るシグナルは検証を偽物にする、と注意しています。

    もう一つ、成績の指標としてシャープレシオ(リターンを値動きの大きさで割った値)がよく使われます。起点記事は、日次の暗号資産データでシャープが2を超えたら、勲章ではなく警告だと述べています。

    これは著者の経験則であり、一般的な基準として確認できたものではありません。

    【違い】 AIは戦略の発生器ではなく、五役の分業になる

    画像
    作る役と疑う役を分け、「作った本人が褒める」状態を避ける

    つまり、AIの使い方が「答えを出させる」から「役割を分けて互いに疑わせる」へ変わります。

    起点記事は、モデルを戦略の自動生成機として扱うのは誤りだと言います。モデルは五つの役を担い、生成役はその中で最も重要度が低いという位置づけです。

    仮説

    • 担当する問い:なぜ儲かるのか。経済的な理由はあるか

    • 失敗したときに起きること:偶然のパターンを戦略と思い込む

    コード

    • 担当する問い:コストを含め、効率よく検証できるか

    • 失敗したときに起きること:検証の基本が崩れ、以降が全部ずれる

    批評

    • 担当する問い:このコードは、どこで嘘をついているか

    • 失敗したときに起きること:未来情報の混入を見逃す

    統計

    • 担当する問い:何通り試したかを織り込んでも残るか

    • 失敗したときに起きること:試行の多さが生む幸運に気づかない

    リスク

    • 担当する問い:外れ続けても口座が生き残るか

    • 失敗したときに起きること:優位性があっても資金が尽きる

    この分業の肝は、作る役と疑う役を別の役にすることです。同じ流れの中で「作った本人が褒める」状態を避けられます。

    起点記事は、批評役への指示の最後に「問題が見つからなくても安心させない」ような一文を入れる点も強調しています。入れないと、レビューではなく慰めが返ってくる、という理屈です。

    【仕組み】 三つの関門が、偶然と覗き見を落とす

    画像
    五役のフロー(三つの関門の帯はこの図に入っていない)

    つまり、お金に触れる前に通る門が三つあり、一つでも飛ばすと検証の意味がなくなります。

    起点記事が置く関門は三つです。

    1. 批評役が未来情報の混入を見つけないこと

    2. 補正後のシャープが、試行回数を織り込んだ基準を超えること

    3. ウォークフォワードで、標本外の成績が残ること

    一つ目は、先ほどのルックアヘッドの話です。起点記事は、シグナルを一本ずらす処理が戦略と幻想を分けると書きます。

    ただし、ずらせば済むわけではありません。別の解説も、一本ずらしは多くの典型的な混入を消すが、未来情報の漏れをすべて解決するわけではない、と指摘しています。

    だから批評役に、点検項目をまとめて渡す設計になっています。

    三つ目のウォークフォワードは、学習用の期間で調整し、直後の未使用期間で試し、窓をずらして繰り返す方法です。Wikipediaの説明の通り、標本外の結果を並べて評価します。

    起点記事は、合計成績ではなく、プラスで終わった区間の数と最悪の区間で判断せよ、と言います。一度だけ大勝ちして、残りで負けていないかを見るためです。

    【具体例】 80通り試した最良の1.8は、ノイズの最大値かもしれない

    画像
    たくさん試すと、何もないところからも勝者が出る

    つまり、たくさん試すほど、何もないところから「それらしい勝者」が必ず出てきます。

    起点記事の例はこうです。80通りの変種を試して、一つだけシャープが1.8だった。

    それは本物でしょうか。

    著者の答えは「ほぼ確実に違う」です。ランダムな戦略をN個試したときの最大シャープは、Nが増えるほど大きくなるからです。

    ノイズでも、数を試せば最良のものは立派に見えます。

    補正に使うのが、BaileyとLópez de Pradoによるデフレートド・シャープレシオです。選択バイアスと、収益の分布の偏りという二つの水増しを補正します。

    補正には、試行回数、試したシャープのばらつき、データの長さ、歪度と尖度が使われます。入力の試行回数は自己申告です。

    起点記事が「ごまかせるのは自分だけ」と言うのは、このためです。パラメータを一つ変えたのも一回の試行として数えます。

    起点記事は、多くの人は勝者がノイズと区別できないと知ることになり、その発見は取引しようとしていた戦略より価値がある、と書いています。

    【関連概念】 偶然、過学習、資金の経路にはそれぞれ名前がある

    画像
    偶然・過学習・資金の経路

    つまり、起点記事の各項目は、金融の研究でそれぞれ名前の付いた問題につながっています。

    多重検定

    • 見ている問題:たくさん試すと偶然の当たりが出る

    • 手がかり:Harveyらの論文は、新しい要因はt統計量3.0超が必要と主張

    バックテスト過学習の確率

    • 見ている問題:標本内の最良が、標本外で中央値を下回る確率

    • 手がかり:Baileyらの論文のCSCVという手法

    ウォークフォワード

    • 見ている問題:一回の分割は運で良く見える

    • 手がかり:複数の標本外期間で繰り返し試す(arXivの事例研究)

    ドローダウンと回復

    • 見ている問題:負けたあとに戻す難しさ

    • 手がかり:下落率より回復に必要な上昇率が大きい

    資金配分の例は、数字で確かめられます。起点記事は、勝率45%で12連敗する場面を考えます。

    1%リスクなら約11%の下落で済みますが、5%リスクなら約46%の下落になると言います。

    この数字は、\(1-0.99^{12}\) と \(1-0.95^{12}\) の計算で再現できます(筆者が計算)。取り戻すには、0.95の12乗が約0.54なので、約85%の上昇が必要です。

    回復率が「(ピーク÷現在)−1」で決まることは、リスク計算の解説にもあります。

    12連敗が「年に1回ほど」起きるかどうかは、取引回数しだいです。自分の戦略で数え直すのが安全です。

    参考情報・参考書籍(PR)

    本記事をより深く理解するために、概念マップスライドを作成しました。こちらをみることで理解の補助になるはずです。

    『A/Bテスト実践ガイド 真のデータドリブンへ至る信用できる実験とは』(Ron Kohavi、Diane Tang、Ya Xu。訳は大杉直也)は、型を測って選ぶ運用を、実験設計と指標の考え方から深めたい読者の次の一冊です。

    『リーン・スタートアップ』(エリック・リース。訳は井口耕二)は、小さく出して測り、学び、次に活かす「作る・測る・学ぶ」の循環が、この記事の運用ループと対応します。

    関連記事

    【まとめ】 お金を使わず、検証を一つ疑ってみる

    つまり、最初の一歩は新しい戦略を作ることではなく、手元の結果を一つ疑うことです。

    次の三つは、売買をしなくてもできます。自分の検証コードや、過去に見た成績表があれば足ります。

    1. シグナルを一本ずらす:成績が急に崩れるなら、未来を見ていた可能性があります

    2. 試した本数を数える:パラメータの微調整も一回と数えて、メモに残します

    3. 止める条件を先に書く:どこまで負けたら止めるかを、冷静なうちに決めます

    最後の項目は起点記事の主張でもあります。発動する瞬間には冷静でいられないからです。

    なお、起点記事は投資助言ではなく、コードも例示だと明記しています。ここで紹介した内容も、検証の考え方の整理です。

    特定の戦略の有効性は確認していません。

    参考情報

     
     
    海外でバズった最新テック関連情報をわかりやすく整理します! スキの数やページビューが多いなどの反響が多いものがあれば、実際の環境で操作した結果や手順などを共有する記事も作成したいとも思ってます! とりあえずこれを見ておけばディープな最新情報もキャッチアップ!できるものを目指します

    あなたへのおすすめ