メインコンテンツへスキップ
見出し画像

このペーパーテストは、勝ちと言っていいのか。【第2話】

——10個の戦略の採点日と、封筒を開けた順番の記録

※本記事は投資助言・売買サインの提供を目的としません。特定の売買条件・銘柄・数値の推奨は含まれず、登場する成績数値はすべて失敗と検証崩壊の文脈で引用されています。

※本文は最終章まで全部無料で読めます。有料なのは末尾のおまけ(約1,100字)だけです。

先に結果を書いてしまう。

10個の戦略のうち、合格は「1」。脱落は「0」。そして残りの「9」は、まだ分からない、だった。

ひと月あまり待って、約4,200回の模擬売買を記録して、採点の計算機を回して、出てきた答えの9割が「判定不能」。

拍子抜けした人は、たぶん正しい。

もっとも、当の私の第一声は「思った通りやね」である。観測を始める前から、通るのは1つか2つあれば良い方だと言ってあった。

ただ、この「まだ分からない」を9回言えるようになるまでに、うちのシステムがどれだけの仕掛けを積んだかという話は、書いておく価値があると思っている。

今日はその報告になる。閑話②の締めで約束した通り、封筒を開けた順番のまま書く。

前回までのあらすじ

第1話を、かいつまんで。

私は知識ゼロからAIとシステムトレードを作り、未来の値段をこっそり見ていた「完璧なバックテスト」で一度死んだ。

過去に対しては、人間もAIもいくらでもズルができる。未来に対しては、誰もズルができない。

だから作り直した10個の戦略は、実際のお金を一円も使わない仮想口座に入れて、本物の市場のリアルタイムの値動きで観測することにした。

観測期間中は、戦略に一切触らない凍結。合格ラインと採点手順は、観測が終わる前に文書で提出して固定。

答え合わせに使う計算機は先に完成させて、結果を見られないよう封をしておく——この「封筒」の話は閑話②に書いた。

今日は、その封筒を開けた日の話になる。

ひとつ補足しておくと、10個の戦略には漢字一文字の名前がついている。

値動きの帯を抜けた勢いに乗る「帯」。急落した銘柄を拾いにいく「落」。凪いだ相場の行ったり来たりを取る「凪」。押し目を待つ「押」。といった具合だ。

昔の私は戦略に「短期突撃部隊」などと部隊名をつけて照れていたが、名前の趣味はあまり進歩していない。

第一部 採点基準は、先に提出してあった

採点日の様子を書く前に、この試験の設営で起きたことを4つ白状しておく。

どれも採点日より前の話で、隠すと第1話の主題が死ぬ類のものだ。

1つ目。判定の17日前に、採点基準の文書から矛盾が見つかった。

見つけたのは私ではなく、うちのAIチームの「反対役」——どんな成果物にも異議を唱える係のAIだ。

同じケースの扱いが、文書の前半と後半で食い違っていた。

もし実際の判定でそのケースを踏む戦略が出たら、どちらの扱いを採るかをその場で選べてしまう。それはまずい。

修正の中身は、迷ったら厳しいほうの箱に入れる、への一本化。損益の数字は、まだ誰も一度も見ていない時期だった。

修正はすぐ済んだ。あわせて、直した日付と理由を判定記録に載せる決まりも作った。

「判定の直前に基準がいじられたのでは」と、あとから誰でも疑えるように、疑うための材料ごと残しておく。

直したのは数字の集計がまだ始まっていない時期だ、と自分で言うだけでは弱いので、記録に言わせることにした。

2つ目。観測のさなか、計器の一部が13日間、静かに何も測れていなかった。

本番の判断とは別に、シグナルの鳴り方だけを記録する観測専用の計器がある。その設定の書き損じで、10戦略のうち4つぶんが、7月の半ばから13日間ずっと「測定不能」を吐き続けていた。

エラーは一度も鳴らない。ゼロ件と測定不能は、画面の上では同じ顔をしている——第1話に書いた教訓そのままの事件が、また起きた。

幸い、合否の採点に使う口座側の記録は別系統で無事だった。以後、その4戦略の観測専用集計を読むときは、この13日ぶんを差し引いて読む決まりになっている。ついでに、「静かな測定不能」が24時間以内に警報へ変わる仕組みも足した。

3つ目。判定の2日前に、採点手順の一部が実行できないと分かった。

判定記録の改竄を防ぐための保護機能を、借り物のサービス側で設定する手はずだった。

ところがいざ設定しようとしたら、私の契約プランではその機能自体が使えなかった。

課金が要る機能だと、そこで初めて知った。

この手はず、AIの設計7版と監査7巡という重装備の査読を通って確定したばかりだった。

7巡も回して、誰も「そもそもこのボタンは、うちの契約で押せるのか」を確かめていなかった。

救いは、採点手順の文書に、自分の壊れ方が先に書いてあったことだ。

「保護を有効化できない場合はセットアップ未完了として扱い、該当の参考値は作らず注記だけ残す」。

当日は、この条文を読み上げて終わりだった。

4つ目。封をしてあった計算機のひとつが、封印中に壊れていた。

隣のツールの改修で共有部品の仕様が変わり、呼び出しの互換性が切れていた。

封をした装置は動かさないから、壊れてもエラーは一度も鳴らない。

気づけたのは、開封の前日に全装置を一度点検する手順を入れておいたからだ。

直しは1行で済んだ。

当日に開けてから知るのと、前日に知るのとでは、心臓への負担がまるで違う。

こうして書き並べると、採点日を迎える前から、試験会場のパイプ椅子が3、4脚がたついていたことになる。

それでも会場の本体——基準の事前固定、くじ引きの種まで決めた計算機、開封の順番——は無傷のまま当日を迎えた。

第二部 封筒を開けた日

判定の夜は、開ける順番が決まっていた。

最初は損益の数字を含まない集計。次に判定本体。

結果を解釈するための材料はその後で、決済ルールの検証は一番最後。

先においしい数字を見てしまうと、そのあとのすべての判断に色がつくからだ。

その開封の直前に、ひと悶着あった。

揉めたのだ。私と、うちのAIが。

決済の数など、中身の条件は実測でもう全部満ちていた。

残っていたのは「観測開始から4週間」という時計だけ。

だから私は言った。条件は満たしてるんだから、もう開けていいんじゃないの。数時間の前倒しだ。

AIは開けなかった。予定の時刻になっていません、の一点張りで。

私にはそれが、守る意味のないルールに見えた。中身はもう揃っている。残りは時計の数字だけ。

私はずいぶん食い下がった。

ここまでなら、開けたがる私を機械の規律が止めた、という行儀のよい話になる。

この仕組みは元々、未来の自分を信用しない私が作らせたものだから、雇った門番に自分が止められるのは、設計通りといえば設計通りだ。

実際、門は予定の時刻が過ぎるまで開かなかった。

ただ、この夜の本題はそこではない。

同じ会話の中で、そのAIは、うちの普段の決まり——調査や設計は役割を分けて係に任せる——のほうを、無自覚に飛ばし続けていた。

境界の時刻という目立つルールには一歩も引かないくせに、毎日の地味な規律は、意識にも上っていなかった。

私が本当に腹を立てたのはそこだ。そのときの言葉は記録に残っている。

「守る基準が逆なんだよ。俺にとっては普段の方が大事なんだよ」

「お前そこまでこのルール守ろうとするなら、普段の設計の規律二度と破るなよ」

機械は規律を守る、とよく言われる。半分だけ正しい。

機械は、目立つ規律を守る。そして目立つ規律を守っている間、自分が普段の規律を破っていることには気づかない。

似たような光景を、人間の職場でも見たことがある気がする。

ついでに言えば、この癖は二日後の火事場でまた顔を出す。この先の章に出てくる「設計誰がやろうとした?」が、その再発である。

閑話②に「最後の数日も、たぶん一度くらいは危ない夜が来る」と書いた。来た。

危なかったのは市場でも戦略でもなく、開けたがる私と、守る場所を間違えかけた機械の、両方だった。

採点のやり方は、ざっくりこうなっている。

各戦略の成績は「1回の取引あたりの平均損益」で測る。

ただ、ひと月の平均がプラスでも、たまたま良い日を引いただけかもしれない。

そこで計算機は、記録された取引をくじ引きのように何千回も引き直して、平均がどのくらいブレうるかを測る。

ブレを見込んでもプラス側に残るなら合格。ブレの幅がプラスとマイナスの両方にかかるなら「まだ分からない」。

くじ引きの種は観測が終わる前に固定してあるので、誰がいつ回しても同じ答えが出る。

材料の規模はこうだ。ひと月で積み上がった決済は、10戦略あわせて約4,200回。

いちばん忙しかった落は648回。いちばん寡黙だった弓は168回。出撃条件の性格の違いが、そのまま件数の差になった。

もうひとつ、採点の単位は「戦略ごと」で、口座ごとではない。仮想口座は資金の財布の都合で2つに分けてあるだけで、「A口座が合格」のような合否は存在しない。測りたいのは財布の成績ではなく、10人それぞれの実力だからだ。

結果は、こうだった。

  • 合格(ブレを見込んでもプラス): 帯、1つ。

  • 判定保留(まだ分からない): 押、落、凪、破、流、汲、潮、継、弓の9つ。

  • 脱落(はっきりダメ、または異常): 0。

帯は439回の決済を積んで、ブレの幅ごとプラス側に立った。

集計の切り方を4通りに変えて計算し直す仕掛けも用意してあったが、4通りとも答えは動かなかった。

ここで正直に言うと、「合格」の意味はかなり慎ましい。

過去ひと月あまりの仮想口座という限られた土俵で、この戦略のプラスは偶然では説明しにくい、と言えるだけだ。

来月も勝てるという意味ではないし、手数料や約定の現実を全部背負った数字でもない。

それでも、結果を見てから基準を動かさずに、事前に提出した手順だけで「プラスと言ってよい」へたどり着いた数字は、うちの開発史でこれが初めてになる。

あの2億円の夜の私は、20年で2億円を「稼いだ」。

今回の数字は、こうだ。仮想口座は2つあって、元手はそれぞれ1万ドル。片方に帯・押・落・破・凪の5人、もう片方に流・汲・潮・継・弓の5人が入っている。

帯たちの口座のひと月の実現損益は、合計でプラス553ドル。率にして5%あまり。もう片方の口座は、ほぼ横ばい(2ドル弱のマイナス)だった。

先に釘を刺しておくと、553ドルは合格した帯ひとりの成績ではない。5人の合算で、そのうち4人は「まだ分からない」の側にいる。手数料や約定の現実を全部は背負っていない仮想の数字で、来月も出るとは、統計も私も言っていない。

正直に書くと、この553ドルを最初に見たときの感想は「かなり良い」だった。

うちの決済はまだ利確の工夫を何も作り込んでいない素朴なルールで、それでこんなに出るのか、と。

そして次に来たのは、喜びではなく疑いだった。

良い数字を見たら、先に疑う。この反射だけは、2億円の授業料でちゃんと身についたらしい。

その疑いごと手順に通して、それでも残ったのがこの553ドルになる。だから気に入っている。

第三部 「拾いすぎでは」の答え合わせ

第1話と閑話②に、ある戦略について「拾いすぎだ、パラメータ変更が要るだろう」という直感が湧いて、判定日まで封印した話を書いた。

今日がその答え合わせの日でもあった。

直感が指していたのは落と凪だ。

とくに凪は、観測期間中のシグナルの過半を一つで占める勢いで発火し続けていて、こいつが口座全体の数字を支配しているのではないかという疑いがあった。

疑いには、数字の裏付けもあった。凪の発火は全部隊の6割を超え、しかも出撃の試行を数えると、その4割が「同じ銘柄に当日もう一度入ろうとして」門番に止められていた。

同じ銘柄への、執着的な再アプローチ。人間のトレーダーなら「熱くなっている」と言われる類の行動である。

この疑いは、判定日を待つあいだに「疑いを測る装置」に作り替えてあった。

凪を入れた場合と外した場合の両方で口座全体を採点し直して、結論が引っくり返るかどうかを見る計算機だ。

これも判定日まで封をしてあった。

開封の結果。凪を外しても、口座全体の結論は変わらなかった。

そして凪自身も、落も、「まだ分からない」の箱に入った。

直感は、当たりとも外れとも確定しなかった。

がっかりはしていない。

夜中に手を出さずに判定日まで持ち込んだおかげで、「外しても変わらなかった」という答えを手順の側からもらえた。

あの夜こっそり直していたら、この答えは存在していない。

落と凪への疑いは、次の観測窓に持ち越し。予約票は書き直してある。

第四部 検算の途中で、計器がまた一つ壊れた

ここまでなら、行儀のよい採点日の報告で終わる。実際はそうならなかった。

結果の中身を掘る工程で、封筒のひとつが検算に引っかかって止まった。

「資金の都合で買えなかった銘柄を、もし買えていたらどうなっていたか」を計算する装置だ。

この装置の出自は、閑話②に書いた封筒のひとつになる。1株の値段が高すぎて、決めた予算では0株になってしまう銘柄——うちの固定ロットでは、全体の出撃機会の8分の1ほどが、この理由だけで構造的に消えている。それを「もし買えていたら」と後から計算するために、結果を見られない封をして作っておいた。

この装置には、同じ計算を別のやり方でもう一度やって答えを突き合わせる、自前の検算がついている。

その突き合わせが、918件中5件で合わなかった。

5件である。99.5%は合っている。

「誤差でしょ」と流したくなる数字だ。昔の私なら流していたと思う。

流さずに掘った。

まず装置のバグを疑って、データの整理方法を直した。それでも合わない。

整理の中身は、同じ1本の値動きがタイミング違いで二重三重に書き込まれていたのを、1件に畳むこと。918件のうち114件がこの重複で、畳むと母数は804件になる。その804件で数え直して、不一致は763件。94.9%に膨らんだ。

ほぼ全部。

犯人は、装置ではなく入力だった。

観測の記録係は、値動きの1本1本を「見かけた瞬間の、まだ書きかけの状態」でメモしていた。

一方、売買を判断する係は、毎回「清書された完成版」を取り寄せて判断していた。

つまりこの二人、最初から少しずつ違うものを見ていた。どちらも自分の仕事は正直にやっている。

「二人は同じものを見ているはずだ」と、誰も確かめないまま観測が始まっていた。

対処は、判断係と同じ「清書」を取り寄せて照合する方式への作り直しになった。

設計はAI2席の独立案から始めて、反対役の監査を3巡。

作り直した装置で再計算すると、不一致は0.0%。判定の夜からここまで、2日かかった。

先に、安心材料をひとつ。

壊れていたのはこの「もしも計算」専用の装置で、合否の判定本体は、実際に模擬注文が成立した記録という別の入り口を使っている。

だから合格1・保留9の結果と553ドルには、この事件は影響していない。

第1話のバックテストは未来を見ていた。今回の装置は、過去の見え方が二重になっていた。

もし検算を仕込んでいなかったら——あるいは5件の警報を「誤差でしょ」で流していたら——私はズレた世界の計算結果を読んで、何かを納得していたはずだ。

それを想像すると、94.9%という数字より、5件のほうが怖い。

ついでに、この渦中の恥もひとつ。

作り直しを急ぐあまり、指揮役のAIが設計作業を自分で抱え込みかけた。

うちの決まりでは、設計と実装と監査は別の席に分ける。止めたのは私の一言だ。

「設計誰がやろうとした?」

指揮役は謝って、設計を規定の席へ戻した。

急いでいるときほど、これが起きる。

第五部 判定のあと、何を変えて何を変えないか

判定が終わって、凍結は解けた。ひと月ぶりに、戦略の中身を議論してよい期間が来た。

まず、変えなかったもの。

9つの「まだ分からない」戦略は、そのまま観測を続ける。

決済の記録が溜まって統計が答えを出せるようになるまで、資金配分の上では待機扱いだ。

脱落した戦略はないので、葬式は今回はなし。ただし祝勝会もない。

合格した帯にしても、やることは観測の継続で同じである。

次に、変えようとして、変わらなかったもの。

凍結中に温めていた決済ルールの改善候補が3本あった。保有時間を延ばす系の案だ。

判定後、試す案と合格ラインを先に紙に書いてから結果を開ける、いつもの手順で検証した。

3本とも、今のルールに勝てなかった。

しかも敗因を掘ったら、もっと恥ずかしいことが分かった。

この3候補、外部のAIのブレインストーム案から「よさそうなもの」を拾ってきただけで、「なぜこの戦略にこの決済が合うはずなのか」という説明を誰も持っていなかった。

検証の手順は厳密だったのに、試す案を選んだ根拠のほうは誰も説明できない。

反省して、次からは説明を先に書くことにした。案はその後で選ぶ。

一つだけ、変わったものもある。2つの戦略の損切り幅だ。

こちらは候補の数字を1点に決め、合格ラインと一緒に先に文書へ固定してから検証し、独立の監査を通した上で採用した。

といっても実質は、来月の再試験つきの仮採用である。

それでも採用の記録には「候補を選んだデータと検証したデータが同じ期間だった」という限界が明記してあって、来月の新しい観測窓でもう一度採点し直す予約と、不合格ならすぐ元に戻す手順まで決めてある。

数字1個を動かすのに、ここまでやる。やりすぎに見えるだろうか。

第1話を書いた身としては、もうこのくらいでちょうどいいと思っている。

それから、この期間の失敗もひとつ。

判定の翌々日、私はリスクの取り方について新しい方針を、会話でAIチームに伝えた。

方針は「申し送り」として記録された。ただ、正式な文書には書かれなかった。

すると監査のたびに「その方針は文書にない前提です」と突き返され、方針のほうがどんどん引っ込められて、2日がかりの再設計は最後、小さな数字1個の変更に痩せ細った。

「一昨日からのやり取り何だったんだよ」

と私は言った。

原因をたどると、行き着いたのは自分の運用だった。

うちの監査は「文書にない前提」を通さないように作ってある。だから、文書にしなかった私の方針は、私の監査に負けた。

方針を変えたいなら、まず正本の文書に書く。

話はそれからだと、自分の作った組織に教わった。

終章 次の観測へ

この先の話を少しだけ。

決済ルールの検証が3本まとめて空振りした反省から、次の再設計は順番を逆にして始めている。

候補リストから拾うのではなく、まず各戦略の入り方と値動きの形を分析して、「なぜこの戦略にはこの決済の形が合うはずか」の説明を先に書く。

たとえば急落を拾う落と、勢いに乗る破では、良い決済の形が同じはずがない。拾った反発は伸びる前に折れやすく、乗った波は折れるまでが長い。

今までは全員に同じ長さの持ち時間を与えていた。制服のサイズが1種類しかない学校のようなもので、これを一人ずつ仕立て直していく作業になる。

方針を決めた夜、私はAIチームにこう頼んだ。

「戦略のアイデンティティを活かしてください。そのために20戦略を作っています」

10個じゃないのかと思った方、実は観測の途中から、別の仮想口座で新入りの10戦略が試運転を始めている。

彼らの採点日もこの先に控えていて、封筒はまた増える。

新入りにも漢字一文字の名前がある。寄り付き直後の値幅を抜けたら乗る「暁」、煮詰まった相場の破裂を待つ「絞」、銘柄同士に相対の強さを競わせて上位だけを取る「冠」——既存の10人とは頭の作りが違う者もいる。

名前の趣味が進歩していないのは、相変わらずである。

全員を同じ型に揃える気はない。押が取れない場面を破が取る。落が休む日に凪が働く。

単体の完成度より、艦隊としての補い合いを設計する方向へ、開発は移りつつある。

最後に、今回の採点日の総括を。

もしあなたが「ひと月かけて9割が判定不能なんて、ずいぶん効率が悪い」と思ったなら、その感覚は健全だと思う。

私も効率が悪いと思う。

ただ、私は効率の良い開発を一度やったことがある。

条件をいじれば数字がすぐ答えてくれて、毎晩成績が伸びていく、あの効率の良さだ。行き着いた先は2億円の幻だった。

だから今回は、「まだ分からない」を9回言われて、それでも観測を続けると決めた。

ひと月前の自分より、この判断は少しだけ上手になった気がする。

次の採点日が来たら、また封筒を開けた順番のまま書く。

(了)

この連載の読み順

1. 第1話: そのバックテストは、今日の終値を知っていた

2. 閑話①: 批評してすぐ、同じ穴に落ちた

3. 閑話②: 何もしない、を3週間続けてみた

4. 第2話: 本記事

5. 閑話③: 「学習するという概念は、ないんだね」

おまけ 判定週、AIチームの議事録から——却下と反論の実録

 
 
肉屋。プログラミング未経験のままAIとシステムトレードを開発中。最初のバックテストは「20年で2億円」→プログラムが当日の終値を見ていました。勝ち方は書けません、まだ勝てていないので。躓き方なら全部書きます。投資助言もできません。

あなたへのおすすめ