【ベイズ最適化】多目的最適化とパレートフロント入門|「全部良くして」に数学で返事する
こんにちは、かなめです。
会議室での一場面から始めます。試作品の評価結果を報告したときのことでした。
「うん、強度はいいね。じゃあ次は、この強度のまま透明性も上げて。あ、コストも下げられるよね?」
私は笑顔のまま、心の中でつぶやきました。(それ、あちらを立てればこちらが立たぬ、というやつなんです……)
でも、その場で言い返せなかった。「トレードオフです」と言葉では言えても、どこまでが両立できて、どこから先が交換条件なのかを、目に見える形で示せなかったからです。
今日はその武器の話です。名前を、パレートフロントといいます。
こんな人におすすめ
「AもBも良くして」と言われがちな開発・設計職の方
トレードオフの説明で、毎回もどかしい思いをしている方
パレートフロントという言葉に一度敗北したことのある方
前回のおさらい
第4回では、PHYSBOで「世界一おいしい焼き温度」を10枚で探し当てました(ベストは188.0℃・93.7点)。コピペで動くコードはこちらです。
ホットケーキに、2人目の審査員がやってきた
ところが、です。自信作の188.0℃を家族に出したら、こう言われました。
「おいしいけど、ちょっと焦げ目が強くない?」
審査員が増えました。ここからは「おいしさ」に加えて「焦げにくさ」も採点対象です。そしてこの2つは仲が悪い。高温は香ばしいけれど焦げやすく、低温は焦げないけれど物足りない。
試しに何枚か焼いて、2軸で採点してみます。
165℃:おいしさ55点、焦げにくさ95点
180℃:おいしさ80点、焦げにくさ75点
188℃:おいしさ94点、焦げにくさ55点
200℃:おいしさ61点、焦げにくさ30点
さて、この中で「最適な1枚」はどれでしょう?
……答えられませんよね。それでいいんです。点数が2種類になった瞬間、「1番」という概念そのものが壊れる。これが今日の出発点です。
それでも、脱落者は決められる
「1番」は決められなくても、「考えなくていい子」なら決められます。
200℃を見てください。おいしさでも焦げにくさでも180℃に負けています。両方負けているなら、200℃を選ぶ理由はひとつもない。こういうとき、200℃は180℃に「支配されている」と言います。
一方、165℃と188℃は、おいしさなら188℃、焦げにくさなら165℃で、勝負がつきません。どちらにも言い分がある子は、脱落させられない。
全員を見比べて、両方の軸で誰かに負けている子を沈める。最後まで沈まなかった子たちを線でつなぐと、右上に張り出した一本の壁が現れます。
これがパレートフロントです。フロント、つまり最前線。この線より外側(おいしくて、かつ焦げにくい領域)には、どうやっても行けない。物理が許してくれない限界線です。
引っ越しに例えるなら、「家賃7.5万・駅35分」がある時点で「家賃8万・駅40分」は考えなくていい。でも「7.5万・35分」と「12万・5分」のどちらを選ぶかは、物件の優劣ではなくあなたの人生観の問題です。パレートフロントとは、人生観の問題だけが残った物件リストのことなんです。
パレートさんは、元エンジニアでした
名前の由来のヴィルフレド・パレートは、1848年生まれのイタリアの経済学者。ただ経歴が面白くて、トリノで数学や物理を修めて鉄道会社に勤めた、元・技師なんです。
彼が経済学に残した「パレート最適」という概念は、誰かの取り分を減らさない限り、もう誰の取り分も増やせない状態のこと。……どこかで見た形ですよね。「焦げにくさを犠牲にしない限り、おいしさを上げられない」というフロント上の状態と同じです。限られた資源の配分と、限られた条件空間での材料開発は、数学的に同じ顔をしています。ちなみに彼は所得の偏りを統計から見抜いた人でもあり、俗に「80:20の法則」と呼ばれるものの源流でもあります。
フロントがあると、会議室の会話が変わる
冒頭の会議室に戻ります。フロントを手に入れた私は、あの指示にこう返事ができるようになりました。
「強度と透明性の実測フロントがこれです。この線上までは両立できます。線を越えるには、材料系を変えるか、コスト制約を緩めるか、交換条件が必要です」
言っている中身は以前と同じ「トレードオフです」なのに、図が1枚あるだけで、会話が「もっと頑張れ」から「どこを取るか」に変わる。上司も根性論を言いたかったわけではなく、どこまでが努力の範囲で、どこからが物理の壁か、見えていなかっただけなんですよね。私も見えていませんでした。
役割分担もはっきりします。フロントを正確に描くのが研究者の仕事。フロント上のどの点を選ぶかは、事業の判断。この線引きができてから、「全部良くして」が前ほど怖くなくなりました。
ベイズ最適化はどこに出てくるの?
フロントを描くには、本来たくさんの実験が要ります。そこで多目的版のベイズ最適化は、「次の1枚で、フロントがいちばん外に押し広がりそうな条件」を提案してくれます(EHVIという獲得関数の直感が、だいたいこれです)。前回のPHYSBOは多目的にも対応していて、書き味は第4回のコードの親戚です。興味のある方は公式チュートリアルの多目的の章へどうぞ。
かなめの実験ノート(失敗談コーナー)
覚えたての頃、調子に乗って目的関数を5個入れたことがあります。特性A、特性B、コスト、作業時間、見た目。
結果、ほぼ全員がフロントに残りました。軸が増えるほど「どれか1軸では勝っている」子が増えて、誰も沈まなくなるんです。5次元のフロントは図にも描けず、意思決定の材料としては退化しました。
学びはシンプルで、目的は2つ、多くて3つに厳選する。コツは「それは目的か、制約か」の仕分けです。コストは「最小化したい目的」ではなく「予算内ならOKの制約」かもしれない。この仕分けだけで、たいてい2〜3個に減ります。
今日の一冊と、学びの入口
『増補改訂版 ベイズ最適化 ―適応的実験計画の基礎と実践―』(今村秀明・松井孝太 著、近代科学社)
第3回でも紹介した本ですが、今日の先を知りたい方には第7章がそのものずばり「多目的ベイズ最適化」です。
『Bayesian Optimization』(Roman Garnett 著、Cambridge University Press)
世界標準の教科書です。英語ですが、著者が公式サイト(bayesoptbook.com)で個人利用向けに全文を無料公開してくれています。「EHVIって結局何?」を辞書的に引く使い方から始めるのがおすすめです。
Udemy『機械学習26のアルゴリズム(Machine Learning A-Z 日本語版)』
多目的の前に単目的の足腰を、という方はこちらから。
おわりに
「全部は取れない」ことは、本当は誰でも知っているんだと思います。ただ、どこまでなら取れるのかを誰も描いてこなかったから、「全部良くして」としか言いようがなかった。フロントを描くのは、あきらめの作業ではなく、「ここまでは取れます」という攻めの返事を作る作業です。
よかったらコメントで教えてください。あなたの現場の、永遠のトレードオフ。強度と柔軟性、精度と速度、品質と納期、味と健康……どの分野の「あちらとこちら」なのか、読むのを楽しみにしています。
さて、AIは「次の一手」を提案できるようになりました。でも、その条件で実験するのは……相変わらず、私です。ん? そこもロボットに任せたら、寝ているあいだに探索が進むのでは?
——進むんです。もう、世界のあちこちで。次回は自律実験(SDL)。第1回に出てきた「8日間で688実験」のロボットとも再会します。
来週の日曜日にお会いしましょう。最後まで読んでくださって、ありがとうございました。
かなめ
このシリーズはマガジン【とことんやさしいベイズ最適化】にまとめています。
