メインコンテンツへスキップ
見出し画像

EDGE AIとは

    AIエンジニアのとむです。
    noteではEDGE POKERの仕組みや裏側、想いについて定期的に発信していければと思います。

    今回の記事ではEDGE AIについて紹介します。
    少し難しい内容になっていますが、是非ご興味ある方は見てもらえると嬉しいです。


    『EDGE POKER』とは、DeNAとPOKER ROOM社がタッグを組み開発されたスマートフォン向けポーカーゲームアプリです。
    高速かつ高精度な「EDGE AI」は、『EDGE POKER』における様々な機能で活用され、皆さまのポーカー体験を飛躍的に向上させます。

    ゲームで活躍するAI

    『EDGE POKER』では、シングルゲームでおすすめアクションを提示してくれる「AI GUIDE」、悩んだ時にAIが最適なアクションをしてくれる「GOD’s MOVE」、アクションを学習しプレイヤーに変わってプレイを継続してくれる「バディAI」、全てのハンドでアクションの良し悪しを評価・解析してくれる「AI ふりかえり」など、初心者から上級者までもが快適で学びとなるためのAIを用いた様々な機能が実装されています。
    皆さまに使っていただける機能とするため、3年という期間をかけDeNAで0から開発を行いましたが、ゲームで活躍するAIを実現することは容易ではありませんでした。

    その難しさとしては、マルチウェイを含むゲーム内で起こるありとあらゆる状況で戦略を導き出す必要があること。ゲームプレイ中にリアルタイムで動作するには、ゲームクライアント側の処理も加味するとAIの処理にかけられる時間が極めて短いことなどが挙げられます。
    『EDGE POKER』では、毎秒5000件を超えるリクエストに対して、プレイングに遅延を感じない500ms以下という速度で、そしてゲーム理論におけるナッシュ均衡戦略と遜色のない精度での戦略の出力が求められました。
    従来のポーカーソルバーを用いて都度探索を行うにはあまりにも時間が足りませんし、マルチウェイのシチュエーションを含む戦略を事前計算/保持することは現実的ではありません。
    EDGE AIでは、これら状況を踏まえ機械学習を用いたアプローチを採用し、これまでのポーカーAIの研究の拡張とDeNA AIチームの高い専門性によって要件を満たし、ゲームで活躍するAIを実現しました。

    EDGE AI

    ルールや制約に従って想定される全ゲーム展開に対して、あらゆるハンドの組み合わせでの戦略を反復的に更新する探索手法として、Counterfactual Regret Minimization(CFR)がポーカーでは広く使用されています。その結果として得られる戦略は、限定的な範囲ではゲーム理論におけるナッシュ均衡戦略に近づくことや、マルチウェイにおいても非常に強力な戦略となることが知られています。
    一方で、その計算には莫大なリソースと時間を要するため、要求されうる全てのシチュエーションを想定してCFRを行うことは困難です。

    そこで先行研究では、ニューラルネットワークといった高度な近似関数で期待値を学習し、ストリートごとに探索範囲を限定する「浅い探索」を行う手法や、セルフプレイによって膨大なハンド数をAI同士がこなし、逐次的に戦略を更新していくような強化学習ベースの手法が提案されてきました。
    EDGE AIにおいても、CFRをベースにしつつニューラルネットワークによって近似されたストリートの終端期待値を使った浅い探索を行うことで様々なシチュエーションにおける探索解を求めることを実現しました。また、模倣学習や強化学習モデルを用いたデータ生成の効率化、GPUを用いた高速化などを行うことでマルチウェイへの拡張を可能とし、結果的に生成された数千万にも及ぶシチュエーションを用いてEDGE AIは学習されました。さらに蒸留(distillation)といった、大きなモデルを用いて小さなモデルを効率的に学習する技術を用いることで精度を維持したまま軽量で高速なモデルを実現しています。
    その他にも、Independent Chip Model(ICM)に代わる新たなトーナメント期待値算出手法の導入や、それらを用いた『EDGE POKER』のランクマッチ環境への最適化など、EDGE AIの強さを追い求めた工夫が施されてきました。

    ぜひリリースされましたら、お手元の端末にアプリをインストールしてEDGE AIの強さと快適なプレイ体験を実感してみてください。ここではEDGE AIの出力の一部として、各シチュエーションにおけるアクションレンジをいくつかご紹介します。

    画像
    EDGE AI アクションレンジ例 - 1
    画像
    EDGE AI アクションレンジ例 - 2


    「バディAI」についても、ユーザーひとりひとりにしっかりと模倣させる必要があることから、事前に用意されたAIを割り当てるのではなくユーザー個別にプレイデータを用いて学習をしています。今回の記事では紹介しきれなかったこれら内容やEDGE AIを用いた様々な分析などについては、今後こちらのnoteにて発信していきたいと思っておりますので、引き続きのチェックをよろしくお願いいたします。

    EDGE AIの挑戦

    不完全情報ゲームであるポーカーに対して、我々はまだ完全な解とそのアプローチを見つけることができていません。

    ポストフロップマルチウェイへの完全な対応、相手プレイスタイルを加味したエクスプロイト戦略への挑戦、ベットサイズ抽象化という大きな制約を打開するような全く新しいアプローチの発見など。
    EDGE / DeNA のAIチームは引き続き皆さまのポーカー体験向上のためのAI開発とアップデートを行っていきます。


     
     
    スマートフォン向けポーカーゲームアプリ『EDGE POKER』の開発の裏側や想いについて、プロデューサーの「こひ」とAIエンジニアの「とむ」がこちらで発信していきます。

    あなたへのおすすめ