Dota 2 をプレイする AI ボットのチームがプロを破り、今はさらなる目標を目指しています

8 月 5 日、5 人の Dota 2 エキスパート プレイヤーが、非営利研究機関 OpenAI が作成したボットのチームと対戦するために座りました。彼らは決定的に負けた。今からほんの数日後、おそらくさらに数週間のトレーニングの恩恵を受けて、同じボットのチームが Dota 2 最大のトーナメントである The International のステージに登場し、世界最高のプロ プレーヤーのチームと対戦することになります。 。そこで勝利できれば大きな勝利となり、AI とゲーム業界の両方にとってマイルストーンとなるでしょう。今月初めにボットのパフォーマンスを確認した後では、それが最も可能性の高い結果のように思えます。私たちが知っているようなゲーム AI の時代がこれで終わりを迎えたように感じるのも無理はないかもしれません。

それは少し突然のことでもあります。昨年の国際トーナメントでは、OpenAI がサプライズで登場し、1 対 1 ミッド (2 人用のよりシンプルなカスタム ゲーム モード) をプレイしてトップ プロを倒すことができるボットを披露しました。それは印象的な展示でしたが、AI が本来得意とする種類のゲームのようにも感じました。シンプルで短く、非常に明確な目標があり、反応時間に重点が置かれていました。本当の課題はフルゲームでプレーすることだ、と誰もが指摘した。

OpenAI のボットはまだ完全にゲームをプレイしていませんが、12 か月も経たないうちに驚くほど近づいてきており、私や同僚の多くが昨年の今頃に予想していたよりもはるかに近づいています。いくつかの注目すべきゲーム メカニクスが無効になっており、プレイできるヒーローは 115 人のうち 18 人だけですが、それでもボットは正確な計算、攻撃的な戦闘スタイル、そして止められない勢いを示します。超人的なスキルを発揮していないときは、10 年来の Dota 2 の慣習を捨て、ヒーローをプレイし、リソースを分配し、目標を達成する新しい方法を見つけています。

彼らが人間とは非常に異なるプレイをする理由の 1 つは、明らかに彼らが人間ではないということです。ボットはトップのプロをはるかに超える計算を行うことができ、それが超人的なレベルの効率と精度につながります。しかし、彼らの珍しいプレースタイルのより重要な理由は、その構築方法にあります。 OpenAI のボットは、専門家の洞察や何千ものルールを使用してコーディングされておらず、人間がどのように学習して遊ぶかの例も示されていません。代わりに、OpenAI のエンジニアは、強化学習と呼ばれるものを使用して、ボットが Dota 2 についての知識がない状態 (ビデオ ゲームについての知識がまったくない状態) から開始し、最高のものよりも優れたものになるよう自らを学習できるようにしました。

すべての人工知能と同様に、この仕組みは思ったよりも複雑ではありません。 OpenAI のボットは、1 秒ごとに、Dota 2 API から 20,000 件を超える観測値を受け取ります。これらは、ボットの体力から特定の敵のデバフが消えるまでの秒数まで、あらゆるものを表す数値です。同時に、マップ上のさまざまなターゲットや場所で、移動、攻撃、呪文やアイテムの使用など、何千ものアクションを選択できます。ボットにとっての課題は、20,000 件の観察のうちどれが現時点で重要であるか、また、ボットの勝利に役立つ可能性が高いアクションがあれば、それを見つけ出すことです。

その間には、これらの入力と出力をすべて集めて接続するニューラル ネットワークという賢い部分が発生します。このネットワークの最も重要な役割の 1 つは、各入力に重みを適用することです。これは、特定の出力に対する特定の入力の影響を増減できる乗算器です。これをオーディオ ミキシング デスクのようなものと考えてください。ウェイトは、最終的な構成で曲の一部を大きくしたり小さくしたりするさまざまなスライダーやノブです。ただし、この場合を除き、20,000 の楽器がすべて同時に演奏されており、たとえパフォーマーが即興演奏を始めたとしても、最初から最後まで曲全体に適したミックスを見つけてください。

OpenAI のボットは、ランダムに選択されたウェイトで開始されるため、完全に無秩序にプレイすることになります。これまでビデオ ゲームをプレイしたことがない人でも、この段階でボットに勝つことができます。しかし、時間の経過とともに、ボットはフィードバック (ゴールドを獲得したりヒーローを倒した場合は報酬、死亡した場合はペナルティ) を受け取り、そのたびにボット自身のニューラル ネットワークの重みを少し調整します。すぐに、ランダムなボットの一部が他のボットよりもわずかに優れたプレイをするようになり、弱いボットはより強力なボットのコピーに置き換えられます。十分な時間が与えられれば、OpenAI のシステムは毎日 900 年以上の Dota 2 を何百ものサーバーで再生します。悪いボットは平均的なものになり、次に良いものになり、次に素晴らしいものになり、そしてできれば超人的なものになります。

超人って面白い言葉ですね。今月初めのエキシビションマッチでは、第 1 試合と第 2 試合で OpenAI のボットが人間の対戦相手よりも優れていたことは疑いの余地がありませんでした。しかし、3 番目のゲームでは、観客がボットのヒーローを選ぶボーナス ラウンドで、ボットのパフォーマンスははるかに悪く、最初はつまずき、最後には完全に崩れてしまいました。これは単なる観客の妨害行為ではありませんでした。ボットは、状況がそれを正当化しない場合でも、同じ攻撃的なプレイスタイルをプレイすることを決意したため、人間のチームが同じセットアップを行った場合よりも悪いプレイをしました。これはすべて、ボットがどのように学習するか、そしてボットが起こった良い出来事を過去に取った行動とどのように関連付けるかに関係します。攻撃的なプレイ スタイルは、原因と結果を結びつけやすくします。このヒーローは、私が指で巨大なレーザーを発射したために死亡しました。長期戦に向けた計画を立てるには、遠い将来を見据えて、10 分、20 分、または 30 分間隔のイベントを結び付けることができる必要があります。 30 分間ゴールドを集めてゲームに勝つのに十分な強さを得るのは、巨大な指のレーザーよりも勉強して学ぶのがはるかに困難です。

それでは、OpenAI のボットが今週実際に勝利し、その可能性が高いとしたら、これは実際に何を物語るのでしょうか?彼らは勝つには十分ですが、Dota 2 を完全に打ち破るほど優れているわけではありません。 AI 研究者にとって、勝利は勝利です。大舞台での勝利は、AI の歴史におけるもう 1 つの画期的な出来事となるでしょう。ゲーム業界にとっては、それほど意味のあるものではないかもしれません。まず、OpenAI のアプローチは、現在活動している最も裕福なゲーム スタジオ以外のすべてにとっては実用的ではありません。それには、数か月のトレーニング、数百万ドル相当の機器とリモート サーバーでの計算時間、そして他には何も取り組んでいない信じられないほど賢いエンジニアが必要でした。しかし、より大きな疑問は、このようなボットが実際に何の役に立つのかということです。

OpenAI にとって、Dota 2 で人間に勝つことは、AI を現実世界で機能させるための長い旅の一部です。ゲーム開発者にとって、人間がゲームをプレイする方法を何らかの方法でモデル化する場合、完璧な AI が最も役立ちます。マルチプレイヤー ゲームのバランスがどの程度保たれているかをテストするために、ゲームをプレイできるようにいくつかのボットをトレーニングするとします。ゲームのプレイ方法を自ら学習する超人的なボットは、ゲームがボットにとってバランスが取れているかどうかのみを確実に教えてくれます。人々がどのように学ぶのか、既存のスキルや知識がどのようなものをもたらすのか、ルールをどのように解釈するのか、どのような戦略を開発するのかについてはわかりません。少し調整すれば、これらは Dota 2 独自のゲーム内ボットの適切な代替品として機能するかもしれませんが、それらに対して練習しても、人間が実際の試合で示す幅広い戦略やプレイスタイルに備えることはできません。

では、なぜ私たちは興奮する必要があるのでしょうか？ OpenAI が Dota 2 でより良くなったり、Google が突然世界最高の Starcraft 2 ボットを開発したりしたら、プレイヤーである私たちにとって何になるのでしょうか?まず、これは私たちが毎日プレイするこれらのゲームにはまだ未知の要素が多数含まれていることを思い出させてくれます。 OpenAI のボットは超人的な反射神経を持っているかもしれませんが、伝統を打ち破るものでもあります。彼らは単独のセーフレーン ファームを獲得するためにサポート ヒーローを送り込みます。彼らは最初の1分で4人のヒーローを圧力塔に送り込みます。超人的なボットのパフォーマンスは、常に私たちに新しい秘密と新しい戦略を探し続けるよう促し、常に努力できる目標を与えてくれます。しかし、興奮するより良い理由は、テクノロジーのあらゆる進歩と同様に、それが私たちがまだ想像すらできないことを可能にするのに役立つだろうということです。課題を完了するためにボットを訓練する新しいジャンルのゲーム。インターネットが停止した場合に私たちの代わりとなる能力のレベルを模倣する代用ボット。 AI が勝つ方法を学習できないゲームを考案する、SpaceChem のような設計課題です。急速に学習するゲームプレイ用 AI の真の可能性は、普通のものや予測可能なものではなく、予測不可能でワイルドなものになるでしょう。今月の OpenAI の勝利 (または敗北) は、ゲーム AI のいかなる部分にも終わりを意味するものではなく、また、ゲームで最高のパフォーマンスを発揮できるように競争する人間の終わりを意味するものでもありません。それは全く異なるものへの新たな始まりです。