Au cours des dernières années, OpenAI, une start-up dont la mission est de faire en sorte que « l’intelligence générale artificielle profite à toute l’humanité », développe un robot piloté par l’apprentissage automatique pour jouer à Dota 2, le plus grand jeu de l’univers. À partir d’une version très réduite du jeu complet, le bot a été développé au fil des ans en jouant des millions et des millions de matchs contre lui-même, apprenant non seulement à jouer au jeu d’équipe à cinq contre cinq, mais à gagner, de manière cohérente.
Nous avons pu suivre le développement du bot sur un certain nombre de matchs, chacun utilisant une version plus complète d’un jeu et des adversaires humains plus qualifiés. Cela a culminé dans ce qui devrait être le dernier match de spectacle du week-end, quand OpenAI Five a été opposé dans un match au meilleur des trois matchs contre OG, l’équipe qui a remporté la plus grande compétition de tous les sports électroniques l’année dernière, l’International.
OpenAI est soumis à quelques handicaps au nom de l’intérêt des choses. Chacun de ses cinq joueurs d’IA exécute une version identique du logiciel bot, sans communication entre eux: ce sont cinq joueurs indépendants qui se ressemblent beaucoup mais n’ont aucun moyen direct de coordonner leurs actions. Le temps de réaction d’OpenAI est artificiellement ralenti pour que le jeu ne soit pas simplement une vitrine de réflexes surhumains. Et le bot n’utilise toujours pas la version complète du jeu: seule une sélection limitée de héros est disponible, et les objets qui créent des sbires ou des illusions contrôlables sont interdits car il est estimé que le bot serait capable de microgérer ses sbires plus efficacement que n’importe quel humain. pourrait.
Les matchs peuvent être regardés ici. Le premier match avait l’air uniforme jusqu’à environ 19 minutes. Les humains avaient un petit avantage en or, mais les robots avaient un meilleur contrôle territorial. Les bots sont sortis en tête dans un combat d’équipe, tuant trois joueurs humains tout en n’en perdant qu’un seul eux-mêmes. Le jeu semblait toujours sur le fil du rasoir, mais les robots n’étaient pas d’accord: ils ont annoncé qu’ils avaient 95% de chances de gagner et, en faisant cette déclaration, ont instantanément utilisé leur avantage numérique pour infliger de lourds dégâts à la base humaine. Cela a encore renforcé leur contrôle territorial et leur a également donné un plomb d’or important.
Cela a mis les humains sur le pied arrière, et alors qu’ils ont réussi à sortir le match pendant encore 20 minutes, ils n’ont pas pu surmonter l’avance des bots, donnant un avantage de 1-0 à OpenAI.
Dans le deuxième match, les choses n’étaient même pas proches; les robots ont pris une avance précoce et ont franchi la base humaine en 15 minutes. Ils ont remporté la victoire cinq minutes plus tard.
Dans l’ensemble, c’était une performance dominante d’OpenAI: une victoire 2-0 contre une équipe humaine établie habituée à jouer les uns avec les autres au plus haut niveau que le jeu a à offrir. Cette performance était de loin la plus forte d’OpenAI au fil des ans.
La coordination des bots est étrange: bien qu’ils ne puissent pas communiquer, les cinq joueurs contrôlés par l’ordinateur pensent de la même manière. Si l’on pense que c’est une bonne occasion d’attaquer un joueur humain, les quatre autres penseront de la même manière et se joindront à l’attaque. Cela donne l’apparence d’une grande coordination dans les teamfights — une coordination avec une précision et une rigueur que les équipes humaines ne peuvent égaler.
Une salle chinoise rudimentaire
Mais OpenAI semble battable. Il a des faiblesses définitives, bien que surprenantes, — il n’est pas excellent pour marquer les derniers coups, les coups mortels sur les unités contrôlées par ordinateur qui sont utilisées pour accumuler de l’or dans le jeu. Cela donne aux humains l’occasion d’obtenir un avantage en or précoce. Les robots ont également lutté pour contrer l’invisibilité du côté humain. Ils semblaient également s’adapter mal à certains sorts de certains des héros, en particulier la Fissure de Earthshaker, un sort qui crée temporairement une barrière infranchissable sur la carte. Les humains ont été efficaces pour l’utiliser pour piéger les joueurs de bots et restreindre leurs mouvements, ce qui semblait confondre OpenAI.
Le comportement des robots est également une leçon d’objet dans le grand écart entre ce type de système d’apprentissage automatique et une intelligence artificielle générale complète. Alors que l’IA Cinq est clairement efficace pour gagner des parties, elle ne sait pas non plus comment jouer à Dota 2. Les joueurs humains du jeu utilisent une technique appelée « tirer » pour rediriger le flux des sbires contrôlés par l’ordinateur de leur côté (connu sous le nom de creeps dans Dota 2) afin de priver l’équipe ennemie d’or et d’expérience. Les joueurs humains peuvent reconnaître que cela s’est produit parce que les creeps n’apparaissent pas quand ils sont censés le faire. Les joueurs humains ont un modèle mental de l’ensemble du jeu, une compréhension de ses règles, et peuvent donc reconnaître que quelque chose ne va pas; ils peuvent raisonner sur l’endroit où la chair de poule doit être allée et interférer avec l’attraction. L’ordinateur, en revanche, erre sans but face à ce scénario.
Pas de tir
Au cours de ses millions de parties jouées contre lui-même, OpenAI semble n’avoir jamais repris la technique du tir, et n’a donc jamais appris à jouer contre lui. Ainsi, lorsqu’une équipe humaine commence à tirer, le bot ne reconnaît pas la situation et ne sait pas vraiment quoi faire. Il ne peut pas raisonner sur la façon dont le jeu devrait être, et il ne peut pas spéculer sur les raisons pour lesquelles le jeu se comporte de manière inattendue. Tout ce que le bot peut faire est de rechercher des modèles qu’il reconnaît et de choisir l’action la plus susceptible de donner le meilleur résultat; donnez-lui un modèle qu’il ne peut pas reconnaître et ses performances se détériorent.
Jusqu’à présent, le bot OpenAI a été restreint; certains pros et streamers ont eu accès pour jouer contre lui, et il a également été disponible pour jouer contre lors de certains événements en direct. Mais pendant quelques jours, cela change: les joueurs de Dota 2 peuvent s’inscrire ici pour jouer contre le bot – ou avec lui – pendant une période de trois jours. Malheureusement, cette période publique ne semble pas se traduire par un nouveau bot amélioré: battre une équipe humaine de haut niveau était l’objectif qu’OpenAI s’était fixé pour son bot, et avec cela accompli, l’expérience semble être terminée.